php根據URL獲得網頁內容

php 中根據url來獲得網頁內容非常的方便，可以通過系統內置函數file_get_contents(),傳入url,即可返回網頁的內容，比如獲得百度首頁的內容代碼為：

<?php
$html = file_get_contents('http://www.baidu.com/');
echo $html;

就可以顯示出百度首頁的內容，但是，這個函數不是萬能的，因為有些服務器會禁用掉這個函數，或者說這個函數因為沒有傳給服務器某些必要的參數，而被服務器拒絕響應，舉個例子：

<?php
$html = file_get_contents('http://www.163.com/');
echo $html;

這個代碼就不能得到網易的首頁完全的代碼，會返回如下的頁面，這時我們就需要想其他的辦法了。


這裏我們引入php的cURL 庫，可以簡單和有效地去抓網頁。你只需要運行一個腳本，然後分析一下你所抓取的網頁，然後就可以以程序的方式得到你想要的數據了。無論是你想從從一個鏈接上取部分數據，或是取一個XML文件並把其導入數據庫，那怕就是簡單的獲取網頁內容，cURL 是一個功能強大的PHP庫。使用它首先你得在php的配置文件中開啟它，開啟的時候,在windows中可能需要一些 dll,這裏就不相信介紹了，查看是否開啟了curl,可以調用phpinfo()；來查看，如果開啟了，會在“Loaded Extensions”中顯示。
下面給出使用curl獲取網頁代碼的簡單例子：

<?php
$ch = curl_init();
$timeout = 10; // set to zero for no timeout




curl_setopt ($ch, CURLOPT_URL,'http://www.163.com/');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36');
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$html = curl_exec($ch);
echo $html;

通過這段代碼就可以輸出網易首頁的內容了，這裏CURLOPT_USERAGENT是關鍵，因為他模擬了瀏覽器的agent,這樣服務器就會以為它是瀏覽器去訪問的，所以給他返回正確的html.