php抓取网页内容的代码

胜哥
PHP代码

以下php抓取网页内容的代码实现的需求是通过PHP抓取指定URL上的网页内容，并将获取到的响应输出。使用cURL库可以发送HTTP请求，设置请求选项，获取服务器响应并对其进行处理，包括存储到文件、解析HTML等操作。这个示例代码展示了如何使用cURL库发送GET请求，获取响应文本并输出。

以下是使用PHP抓取网页内容的示例代码：

// 创建一个cURL句柄
$curl = curl_init();

// 设置需要抓取的URL
$url = 'http://www.example.com';
curl_setopt($curl, CURLOPT_URL, $url);

// 设置cURL选项，包括超时时间和用户代理
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_TIMEOUT, 30);
curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3');

// 发送请求并获取相应内容
$response = curl_exec($curl);

// 关闭cURL句柄
curl_close($curl);

// 输出响应内容
echo $response;

这段代码使用cURL库发送HTTP请求，并获取响应内容。你可以修改$url变量来指定需要抓取的网页地址，然后通过echo语句输出获取到的内容。

 
  • 抓取数据