使用php抓取网页需先通过file_get_contents或curl获取html，再用domdocument和domxpath解析提取数据。1. file_get_contents适用于简单请求，curl支持更多配置如user-agent；2. domdocument加载html后，domxpath通过xpath语法定位元素，如//h2或//div[@class="title"]提取内容；3. 需处理乱码（转utf-8）、js动态内容（需 puppeteer 等工具）、频率控制（加sleep）及遵守robots.txt；4. 完整示例：抓取class="post-title"的链接标题，输出清洗后的文本。关键在于准确编写xpath表达式，兼顾技术实现与合法性。
在PHP中实现网页内容抓取，主要依赖于获取目标页面的HTML源码，并使用DOM解析器提取所需数据。这种方式常用于构建简单爬虫，比如抓取新闻标题、商品价格或天气信息等公开数据。整个过程包括：发送HTTP请求获取页面、加载HTML结构、通过标签或类名定位元素并提取内容。
1. 使用 file_get_contents 或 cURL 获取网页内容
要抓取网页，首先要获取其HTML源码。PHP提供了多种方式，最常用的是 file_get_contents 和 cURL。
说明： 如果目标网站允许直接访问且无反爬机制，file_get_contents 简单高效。示例代码：
$url = 'https://example.com';
$html = file_get_contents($url);
if (!$html) {
die('无法获取页面内容');
}
建议： 对于需要设置User-Agent、处理重定向或Cookie的场景，推荐使用cURL。
立即学习“PHP免费学习笔记（深入）”；
示例代码：
$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; Simple Crawler)'); $html = curl_exec($ch); curl_close($ch);
2. 使用 DOMDocument 和 DOMXPath 解析HTML
获取HTML后，需从中提取有效信息。PHP内置的 DOMDocument 和 DOMXPath 类可精准定位节点。
- 将HTML载入 DOMDocument 对象
- 使用 DOMXPath 查询指定元素（如 class、id 或标签）
- 遍历结果并提取文本或属性
示例：抓取所有 h2 标题
$dom = new DOMDocument();
libxml_use_internal_errors(true); // 忽略HTML格式错误
$dom->loadHTML($html);
<p>$xpath = new DOMXPath($dom);
$nodes = $xpath->query('//h2'); // 查找所有h2标签</p><p>foreach ($nodes as $node) {
echo $node->textContent . "\n";
}</p>示例：抓取特定 class 的 div 内容（如 class="title"）
$nodes = $xpath->query('//div[@class="title"]');
foreach ($nodes as $node) {
echo trim($node->nodeValue) . "\n";
}
3. 处理常见问题与优化建议
实际抓取中可能遇到编码、JS渲染或反爬等问题，需注意以下几点：
- 乱码问题：确保HTML编码一致，可用 mb_convert_encoding 转为UTF-8
- JavaScript动态内容：DOM解析只能读取静态HTML，若内容由JS生成，需结合 Puppeteer 或 Selenium
- 频率控制：避免高频请求，添加 sleep(1) 防止被封IP
- 合法性：遵守 robots.txt，仅抓取允许访问的页面
4. 完整示例：抓取文章标题列表
假设目标页面有多个 class="post-title" 的链接，抓取其文本：
$url = 'https://example.com/blog';
$html = file_get_contents($url);
<p>$dom = new DOMDocument();
libxml_use_internal_errors(true);
$dom->loadHTML($html);
$xpath = new DOMXPath($dom);</p><p>$titles = $xpath->query('//a[@class="post-title"]');</p><p>echo "共找到 " . $titles->length . " 个标题：\n";
foreach ($titles as $title) {
echo '- ' . trim($title->textContent) . "\n";
}</p>基本上就这些。用好PHP的DOM解析功能，配合合理的请求方式，就能快速搭建一个轻量级爬虫。关键是理解HTML结构，准确书写XPath表达式，同时注意网络和法律边界。不复杂但容易忽略细节。
