本教程旨在解决php在下载特定网站图片时遇到的file_get_contents失败问题，尤其当服务器因缺少或识别user-agent而拒绝请求时。文章将深入讲解如何利用stream_context_create为file_get_contents方法添加自定义http请求头（特别是user-agent），从而成功绕过服务器限制，实现稳定高效的图片下载。内容涵盖简洁的下载方法、高级请求头配置及相关注意事项。
PHP图片下载的挑战与常见方法
在PHP中，下载远程图片是常见的任务。通常，我们有两种主要方法：使用file_get_contents()配合file_put_contents()，或者使用功能更强大的cURL库。
1. file_get_contents() 与 file_put_contents() 这是最直接且简洁的方法。file_get_contents()用于从URL获取文件内容，而file_put_contents()则用于将内容写入本地文件。
<?php
$img_url = 'https://example.com/image.jpg'; // 示例图片URL
$img_save_path = __DIR__ . '/assets/upload_products/image.jpg'; // 保存路径
// 检查目标目录是否存在，如果不存在则创建
$dir = dirname($img_save_path);
if (!is_dir($dir)) {
mkdir($dir, 0777, true);
}
// 简单的下载方式
$image_content = file_get_contents($img_url);
if ($image_content !== false) {
if (file_put_contents($img_save_path, $image_content) !== false) {
echo "图片下载成功：{$img_save_path}\n";
} else {
echo "图片保存失败：{$img_save_path}\n";
}
} else {
echo "无法获取图片内容：{$img_url}\n";
}
?>这种方法在大多数情况下都有效。然而，某些网站为了防止恶意抓取或机器人访问，会检查HTTP请求头信息，特别是User-Agent。如果请求没有提供User-Agent或提供的是默认的PHP User-Agent（如PHP/X.Y.Z），服务器可能会拒绝请求，导致file_get_contents()失败。
2. 使用 cURL cURL是PHP中一个功能非常强大的库，可以处理各种HTTP请求，包括设置自定义请求头、处理重定向、设置超时等。当file_get_contents()无法满足需求时，cURL通常是首选。
<?php
function downloadImageWithCurl($img_url, $save_path) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $img_url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 返回内容而不是直接输出
curl_setopt($ch, CURLOPT_BINARYTRANSFER, true); // 确保以二进制形式传输
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 某些情况下可能需要禁用SSL验证
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); // 某些情况下可能需要禁用SSL验证
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 跟踪重定向
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36'); // 设置User-Agent
$raw_image_data = curl_exec($ch);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$error = curl_error($ch);
curl_close($ch);
if ($raw_image_data === false || $http_code >= 400) {
echo "cURL下载失败: HTTP Code {$http_code}, Error: {$error}\n";
return false;
}
$dir = dirname($save_path);
if (!is_dir($dir)) {
mkdir($dir, 0777, true);
}
if (file_put_contents($save_path, $raw_image_data) !== false) {
echo "图片下载成功：{$save_path}\n";
return true;
} else {
echo "图片保存失败：{$save_path}\n";
return false;
}
}
// downloadImageWithCurl('https://www.autoopt.ru/product_pictures/big/bcb/054511.jpg', __DIR__ . '/assets/upload_products/054511_curl.jpg');
?>尽管cURL功能强大，但在某些特定场景下，即使设置了User-Agent，也可能因为服务器端更复杂的反爬机制而失败。然而，对于本教程关注的User-Agent限制问题，cURL同样是有效的解决方案。
解决特定站点抓取失败：通过stream_context_create设置User-Agent
当file_get_contents()在特定网站上失败，而其他网站或Python脚本却能成功下载时，很可能是因为服务器对HTTP请求头（尤其是User-Agent）进行了检查。PHP的file_get_contents()默认发送的User-Agent可能被目标服务器识别为非浏览器请求并拒绝。
立即学习“PHP免费学习笔记（深入）”；
幸运的是，我们可以通过stream_context_create()函数为file_get_contents()创建一个自定义的上下文，从而添加或修改请求头。
核心思想：
- 定义一个包含HTTP请求选项的数组。
- 在选项数组中，设置http键，并在其下设置header键，值为自定义的HTTP头字符串（例如User-Agent）。
- 使用stream_context_create()将这些选项转换为一个上下文资源。
- 将这个上下文资源作为第三个参数传递给file_get_contents()。
下面是具体的实现代码：
<?php
/**
* 从指定URL下载图片并保存到本地
*
* @param string $img_url 图片的远程URL
* @param string $base_save_dir 图片保存的基础目录
* @return string|false 成功时返回图片完整路径，失败时返回false
*/
function downloadImageWithUserAgent($img_url, $base_save_dir) {
// 1. 设置HTTP请求头信息
// 模拟一个常见的浏览器User-Agent，避免被服务器识别为爬虫或默认PHP客户端
$opts = array(
'http' => array(
'method' => "GET", // 请求方法
'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36\r\n" . // 模拟浏览器User-Agent
"Accept: image/webp,image/apng,image/*,*/*;q=0.8\r\n" . // 接受的MIME类型
"Accept-Language: zh-CN,zh;q=0.9,en;q=0.8\r\n" // 接受的语言
// 还可以添加其他请求头，例如 Referer, Cookie 等
),
'ssl' => array(
'verify_peer' => false, // 某些情况下可能需要禁用SSL证书验证
'verify_peer_name' => false, // 某些情况下可能需要禁用SSL证书名称验证
)
);
// 2. 创建流上下文
$context = stream_context_create($opts);
// 3. 获取图片内容
// 使用 file_get_contents 并传入创建的上下文
$image_content = @file_get_contents($img_url, false, $context); // 使用 @ 抑制错误，自行处理
if ($image_content === false) {
error_log("无法获取图片内容或被服务器拒绝：{$img_url}");
return false;
}
// 4. 构建保存路径和文件名
$image_name = basename($img_url); // 从URL中提取文件名
// 确保文件名是唯一的，防止覆盖，例如可以添加时间戳
// $image_name = uniqid() . '_' . $image_name;
// 确保保存目录存在
$full_save_dir = realpath($base_save_dir);
if (!$full_save_dir) {
if (!mkdir($base_save_dir, 0777, true)) {
error_log("无法创建图片保存目录：{$base_save_dir}");
return false;
}
$full_save_dir = realpath($base_save_dir);
}
$image_fullpath = $full_save_dir . DIRECTORY_SEPARATOR . $image_name;
// 5. 将图片内容保存到本地文件
if (file_put_contents($image_fullpath, $image_content) !== false) {
return $image_fullpath;
} else {
error_log("图片保存失败：{$image_fullpath}");
return false;
}
}
// 示例调用
$target_image_url = 'https://www.autoopt.ru/product_pictures/big/bcb/054511.jpg';
$upload_dir = __DIR__ . '/assets/upload_products/';
$downloaded_path = downloadImageWithUserAgent($target_image_url, $upload_dir);
if ($downloaded_path) {
echo "图片成功下载并保存到：{$downloaded_path}\n";
} else {
echo "图片下载失败。\n";
}
?>代码解析：
- $opts 数组：定义了HTTP请求的各种选项。
- 'http' 键：包含了HTTP协议相关的设置。
- 'header' 键：这里是关键。我们构建了一个多行的HTTP头字符串。每一行代表一个HTTP头，以\r\n分隔。
- User-Agent: 模拟一个真实的浏览器User-Agent字符串。这是解决问题的核心。
- Accept, Accept-Language 等：这些是可选的，但可以进一步模拟真实浏览器行为，提高成功率。
- 'ssl' 键：用于处理HTTPS连接。verify_peer和verify_peer_name设置为false可以在某些SSL证书验证失败的情况下绕过，但生产环境中应谨慎使用，因为它降低了安全性。
- stream_context_create($opts)：根据$opts数组创建一个上下文资源。
- file_get_contents($img_url, false, $context)：将创建的上下文资源作为第三个参数传递给file_get_contents()，这样它就会使用我们自定义的HTTP头进行请求。
- 错误处理：通过检查file_get_contents()和file_put_contents()的返回值来判断操作是否成功，并通过error_log记录失败信息。
- 路径处理：basename()用于从URL中提取文件名，realpath()和mkdir()确保保存目录的正确性和存在性。
注意事项与最佳实践
-
User-Agent选择：
- 选择一个常见的、最新的浏览器User-Agent字符串。可以定期更新，以应对网站的反爬策略更新。
- 避免使用过于简单或明显的机器人User-Agent。
-
错误处理：
- 始终检查file_get_contents()和file_put_contents()的返回值。如果返回false，表示操作失败。
- 使用error_log()记录详细的错误信息，便于调试。
-
目录权限：
- 确保PHP脚本对目标保存目录有写入权限。如果目录不存在，mkdir()函数需要足够的权限来创建。
-
超时设置：
- 对于大文件或网络状况不佳的情况，可以考虑在$opts中设置timeout来防止脚本长时间挂起。
'http' => array( // ... 其他头部 'timeout' => 30 // 设置超时时间为30秒 )
- 对于大文件或网络状况不佳的情况，可以考虑在$opts中设置timeout来防止脚本长时间挂起。
-
SSL验证：
- 在开发和测试环境中，禁用SSL验证（'ssl' => ['verify_peer' => false, 'verify_peer_name' => false]）可能方便，但在生产环境中应尽量避免，因为它会降低安全性。确保你的服务器信任目标网站的SSL证书是更好的做法。
-
合法性与道德：
- 在抓取任何网站内容之前，请务必阅读该网站的robots.txt文件，并遵守其抓取规则。
- 尊重版权，未经授权不要大规模抓取和分发受版权保护的图片。
- 避免对目标服务器造成过大的负载。
-
文件名唯一性：
- 如果需要下载多个图片，确保保存的文件名是唯一的，以避免文件覆盖。可以结合uniqid()、时间戳或原始文件名进行组合。
总结
当PHP的file_get_contents()在下载特定网站图片时遇到困难，而其他工具（如Python）或方法却能成功时，通常是因为服务器对HTTP请求头（尤其是User-Agent）进行了验证。通过利用stream_context_create()为file_get_contents()方法添加一个模拟浏览器行为的User-Agent头，可以有效地绕过这类服务器端限制。这种方法简洁高效，适用于大多数需要自定义HTTP请求头的场景。在实际应用中，结合良好的错误处理、权限管理和道德规范，将能确保PHP图片下载功能的稳定性和可靠性。
