0

0

如何抓取天气数据_PHP抓取中国天气网信息教程【方法】

看不見的法師

看不見的法師

发布时间:2026-02-22 23:10:03

|

943人浏览过

|

来源于php中文网

原创

中国天气网反爬严格,需用curl设置user-agent、referer等请求头并处理编码;优先调用其稳定json接口(如/data/sk/),响应为gb2312需转utf-8后再json_decode。

如何抓取天气数据_php抓取中国天气网信息教程【方法】

file_get_contentscurl 都能用,但中国天气网已默认启用反爬机制,直接请求大概率返回空页或 403 —— 这不是你代码写错了,是网站加了 User-Agent 检查、Referer 校验,甚至部分接口还依赖 Cookie 或 JS 渲染。


curl 抓取前必须设置基础请求头

中国天气网(如 <a href="https://www.php.cn/link/7fe059987fe6e9d0cb6a7c2e98874d4c">https://www.php.cn/link/7fe059987fe6e9d0cb6a7c2e98874d4c</a>)对无头请求非常敏感。不设 User-AgentReferercurl_exec 很可能返回空白字符串或重定向到首页。

实操建议:

  • 必须设置 CURLOPT_USERAGENT,例如 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
  • 推荐加上 CURLOPT_REFERER,值设为同域名首页:"http://www.weather.com.cn/"
  • 关闭 SSL 验证(仅开发测试时):CURLOPT_SSL_VERIFYPEER => false
  • 开启 CURLOPT_FOLLOWLOCATION,避免因 302 跳转导致内容丢失
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36');
curl_setopt($ch, CURLOPT_REFERER, 'http://www.weather.com.cn/');
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$content = curl_exec($ch);
curl_close($ch);

DOMDocument 解析失败?先检查编码和 HTML 结构完整性

DOMDocument::loadHTML() 对 malformed HTML 极其脆弱。中国天气网页面常含未闭合标签、中文注释、乱码字符(如 天气),直接 load 可能静默失败或报 Warning,导致 $xpath->query() 返回空结果。

立即学习PHP免费学习笔记(深入)”;

常见错误现象:

  • $days = $xpath->query('//div[@id="7d"]//li') 返回 0 个节点,但浏览器里明明有
  • DOMDocumentEntity 'nbsp' not found 类警告

解决办法:

剪刀手
剪刀手

全自动AI剪辑神器:日剪千条AI原创视频,零非原创风险,批量高效制作引爆流量!免费体验,轻松上手!

下载
  • mb_convert_encoding($content, 'HTML-ENTITIES', 'UTF-8') 统一转码
  • 用正则预清理注释:$content = preg_replace('/<!--[\s\S]*?-->/', '', $content)
  • 加载前补全 doctype(可选):$content = '' . $content . ''

别硬啃网页源码,优先用官方 JSON 接口

中国天气网实际提供多个未公开但长期稳定的 JSON 接口,比解析 HTML 更可靠、更轻量:

三个可用地址(城市编码需查表,如北京 101010100):

  • 实时数据:http://www.weather.com.cn/data/sk/101010100.html
  • 当日详情:http://www.weather.com.cn/data/cityinfo/101010100.html
  • 7天预报:http://m.weather.com.cn/data/101010100.html

这些接口返回标准 JSON,无需 XPath 或正则,json_decode(file_get_contents($url), true) 即可拿到数组。注意:

  • 响应是 GB2312 编码,需用 iconv('GB2312', 'UTF-8', $json_str) 转换后再 decode
  • http://m.weather.com.cn/data/... 返回的是嵌套结构,主数据在 $data['weatherinfo']
  • 部分接口已弃用(如旧版 /data/ 地址),若返回 404,换用 /data/sk/ 或迁移到和风天气等正规 API

城市编码怎么找?别手动扒网页

中国天气网没有公开的城市 ID 映射表,但可通过以下方式快速获取:

  • 访问 http://www.weather.com.cn/forecast/,打开开发者工具 → Network → 切换城市,观察 XHR 请求里的 cityid 参数
  • 用现成的离线映射文件(如 GitHub 上搜 china-weather-city-code),多数含 CSV/JSON 格式
  • 调用淘宝 IP 定位接口粗略判断(仅作参考):http://ip.taobao.com/service/getIpInfo.php?ip=your_ip → 提取 data.city 后再匹配

最稳妥的做法:把常用城市(北上广深杭等)的编码写死在配置数组里,避免每次请求都去查。


真正卡住人的从来不是“怎么写循环”,而是 curl 拿不到内容、DOMDocument 解析无声失败、或者今天还能用的接口明天就 404 —— 所以务必加日志:记录 curl_getinfo($ch, CURLINFO_HTTP_CODE) 和原始 $content 前 200 字符,否则排查起来全是黑盒。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

443

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

544

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

322

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

81

2025.09.10

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6475

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

363

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

437

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

1030

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 12.3万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号