微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 后端开发 > php教程 > 正文

连续的分页采集问题

php中文网
发布： 2016-06-06 20:38:28
原创
1512人浏览过

目标站点：http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm
获取内容：正文图片和文字说明；
本人实现方法：
因为分页地址是连续的，我是在目标地址上做循环

http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm

用get_headers访问后 获取返回是否为200，是的话进行内容抓取
1、curl获取当前地址html后，截取所需内容
2、_2这个就是变量，自增后继续判断下一页是否可以访问，可以访问就继续采集

以上是可以实现采集抓取的，但是好像速度很慢，而且每次都是curl去抓取对服务器貌似也有压力

东盟商机最新AC版As2007 SP1
东盟商机最新AC版As2007 SP1

AS系统本次的主要更新和新开发的功能如下（暂不详述）： 1、修复了普及版的一些大大小小的BUG 2、重新规划整个后台，使后台更加个性化、智能化、更加易用 3、重写了广告部分模块，使其更加专业化 4、重写了文章采集模块，添加了定时自动采集功能 5、添加了供求信息采集功能 6、重写了友情连接功能（原来的太简单了） 8、重写了生成HTML模块。（几个主要模块首页不用原来的生成方式，不再会被卡巴斯机杀毒软

东盟商机最新AC版As2007 SP1 0
查看详情 东盟商机最新AC版As2007 SP1

问题：如何改进，大家是如何用php做的抓取，求思路和方向

回复内容：

目标站点：http://news.xinhuanet.com/photo/2015-01/29/c_127433852.htm
获取内容：正文图片和文字说明；
本人实现方法：
因为分页地址是连续的，我是在目标地址上做循环

http://news.xinhuanet.com/photo/2015-01/29/c_127433852_2.htm

用get_headers访问后 获取返回是否为200，是的话进行内容抓取
1、curl获取当前地址html后，截取所需内容
2、_2这个就是变量，自增后继续判断下一页是否可以访问，可以访问就继续采集

以上是可以实现采集抓取的，但是好像速度很慢，而且每次都是curl去抓取对服务器貌似也有压力

问题：如何改进，大家是如何用php做的抓取，求思路和方向

下面不是有分页么，直接获取<div id="div_currpage"></div>里面的链接存到数组抓吧

  1. 直接抓取，抓取返回结果的时候就先判断状态码是否为200
  2. Curl并发
相关标签：
php

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：微信小程序出现“invalid code”怎么办 下一篇：百度编辑器Ueditor如何初始化内容
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
怎么预览php源码_php源码预览效果与快速查看法【技巧】 使用highlight_file()函数可直接预览PHP源码，通过view.php调用highlight_file(‘target.php’)实现语法高亮显示；配置Web服务器如Apache设置SetHandlerNone可使PHP文件以文本形式返回；利用IDE如PhpStorm或VSCode打开文件，借助语法高亮与导航功能本地查看；在代码中添加if(isset($_GET[‘source’])){show_source(__FILE__);exit;}，通过?source=1参数访问即可输出源
2025-12-02 01:39:39
829
网站源码php怎么打开_网站源码php打开查看与编辑法【教程】 可通过文本编辑器、IDE、本地服务器或在线工具打开和查看PHP源码。一、用Notepad++等文本编辑器可快速查看与修改，支持语法高亮；二、使用PhpStorm或VSCode等IDE能获得智能提示与调试功能，适合深度开发；三、通过XAMPP等本地服务器环境运行PHP文件，需将文件放入htdocs目录并在浏览器访问localhost查看实际效果；四、无法配置环境时可用3v4l.org等在线平台粘贴代码并运行，验证逻辑结果。
2025-12-02 01:33:19
378
php源码上传到空间以后怎么安装_空间装php源码安装步骤 首先确认服务器支持PHP环境，通过创建test.php文件并访问验证PHP配置；接着登录控制面板创建数据库并导入SQL文件；然后修改config.php等配置文件中的数据库连接信息；再设置upload、cache等目录权限为755或777，并确保文件路径正确；最后访问域名启动安装向导，填写信息完成初始化并删除install目录以保障安全。
2025-12-01 22:18:05
450
php中__destruct方法是什么 __destruct在PHP中用于对象销毁时自动执行清理操作，如关闭文件、释放资源；触发时机包括对象无引用、脚本结束或调用unset；其语法无参数无返回值，按后进先出顺序执行，子类需显式调用父类析构函数，避免抛出异常。
2025-12-01 22:17:37
236
php常量中两种定义方式的比较 答案：PHP中定义常量有define()和const两种方式。define()在运行时定义全局常量，支持动态名称，可用于条件语句；const在编译时定义，不可变，可用于类中，性能更优。1.define(‘PI’,3.14);2.constPI=3.14;3.类中用const定义常量。建议：类常量或固定值用const，动态场景用define()。
2025-12-01 22:15:53
961
php怎么开发手机网站源码_开发php手机网站源码入门 使用PHP开发适配移动端的网站需采用响应式设计或独立移动站策略，通过添加viewport元标签、使用弹性布局和前端框架实现自适应；利用PHP动态生成内容，提高代码复用性并减少数据传输；通过$_SERVER[‘HTTP_USER_AGENT’]检测设备类型并自动跳转至手机站点；优化图片加载与资源压缩，提升页面性能；简化表单设计并强化输入验证，确保流畅交互体验。
2025-12-01 22:14:40
824
php迭代器iterator的作用 PHP迭代器通过实现Iterator接口的5个方法（current、key、next、rewind、valid），使对象能被foreach遍历，统一不同数据结构的访问方式，支持懒加载以节省内存，提升代码可读性与复用性。
2025-12-01 22:13:28
950
php中$this的就近原则 $this是PHP中指向当前对象实例的伪变量，仅在类的非静态方法中可用，其指向由调用方法的对象决定，而非作用域查找或“就近原则”；在闭包中使用时，仅当闭包定义于类方法内且绑定对象上下文方可访问；静态方法中不可使用$this，否则触发致命错误。
2025-12-01 22:13:28
690
php源码注册怎么取消验证码_消php源码注册验证码步骤 首先定位并删除注册页面中的验证码显示代码和输入框，接着在后端处理文件中注释或移除验证码验证逻辑，最后可选清除验证码Session生成相关代码，确保注册流程无需验证码即可提交。
2025-12-01 22:11:15
156
php源码中怎么查看数据库名_查php源码数据库名技巧 首先查找配置文件如config.php或.env，再搜索mysqli_connect或PDO等函数参数，结合框架特定路径如Laravel的.env中DB_DATABASE字段确定数据库名。
2025-12-01 22:10:57
873
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部