0
0
尚
发布时间：2019-06-28 16:32:47
|20456人浏览过
|来源于php中文网
原创
很多初学python爬虫的小伙伴们都会遇到python爬虫翻页的问题，我在这里先介绍一种。
需要爬取的网站如图所示
查询的这种植物有四页。当我们平时翻页时，首先想到肯定是点击页面上的下一页，写爬虫也是如此，想提取页面上的链接进行访问。但是这样做很麻烦，并且效率很低。
翻页的方式一般有两种：
立即学习“Python免费学习笔记（深入）”；
1、观察网站翻页时链接变化
2、如果写爬虫的请求方式是post方式请求，则需要观察post的数据的变化是否有规律
今天讲得是第一种方法
如图，当我点击下一页时，观察到地址栏的链接变化
在链接中我们可以惊喜的发现，有page关键字，而且恰好为2，我们试验一下，将链接中page的值改为3，发现正常访问，正好是第三页。因此，我们找到了翻页方式，更改链接中关键字的值。
因此翻页过程步骤为：
1、获取总网页数目
2、利用for循环改变page的值，进行翻页。
具体翻页代码实现如下：
获取总页码
网络请求方式
改变请求头中的page数值
更多Python相关技术文章，请访问Python教程栏目进行学习！
相关文章
Python爬虫实战项目_网页抓取与解析完整教程【教程】
Python爬虫反爬怎么处理_headers与代理技巧【教学】
Python爬虫批量识别页面结构变化的自适应采集策略【技巧】
Python自动化脚本项目中爬取网页数据的操作步骤【教程】
Python爬虫如何解析网页_BeautifulSoup实战讲解【指导】
python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
热门AI工具
相关专题
php中文网为大家提供各种python开发工具，好的开发工具，可帮助开发者攻克编程学习中的基础障碍，理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容，供大家免费下载使用。
758
2023.06.15
python能做的有：可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。
761
2023.07.25
Python中的format是一种字符串格式化方法，用于将变量或值插入到字符串中的占位符位置。通过format方法，我们可以动态地构建字符串，使其包含不同值。php中文网给大家带来了相关的教程以及文章，欢迎大家前来阅读学习。
618
2023.07.31
Python是一种流行的编程语言，被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后，我们需要配置环境变量，以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章，欢迎大家前来学习阅读。
548
2023.08.04
eval函数是Python中一个非常强大的函数，它可以将字符串作为Python代码进行执行，实现动态编程的效果。然而，由于其潜在的安全风险和性能问题，需要谨慎使用。php中文网给大家带来了相关的教程以及文章，欢迎大家前来学习阅读。
579
2023.08.04
scratch和python的区别：1、scratch是一种专为初学者设计的图形化编程语言，python是一种文本编程语言；2、scratch使用的是基于积木的编程语法，python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容，供大家免费下载体验。
708
2023.08.11
热门下载
相关下载
精品课程
共11课时 | 0.9万人学习
最新文章
Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
