58同城招聘信息爬取：解决申请人数和浏览人数数据不一致问题
在爬取58同城招聘页面时，经常遇到一个棘手的问题：网页源代码显示的申请人数和浏览人数与页面实际显示的数据不符，源代码中往往显示为0，而页面实时更新的数据却与浏览器开发者工具(F12)中的Elements内容一致。 这篇文章将探讨如何解决这个问题，获取准确的申请人数和浏览人数。
问题分析：
58同城为了防止数据被恶意爬取，采用了动态加载数据的方式。 页面上的申请人数和浏览人数并非直接从HTML源代码中获取，而是通过JavaScript异步加载的。因此，直接解析HTML源代码无法获得正确的数据。
解决方案：
要获取正确的申请人数和浏览人数，需要找到58同城提供的API接口。 通过分析网络请求，我们可以发现一个用于获取招聘信息统计数据的API接口，其URL类似于以下格式：
https://statisticszp.58.com/position/totalcount/?infoId=27988...
其中infoId参数代表具体的职位ID，需要根据目标招聘页面的URL进行提取。
API返回数据示例：
API接口返回的JSON数据包含了我们需要的信息：
{
"deliveryCount": 1141, // 申请人数
"commentCount": 0,
"infoCount": 4, // 浏览人数
"resumeReadPercent": 0,
"referUrl": "",
"nextUrl": "null"
}
deliveryCount字段表示申请人数，infoCount字段表示浏览人数。
实现步骤：
-
获取职位ID (infoId): 分析目标招聘页面的URL，找到职位ID对应的参数值。 这可能需要使用正则表达式或其他字符串处理方法。
-
构造API请求URL: 将提取到的
infoId替换到API URL模板中，形成完整的API请求URL。 -
发送API请求: 使用Python的
requests库或其他HTTP客户端发送GET请求到API URL。 -
解析JSON数据: 将API返回的JSON数据解析成Python字典，提取
deliveryCount和infoCount的值，即为正确的申请人数和浏览人数。
通过以上步骤，即可绕过58同城网页的动态加载机制，准确获取招聘页面的申请人数和浏览人数数据。 请注意，API接口的地址和参数名称可能会有变化，需要根据实际情况进行调整。 同时，请遵守58同城的robots.txt规则，避免对服务器造成过大压力。
