使用 javascript 进行网络爬行的可能性
静态网站：axios 和 cheerio
让我们逐步了解如何使用 javascript 抓取静态电子商务网站。在此示例中，我们将使用两个流行的库：用于 http 请求的 axios 和用于解析 html 的 cheerio。
*1。安装依赖项 *
使用 npm 安装 axios 和 cheerio：
npm 安装 axios cheerio
*2。创建脚本 *
创建一个 javascript 文件，例如b. scrapeecommerce.js 并在代码编辑器中打开它。
*3。导入模块*
将 axios 和 cheerio 导入到您的脚本中：
const axios = require('axios');
const cheerio = require('cheerio');
*4。定义目标 url *
选择您要访问的电子商务网站。在此示例中，我们使用假设的 url http://example-ecommerce.com。将其替换为所需的 url：
const url = 'http://example-ecommerce.com';
*5。获取 html 内容 *
使用axios向目标url发送get请求，获取html内容：
axios.get(url)
.then(响应=> {
const html = response.data;
// 现在可以解析 html 内容
})
.catch(错误=> {
console.error('获取页面时出错：', error);
});
*6。解析 html 并提取数据 *
使用 cheerio 解析 html 代码并提取您想要的信息，例如产品名称和价格：
axios.get(url)
.then(响应=> {
const html = response.data;
const $ = cheerio.load(html);
const products = [];
$('.product').each((index, element) => {
const name = $(element).find('.product-name').text().trim();
const price = $(element).find('.product-price').text().trim();
products.push({ name, price });
});
console.log(products);
})
.catch(错误=> {
console.error('获取页面时出错：', error);
});
*要点*
- axios.get(url)：发送 get 请求并返回承诺。
- .then(response => { … })：如果请求成功，则html内容在response.data中。
- cheerio.load(html)：将 html 内容加载到 cheerio 中，以进行类似 jquery 的 dom 操作。
- $('.product').each((index, element) => { … })：迭代所有 .product 元素。
- $(element).find('.product-name').text().trim()：提取产品名称。
- $(element).find('.product-price').text().trim()：提取产品的价格。
- products.push({ name,price })：将产品信息添加到产品数组中。
- console.log(products)：输出提取的信息。
*完整示例脚本：*
const axios = require('axios');
const cheerio = require('cheerio');
const url = 'http://example-ecommerce.com';
axios.get(url)
.then(响应=> {
const html = response.data;
const $ = cheerio.load(html);
const products = [];
$('.product').each((index, element) => {
const name = $(element).find('.product-name').text().trim();
const price = $(element).find('.product-price').text().trim();
products.push({ name, price });
});
console.log(products);
})
.catch(错误=> {
console.error('获取页面时出错：', error);
});
*着陆页自定义：*
- 选择器：.product、.product-name 和 .product-price 选择器必须适应目标页面的实际 html 结构。
- 其他数据：有关其他信息（例如产品图片、链接、描述），请检查相应的 html 结构。
使用 javascript 抓取网站的网页抓取工具
如果您最近需要 python、ruby 或其他编程语言进行网页抓取，octoparse 是一个出色的工具，特别是对于支持 javascript 的网站。
立即学习“Java免费学习笔记（深入）”；
举个具体的例子：如果你有一个目标网站，想要开始抓取，你首先应该检查该网站是否被阻止js抓取。不同的网站使用不同的保护方法，您可能需要一些时间和令人沮丧的尝试才能意识到问题，特别是如果抓取没有产生预期的结果。然而，使用网络抓取工具，数据提取过程会顺利进行。
许多网络抓取工具可以让您免去编写爬虫的麻烦。 octoparse 在抓取大量 javascript 页面方面特别高效，可以从 99% 的网页中提取数据，包括使用 ajax 的网页。它还提供验证码解决服务。 octoparse 可免费使用，并提供自动发现功能和 100 多个易于使用的模板，可实现高效的数据提取。新用户还可以享受 14 天的试用期。
