使用Node.js结合axios和cheerio可实现静态网页爬取，而Puppeteer适用于动态内容抓取与自动化测试。1. 通过axios发送请求获取页面数据，cheerio解析HTML提取信息，适合轻量级爬虫；2. Puppeteer控制无头浏览器，支持JavaScript渲染、表单提交、截图等功能，适用于复杂交互场景；3. 实际应用中需设置User-Agent、控制请求频率、遵守robots.txt，避免被封禁；4. 自动化测试脚本可用于登录验证等操作，但应在非生产环境运行；5. 根据是否需要JS执行选择合适工具：静态内容用cheerio，动态内容用Puppeteer。
JavaScript 本身不能直接作为传统意义上的“网络爬虫”在服务端自由抓取网页，但结合 Node.js 和相关库可以实现。自动化测试脚本则可在浏览器或无头环境中运行。下面分别介绍如何用 JavaScript 实现这两类任务。
使用 Node.js 实现网络爬虫
在服务端通过 Node.js 模拟 HTTP 请求并解析 HTML 内容，常用工具包括：
- axios 或 node-fetch：发送 HTTP 请求获取网页内容
- cheerio：在服务器端解析和操作 HTML，类似 jQuery
示例：抓取某个页面的标题
const axios = require('axios');const cheerio = require('cheerio');
async function scrapeTitle(url) {
try {
const response = await axios.get(url);
const $ = cheerio.load(response.data);
console.log($('title').text().trim());
} catch (err) {
console.error('抓取失败:', err.message);
}
}
scrapeTitle('https://example.com');
注意：部分网站有反爬机制，需设置请求头（如 User-Agent）、控制请求频率，或使用代理。
立即学习“Java免费学习笔记（深入）”；
使用 Puppeteer 进行浏览器级爬虫或自动化测试
Puppeteer 是一个控制无头 Chrome/Chromium 的 Node 库，适合处理动态加载内容（如 React、Vue 页面），也可用于自动化测试。
- 可拦截请求、截图、生成 PDF、模拟用户操作
- 支持等待元素出现、点击按钮、填写表单等
安装：
npm install puppeteer示例：打开页面并截屏
const puppeteer = require('puppeteer');async function run() {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({ path: 'example.png' });
await browser.close();
}
run();
自动化测试示例：登录表单提交
await page.type('#username', 'testuser');await page.type('#password', '123456');
await page.click('#login-btn');
await page.waitForNavigation();
const success = await page.$('.welcome-message');
console.assert(success, '登录应成功');
注意事项与最佳实践
无论是爬虫还是自动化测试，都要注意以下几点：
- 遵守目标网站的 robots.txt 和使用条款，避免频繁请求
- 设置合理的延迟，模拟人类行为
- 处理异常和超时，确保脚本稳定性
- 避免绕过认证或访问未授权数据
- 测试脚本应在非生产环境运行，防止误操作
