node.js 是一种基于 chrome v8 引擎的 javascript 运行环境，提供了丰富的模块，可以十分方便地进行网络请求和页面抓取。然而，在进行 https 请求时，由于涉及到加密和证书验证等过程，会增加一些复杂度。本篇文章将介绍如何使用 node.js 抓取 https 请求，以及遇到的一些问题和解决方案。
一、准备工作
在开始之前，需要确保以下几点：
- 安装 Node.js 环境，并且 Node.js 版本大于等于 0.11.13（之前的版本存在 SSL 安全漏洞）。
- 使用 SSH 或其他安全方式连接到需要抓取的 HTTPS 请求的服务器。
- 了解 HTTPS 加密及证书验证等相关知识。
二、HTTPS 请求的处理方式
当使用 Node.js 发起 HTTPS 请求时，需要注意以下几个方面：
- 需要使用 https 模块进行请求，与使用 http 模块类似。
- 需要设置代理、证书等相关参数。
- 需要注意服务器证书验证及证书链的构建。
例如，使用 https 模块发起一个简单的 HTTPS 请求：
var https = require('https');
https.get('https://www.example.com/', function(res) {
console.log('statusCode:', res.statusCode);
console.log('headers:', res.headers);
res.on('data', function(d) {
process.stdout.write(d);
});
}).on('error', function(e) {
console.error(e);
});需要注意的是，在这种情况下，Node.js 将使用自带的证书验证来验证服务器证书。
三、自定义证书验证
在某些情况下，我们需要自定义证书验证过程来满足一些特定需求，例如连接到某个私有 HTTPS 服务或者在抓取 HTTPS 请求时忽略 SSL 证书错误等。
自定义证书验证的过程基本上是将证书根据自定义规则生成一个 CA，然后将 CA 加入到 Node.js 的信任列表中。这个过程可以使用 openssl 工具来完成。具体步骤如下：
- 生成密钥和证书请求
openssl genrsa -out private-key.pem 2048 openssl req -new -key private-key.pem -out csr.pem
- 使用证书请求生成证书
openssl x509 -req -in csr.pem -signkey private-key.pem -out public-cert.pem
- 将证书加入 Node.js 的信任列表
var https = require('https');
var fs = require('fs');
var options = {
hostname: 'www.example.com',
port: 443,
path: '/',
method: 'GET',
ca: [fs.readFileSync('public-cert.pem')]
};
https.request(options, function(res) {
console.log(res.statusCode);
res.on('data', function(chunk) {
console.log(chunk.toString());
});
}).end();四、检测和解决 SSLv3 POODLE 安全漏洞
SSLv3 POODLE 安全漏洞是一种利用 SSLv3 填充攻击漏洞的攻击方式。由于 SSLv3 本身存在安全漏洞，而且在 TLS 协议被广泛应用之后，已经逐渐被淘汰，因此大部分的浏览器和服务器应用已经停止使用 SSLv3。然而，在特定情况下，仍然可能存在使用 SSLv3 的请求。
在 Node.js 中，可以使用以下代码块来检测是否存在 SSLv3 POODLE 安全漏洞：
var https = require('https');
var tls = require('tls');
var constants = require('constants');
tls.DEFAULT_MIN_VERSION = 'TLSv1';
var options = {
hostname: 'www.example.com',
port: 443,
path: '/',
method: 'GET'
};
https.request(options, function(res) {
var socket = res.socket;
socket.on('secureConnect', function() {
if (socket.getProtocol() == 'SSLv3') {
console.error('SSLv3 is enabled');
process.exit(1);
}
});
res.pipe(process.stdout);
}).end();在出现 SSLv3 开启的情况下，可以在 Node.js 运行时加入 --ssl-protocol=TLSv1 参数来屏蔽 SSLv3 漏洞。
五、结语
本文介绍了如何使用 Node.js 抓取 HTTPS 请求，包括 HTTPS 请求的处理方式、自定义证书验证、检测和解决 SSLv3 POODLE 安全漏洞等。希望对大家了解 Node.js 的 HTTPS 请求抓取有所帮助。
