Java 中调用 Python 爬虫有两种方法：使用 subprocess 或 os 模块直接运行 Python 脚本。将 Python 爬虫部署为 Web 服务，通过 HTTP 请求调用。
Python 爬虫如何由 Java 调用
直接调用
- 使用 Python 外部库，如
subprocess或os模块，在 Java 中运行 Python 脚本。 - 例如：
import java.io.IOException;
public class CallPythonCrawler {
public static void main(String[] args) throws IOException {
// 替换为 Python 爬虫脚本的路径
String pythonScriptPath = "/path/to/python_crawler.py";
// 根据需要传递参数
String[] arguments = {"arg1", "arg2"};
// 运行 Python 爬虫
ProcessBuilder processBuilder = new ProcessBuilder("python", pythonScriptPath, arguments);
Process process = processBuilder.start();
// 获取爬虫输出
String output = process.getInputStream().toString();
// 处理输出
// ...
}
}通过 HTTP 请求调用
- 将 Python 爬虫部署为 Web 服务（例如 Flask 或 Django），并从 Java 发送 HTTP 请求。
- 使用 Java 的
HttpURLConnection或HttpClient等库发送请求。 - 例如：
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
public class CallPythonCrawlerViaHTTP {
public static void main(String[] args) throws Exception {
// 替换为 Python 爬虫服务的 URL
String url = "http://localhost:8080/crawl";
// 创建 HTTP 请求连接
URL obj = new URL(url);
HttpURLConnection con = (HttpURLConnection) obj.openConnection();
// 发送请求
con.setRequestMethod("POST");
con.setRequestProperty("Content-Type", "application/json");
// 根据需要添加查询参数或 JSON 负载
// 获取响应
BufferedReader in = new BufferedReader(new InputStreamReader(con.getInputStream()));
String output = in.readLine();
// 处理输出
// ...
}
}注意事项
立即学习“Java免费学习笔记（深入）”；
- 确保 Java 环境已安装 Python 解释器。
- Python 爬虫的编码应与 Java 环境兼容。
- 考虑部署和安全问题，例如跨平台兼容性和访问控制。
