Node.js 中使用 node-cron 实现定时 API 数据抓取与处理

npm install node-cron axios
# 或者
yarn add node-cron axios

// main.js 或一个独立的 cron-jobs.js 文件

import cron from 'node-cron';
import axios from 'axios'; // 推荐使用 axios 进行 HTTP 请求，因为它提供了更好的错误处理和拦截器

// --- 配置项 ---
const API_URL = 'https://jsonplaceholder.typicode.com/posts/1'; // 示例 API 地址
const CRON_SCHEDULE = '* * * * *'; // 每分钟执行一次，对应每60秒。如果需要更精确的秒级，可以使用 '*/60 * * * * *' (部分 node-cron 版本支持)

// --- 辅助函数：从 API 获取数据 ---
async function fetchDataFromAPI() {
    try {
        console.log(`[${new Date().toISOString()}] 正在从 API 获取数据: ${API_URL}`);
        const response = await axios.get(API_URL);
        // 检查 HTTP 状态码，axios 会自动处理非 2xx 状态码为错误
        return response.data;
    } catch (error) {
        console.error(`[${new Date().toISOString()}] 从 API 获取数据失败:`, error.message);
        // 根据错误类型，可能需要更细致的错误处理，例如重试机制
        throw new Error('API 数据获取失败'); // 抛出错误以便上层捕获
    }
}

// --- 辅助函数：处理获取到的数据 ---
function processFetchedData(rawData) {
    console.log(`[${new Date().toISOString()}] 正在处理原始数据:`, rawData);
    // 假设我们需要提取数据的 ID 和标题，并添加一个处理时间戳
    if (!rawData || typeof rawData !== 'object') {
        console.warn(`[${new Date().toISOString()}] 接收到无效的原始数据。`);
        return null;
    }
    const processed = {
        recordId: rawData.id,
        title: rawData.title,
        processedAt: new Date().toISOString(),
        // 可以在这里添加其他业务逻辑，例如数据转换、验证等
    };
    return processed;
}

// --- 辅助函数：将数据保存到数据库 ---
async function saveToDatabase(record) {
    try {
        console.log(`[${new Date().toISOString()}] 正在保存记录到数据库:`, record);
        // 模拟数据库操作，实际中替换为你的数据库客户端代码
        // 例如：await myDatabaseClient.collection('api_records').insertOne(record);
        await new Promise(resolve => setTimeout(resolve, 500)); // 模拟异步数据库写入
        console.log(`[${new Date().toISOString()}] 记录保存成功: ID ${record.recordId}`);
    } catch (error) {
        console.error(`[${new Date().toISOString()}] 保存记录到数据库失败:`, error.message);
        throw new Error('数据库保存失败');
    }
}

// --- 调度任务 ---
const job = cron.schedule(CRON_SCHEDULE, async () => {
    console.log(`\n--- [${new Date().toISOString()}] 启动定时数据抓取任务 ---`);
    try {
        const rawData = await fetchDataFromAPI();
        if (rawData) {
            const processedData = processFetchedData(rawData);
            if (processedData) {
                await saveToDatabase(processedData);
                console.log(`[${new Date().toISOString()}] 定时任务执行成功，数据已处理并保存。`);
            } else {
                console.warn(`[${new Date().toISOString()}] 数据处理失败，未生成有效记录。`);
            }
        } else {
            console.warn(`[${new Date().toISOString()}] API 未返回有效数据。`);
        }
    } catch (error) {
        console.error(`[${new Date().toISOString()}] 定时任务执行过程中发生错误:`, error.message);
        // 可以在这里添加告警机制，例如发送邮件或消息到监控系统
    }
    console.log(`--- [${new Date().toISOString()}] 定时数据抓取任务结束 ---\n`);
});

// --- 启动服务时，确保 cron 任务也启动 ---
console.log(`Node.js 服务已启动。定时任务已调度，将每分钟执行一次。`);
console.log(`任务状态：${job.running ? '运行中' : '已停止'}`);

// --- 优雅地关闭任务（可选但推荐） ---
// 监听进程终止信号，确保在应用关闭时停止 cron 任务
process.on('SIGINT', () => {
    console.log('接收到 SIGINT 信号，停止 cron 任务...');
    job.stop(); // 停止所有计划任务
    console.log('Cron 任务已停止。');
    process.exit(0); // 退出进程
});

process.on('SIGTERM', () => {
    console.log('接收到 SIGTERM 信号，停止 cron 任务...');
    job.stop();
    console.log('Cron 任务已停止。');
    process.exit(0);
});

// 示例：在 SvelteKit 的服务器端启动 cron 任务
// src/hooks.server.js
import { fetchDataFromAPI, processFetchedData, saveToDatabase } from './lib/cron-tasks'; // 假设将上述逻辑封装到单独的文件
import cron from 'node-cron';

// 定义 cron 任务的调度
const CRON_SCHEDULE = '* * * * *'; // 每分钟

const scheduledJob = cron.schedule(CRON_SCHEDULE, async () => {
    console.log(`[${new Date().toISOString()}] SvelteKit 后台任务：执行数据抓取...`);
    try {
        const rawData = await fetchDataFromAPI();
        if (rawData) {
            const processedData = processFetchedData(rawData);
            if (processedData) {
                await saveToDatabase(processedData);
            }
        }
    } catch (error) {
        console.error(`[${new Date().toISOString()}] SvelteKit 后台任务失败:`, error.message);
    }
});

// 在服务器启动时执行一次，确保任务已调度
console.log('SvelteKit 服务器已启动，后台数据抓取任务已调度。');

// 导出 handle hook 或其他服务器端逻辑
export async function handle({ event, resolve }) {
    // ... SvelteKit 的其他处理逻辑
    const response = await resolve(event);
    return response;
}

// 注意：SvelteKit 的 hooks.server.js 可能会在开发模式下热重载，
// 导致 cron 任务重复启动。在生产环境中，这通常不是问题。
// 对于开发环境，可以添加逻辑避免重复调度，或者只在生产构建中包含此逻辑。