本文详解 apache camel 中 sftp 组件下载文件后服务端文件残留导致重复拉取的问题，重点介绍 delete、move 等关键参数的配置方式与最佳实践，确保单次 api 调用仅触发一次精准下载。
本文详解 apache camel 中 sftp 组件下载文件后服务端文件残留导致重复拉取的问题，重点介绍 delete、move 等关键参数的配置方式与最佳实践，确保单次 api 调用仅触发一次精准下载。
在使用 Apache Camel 的 camel-ftp（含 SFTP 支持）组件从远程服务器下载文件时，一个常见误区是认为 .to("file://...") 会自动移除或标记源文件。事实并非如此：SFTP 消费器（consumer）默认采用“只读”模式——它仅将文件复制到本地，而原始文件仍完整保留在服务器上。若路由未显式终止或未配置后续处理动作，Camel 可能基于轮询机制（如默认 500ms 间隔）持续检测并重复拉取同一文件，造成数据冗余、磁盘占用甚至业务逻辑异常。
根本原因在于 from("sftp://...") 是一个消费者端点（Consumer Endpoint），其行为由 polling consumer 驱动，默认启用定时轮询。即使你通过 API 动态添加路由，只要该路由处于运行状态且未被停止，Camel 就会持续尝试消费新文件（或已存在但未被标记处理的文件）。因此，解决该问题需从两个维度入手：一次性执行控制 和 文件后处理策略。
✅ 正确配置文件消费后行为
Camel 提供多个 URI 参数用于指定消费成功后的服务端文件操作，必须显式声明：
| 参数 | 说明 | 示例 |
|---|---|---|
| delete=true | 下载完成后立即删除远程文件（最简方案，适用于文件无需保留场景） | sftp://host/?username=u&password=p&delete=true |
| move=.processed | 将已下载文件重命名为 .processed（推荐，保留审计痕迹） | sftp://host/?...&move=.processed |
| move=archive/${date:now:yyyyMMdd}/${file:name} | 移动至带日期的归档目录（生产级常用） | sftp://host/?...&move=archive/${date:now:yyyyMMdd}/${file:name} |
| preMove=.processing | 下载前先临时重命名，防止并发冲突 | sftp://host/?...&preMove=.processing&move=.done |
⚠️ 注意：move 和 delete 互斥，不可同时设置；move 值支持 Simple 表达式，可动态构造路径。
✅ 控制路由生命周期：避免重复激活
当前代码中每次调用 API 都 addRoutes()，但未停止旧路由，也未保证单例路由唯一性，极易引发资源泄漏与重复消费。应改为：
- 预定义静态路由（推荐）：在应用启动时加载一次，通过 PollingConsumer 的 sendBody() 主动触发单次拉取；
- 或动态路由 + 显式启停：添加后立即启动，并在处理完成回调中安全停止。
以下是优化后的生产就绪型实现示例：
// ✅ 推荐：使用 ProducerTemplate 主动拉取（无轮询，真正单次）
@GetMapping("/myapicall")
public ResponseEntity<String> fetchFileFromSFTPServer() {
try {
// 构建 SFTP 源端点（含 delete 或 move）
String sftpEndpoint = "sftp://server/" +
"?username=user&password=pass" +
"&move=archive/${date:now:yyyyMMdd}/${file:name}" + // ✅ 关键：移动而非残留
"&fileName=report.csv"; // 可选：精确匹配文件名，避免误拉
// 主动发起一次消费（非轮询！）
Object result = template.requestBody(sftpEndpoint, null);
logger.info("SFTP file fetched and moved successfully: {}", result);
return ResponseEntity.ok("File downloaded and archived.");
} catch (Exception e) {
logger.error("Failed to fetch SFTP file", e);
return ResponseEntity.status(500).body("Error: " + e.getMessage());
}
}对应路由配置（若仍需 RouteBuilder）应关闭轮询并设为单次：
@Override
public void configure() throws Exception {
// ❌ 错误：from("sftp://...") → 启动轮询消费者
// ✅ 正确：使用 direct:start 触发，配合 producer 模式
from("direct:start-sftp-download")
.routeId("SFTP_OnDemand_Download")
.log("Triggering one-time SFTP download...")
.from("sftp://server/?username=u&password=p&move=archive/${date:now:yyyyMMdd}/${file:name}&fileName=data.txt")
.to("file:C:/myLocal")
.log("Download completed and remote file archived.");
}? 关键注意事项总结
- 永远显式声明 move 或 delete：切勿依赖默认行为；
- 避免在 HTTP API 中反复 addRoutes()：优先使用 ProducerTemplate 或预定义 direct 路由；
- 启用日志与异常处理：添加 .onException(Exception.class).handled(true)... 防止失败导致路由中断；
- 测试文件幂等性：验证重复调用 API 是否仍只拉取一次（可通过 SFTP 服务器日志确认）；
- 生产环境务必使用密钥认证：禁用密码明文（privateKeyFile + privateKeyPassphrase）。
通过合理配置 Camel SFTP 的文件后处理策略，并配合主动式（而非轮询式）调用模型，即可彻底解决“文件已下载但服务端持续触发”的顽疾，保障集成流程的可靠性与可预测性。
