通过设置黑白名单可精准控制火车头采集器的采集范围。首先在任务设置中启用URL过滤功能，进入高级选项勾选URL过滤并保存；接着配置白名单规则，选择白名单模式，添加如https://www.example.com/news/detail_.html类的目标URL，利用和?通配符实现模糊匹配，每行输入一条规则；然后设置黑名单排除无关页面，切换至黑名单模式或混合模式，添加含?page=、login、ad等特征的屏蔽规则，并建议使用模拟采集测试效果；对于复杂结构启用正则表达式模式，编写精确规则如https://www.example.com/\d{4}/\d{2}/\d{2}/.，注意特殊字符转义并通过测试按钮验证；最后结合层级限制，在采集范围中设定最大深度（如2层），启用“仅从起始地址开始计算层级”，限定起始链接为目标栏目首页，并配合域名限制确保仅采集子域内链接，从而提升效率、减少冗余与服务器压力。
如果您希望在使用火车头采集器时精准控制采集范围，避免抓取不相关或重复的页面，可以通过设置黑白名单来实现对URL的有效过滤。以下是具体操作步骤：
一、启用URL过滤功能
在火车头采集器的任务配置中，URL过滤是控制采集入口的关键环节。开启该功能后，系统会根据设定的规则判断哪些链接可以进入采集流程。
1、打开需要设置的任务，点击“任务设置”选项卡。
2、找到“高级选项”中的“URL过滤”功能，勾选以启用。
3、确认保存当前设置，以便后续配置生效。
二、配置白名单规则
白名单用于指定仅允许采集的URL模式，只有符合规则的链接才会被处理，其余全部忽略。适用于目标站点结构复杂但只需抓取特定栏目时。
1、在“URL过滤”界面中选择“白名单”模式。
2、添加允许采集的URL示例，如：https://www.example.com/news/detail_*.html。
3、支持通配符“*”和“?”进行模糊匹配，确保覆盖所有目标页面。
4、每条规则单独一行输入，避免多个规则写在同一行导致失效。
三、配置黑名单规则
黑名单用于排除不需要采集的页面链接，常用于跳过登录页、广告页或分页中的无用页面。
1、切换至“黑名单”模式，或在混合模式下添加排除规则。
2、输入需屏蔽的URL特征，例如：*?page=* 可阻止含参数page的所有动态分页。
3、可加入多个关键词组合，如包含“login”、“ad”、“temp”的链接均不采集。
4、测试规则时建议先启用“模拟采集”功能，查看实际过滤效果。
四、结合正则表达式精确过滤
对于复杂的URL结构，普通通配符难以满足需求，此时可启用正则表达式模式进行精细化控制。
1、在URL过滤设置中选择“使用正则表达式”选项。
2、编写匹配规则，例如只采集日期格式为202[0-9]/\d{2}/\d{2}的新闻页：https://www\.example\.com/\d{4}/\d{2}/\d{2}/.*。
3、注意转义特殊字符，如点号“.”需写作“\\.”，斜杠“/”无需转义。
4、通过“测试正则”按钮验证表达式是否能正确匹配目标链接。
五、设置层级与深度限制
配合黑白名单使用，可通过限制采集层级防止爬虫进入无关区域，提升效率并减少服务器压力。
1、在“采集范围”中设定最大采集深度，如仅抓取第1层列表页下的第2层详情页。
2、启用“仅从起始地址开始计算层级”，确保规则准确执行。
3、将起始链接限定在目标栏目首页，避免从首页全站展开采集。
4、结合域名限制，仅允许同一子域下的链接进入采集队列。
