首先在LocoySpider中配置SQLite导出参数并设置字段映射,然后执行导出操作生成.db文件,若失败可先导出为CSV再通过命令行或脚本导入SQLite。

如果您已完成数据采集任务,并希望将LocoySpider采集的数据导出为SQLite数据库文件,可以通过内置导出功能实现。以下是具体操作步骤:
一、配置导出模块
在LocoySpider中设置导出目标为SQLite前,需确保已正确安装SQLite驱动并配置导出参数。系统支持直接写入.db格式的本地数据库文件。
1、进入“项目”菜单,选择“导出设置”选项。
2、在导出类型中选择SQLite数据库作为目标格式。
3、点击“新建连接”,填写数据库保存路径及文件名,例如:C:\data\locoy_output.db。
4、确认表名自动生成或手动输入目标数据表名称,建议使用英文字符命名。
二、映射字段结构
为保证采集字段能准确写入SQLite表中,需要进行字段映射设置。此步骤定义了每列数据在数据库中的对应关系。
1、在导出设置界面切换至“字段映射”标签页。
2、左侧列出所有可导出的采集字段,右侧为数据库表字段列表。
3、逐项匹配源字段与目标字段,若数据库表不存在则会自动创建。
4、对于文本类内容,建议将SQLite字段类型设为TEXT;数值类设为INTEGER或REAL。
三、执行导出操作
完成配置后即可启动导出流程,LocoySpider将把内存中的采集结果写入指定的SQLite数据库文件。
1、返回主界面,点击工具栏上的“导出数据”按钮。
2、选择之前配置好的SQLite导出方案,点击“开始导出”。
3、等待进度条完成,系统提示“导出成功”后,可在指定路径找到.db文件。
4、使用SQLite浏览器等工具打开该文件,验证数据完整性。
四、手动导出为CSV再转换
当直接导出失败时,可采用中间格式过渡方式,先保存为CSV文件,再导入SQLite。
1、在导出类型中选择“CSV文件”格式,设定保存路径并完成导出。
2、打开命令行或使用Python脚本,调用sqlite3模块创建新数据库。
3、执行.mode csv和.import命令将CSV数据导入表中。
4、检查导入后的表结构与记录数量是否一致。










