DeepSeek私有化微调需严格遵循五步流程：一、用JSONL格式规范instruction/input/output字段；二、清洗HTML/乱码并去重；三、注入domain字段与领域标注；四、用原生分词器对齐长度；五、按7:2:1划分并校验分布一致性。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
如果您计划对DeepSeek模型进行私有化微调，但尚未构建适配的训练数据集或未对照官方流程执行，则可能因数据格式错误、领域覆盖不足或预处理缺失导致训练失败或效果偏差。以下是完成训练数据准备并严格遵循官方微调指南的操作步骤：
一、明确数据格式规范与字段结构
DeepSeek官方推荐使用JSONL格式作为训练数据输入，每行一个JSON对象，必须包含instruction、input、output三个核心字段，确保模型能准确理解任务意图、上下文与期望输出。该结构直接对应DeepSeek-R1微调器（如Trainer）的默认数据解析逻辑。
1、新建纯文本文件，命名为train_data.jsonl；
2、逐行写入符合以下结构的JSON对象：
{ "instruction": "生成合规金融提示语", "input": "客户申请提前还贷，需告知违约金计算方式", "output": "根据合同第5.2条，提前还款将按剩余本金的1.5%收取违约金。" }
3、确认每行仅含一个完整JSON对象，无逗号分隔、无数组包裹、无注释；
4、保存文件时编码设为UTF-8，禁用BOM头。
二、执行多阶段数据清洗与去噪
原始业务数据常含HTML标签、乱码、联系方式、重复段落等干扰项，会污染梯度更新过程。清洗目标是保留语义完整性的同时消除不可泛化噪声，符合DeepSeek官方文档中“数据质量检查要点”的强制要求。
1、使用Python加载数据集：from datasets import load_datasetdataset = load_dataset("json", data_files="train_data.jsonl")；
2、定义清洗函数，移除HTML标签与非常用控制字符：import redef clean_text(text): return re.sub(r"]+>|[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]", "", text)；
3、对instruction、input、output三字段批量应用清洗：dataset = dataset.map(lambda x: {k: clean_text(v) for k, v in x.items()})；
4、调用simhash算法检测并剔除相似度高于0.95的重复样本。
三、注入领域知识并做标注增强
通用语料无法支撑专业场景输出稳定性，必须通过显式标注与结构化增强使模型感知领域约束。DeepSeek官方指南在“数据工程”章节强调：领域数据占比应不低于总数据的70%，且需标注关键元信息以激活条件生成能力。
1、为每条样本添加domain字段，值为"finance"、"medical"或"legal"之一；
2、对output字段中涉及数值/日期/条款编号的内容，用特殊标记包裹：
例如将“第5.2条”改为“
3、针对分类类子任务，在instruction中嵌入标签体系说明：
"请判断以下客服对话情绪类别（可选：urgent, frustrated, satisfied, neutral）"；
4、对input字段执行同义词替换增强（使用jieba+同义词词林），单样本生成至多2条变体。
四、完成Tokenization与长度对齐
DeepSeek模型依赖其原生分词器（DeepSeekTokenizer）进行子词切分，若使用第三方分词器或跳过截断/填充，会导致ID序列越界或attention mask异常，训练过程中将触发IndexError: index out of range。此步骤必须调用transformers库内置方法。
1、加载与基础模型完全匹配的分词器：from transformers import AutoTokenizertokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-r1-7b")；
2、定义预处理函数，统一max_length=2048：def tokenize_function(examples): inputs = [f"{inst}\n{inp}" for inst, inp in zip(examples["instruction"], examples["input"])] model_inputs = tokenizer(inputs, max_length=2048, truncation=True, padding="max_length") labels = tokenizer(examples["output"], max_length=2048, truncation=True, padding="max_length") model_inputs["labels"] = labels["input_ids"] return model_inputs；
3、执行映射：tokenized_dataset = dataset.map(tokenize_function, batched=True)；
4、验证输出字段是否存在input_ids、attention_mask与labels，三者shape必须一致。
五、划分数据集并校验分布一致性
训练集、验证集、测试集若来自同一数据源或存在时间穿越（如用未来工单训过去模型），将导致评估指标虚高且线上效果骤降。DeepSeek官方指南明确要求“验证集和测试集须来自独立数据源”，并建议采用7:2:1比例划分。
1、调用train_test_split两次完成三级切分：train_val = tokenized_dataset["train"].train_test_split(test_size=0.3)val_test = train_val["test"].train_test_split(test_size=0.33)；
2、分别提取train_val["train"]、val_test["train"]、val_test["test"]作为三组数据集；
3、统计各集合中domain字段分布，确保三者比例偏差≤5%；
4、检查output长度分布，丢弃output长度超过1500 token的样本——此类样本将被自动截断，但可能破坏答案完整性。
