分词策略需匹配模型类型：transformer类用bpe/sentencepiece，rnn/cnn类可按字/词分但需词典对齐；中文优先用预训练模型配套tokenizer；词表大小建议20k–50k，序列长度取语料95%分位数并向下取2的幂次；必须定义基础特殊标记并mask其loss，生成任务用right-padding；训练前轻量清洗文本、禁用token级打乱、保存tokenizer文件、验证/测试集共用同一tokenizer。
分词策略要匹配模型类型
训练文本生成模型时，分词不是越细越好，也不是统一用空格切分就完事。关键看模型架构：如果是基于Transformer的模型（如GPT、LLaMA），推荐用字节对编码（BPE）或SentencePiece这类子词分词器；如果是RNN或CNN类老式结构，可考虑按字/词粒度分，但需配合词典对齐。中文场景下，直接用jieba分词容易引入歧义切分（比如“南京市长江大桥”），不如用预训练模型配套的tokenizer（如bert-base-chinese自带的WordPiece，或qwen-tokenizer的BPE），能更好泛化未登录词。
词表大小与序列长度需协同调优
词表太小（如5k）会导致大量UNK，尤其在专业领域文本中；太大（如10万+）又会稀释低频词的梯度更新，还拖慢训练速度。实践中，中文通用任务建议选20k–50k之间，再根据语料规模微调：百万级句子用30k较稳，千万级可上40k。序列长度同样不能拍脑袋定——设太长（如2048）显存吃紧、batch size被迫压小；太短（如128）又截断语义连贯性。一个实用技巧是先统计语料长度分布，取95%分位数作为max_length，再向下取最近的2的幂次（比如1987→2048，但若95%是326，就选512更合理）。
特殊标记和padding方式影响收敛稳定性
必须显式定义[PAD]、[BOS]、[EOS]、[UNK]四个基础token，并确保它们不参与loss计算（训练时mask掉
训练阶段的分词细节常被忽略
- 训练前务必对原始文本做轻量清洗：去掉控制字符（\x00-\x08等）、合并连续空白符，但别删标点——标点是生成连贯性的关键信号
- 避免在分词后做随机打乱（如shuffle tokens），这会破坏语言建模目标；打乱只应在样本级别（即shuffling lines）
- 若用自定义词表，记得保存tokenizer.json或merges.txt，部署时缺它模型根本跑不起来
- 验证集和测试集必须用**同一份tokenizer**做encode，且不重新fit——这点新手常错当成“分别分词”
