推荐lora微调：仅需单卡16gb显存，修改配置中data_root为数据集路径，执行torchrun训练命令，权重保存至outputs/last.ckpt。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
如果您已成功部署Fish Speech本地环境，但希望让模型适配特定角色或语音风格，则需进行微调训练。以下是实现该目标的多种可行路径：
一、LoRA微调（推荐入门方案）
LoRA（Low-Rank Adaptation）通过注入低秩矩阵更新权重，仅需少量显存与数据即可完成高效适配，适合单卡16GB显存以下设备。
1、进入fish-speech项目根目录，确认已下载预训练模型至checkpoints/fish-speech-1.5/路径下。
2、复制配置模板：cp fish_speech/configs/lora/dual_ar_lora_zh.yaml configs/my_lora_config.yaml。
3、编辑my_lora_config.yaml，修改data_root为您的语音数据集绝对路径，确保含wav与对应文本lab文件（命名一致）。
4、执行训练命令：torchrun --nproc_per_node=1 tools/train.py --config configs/my_lora_config.yaml。
5、训练过程中模型权重将自动保存至outputs/子目录，最新检查点位于last.ckpt。
二、全参数微调（高精度适配）
全参数微调直接更新全部模型权重，在数据充足、显存≥24GB（如A100或双RTX 4090）条件下可获得最优语音一致性与情感表达能力。
1、准备至少30分钟高质量单人语音数据，采样率统一为44.1kHz，格式为WAV，无压缩。
2、使用tools/vqgan/extract_vq.py对全部音频提取离散声学码本特征，生成.vq文件存入data/vq/。
3、调整配置文件中的model_type: dual_ar保持不变，将lora_rank设为null，并启用use_gradient_checkpointing: false以提升稳定性。
4、设置学习率缩放策略：在优化器配置中将lr设为2e-5，warmup_steps设为200。
5、启动多卡训练：torchrun --nproc_per_node=2 tools/train.py --config configs/full_finetune.yaml。
三、指令引导式微调（适配可控生成）
该方法在输入文本前注入结构化指令标记（如[laugh]、[slow]），使模型理解并响应语速、情绪等控制信号，无需额外标注情感标签。
1、在原始文本数据每行开头插入指令前缀，例如：[happy]今天天气真好或[whisper]请小声告诉我。
2、修改分词器配置，在tokenizer.json中注册新特殊token："additional_special_tokens": ["[happy]", "[sad]", "[laugh]", "[whisper]"]。
3、运行tools/tokenizer/build_tokenizer.py重建分词器，并将输出目录指定为tokenizer/。
4、在训练配置中启用enable_instruction_tuning: true，并指向新分词器路径。
5、使用tools/data/prepare_instruction_data.py将原始数据转换为指令格式，生成instruction_dataset.jsonl。
四、数据增强驱动的轻量微调
针对仅有10–20秒语音样本的极端受限场景，通过合成多样性增强样本提升泛化性，可在RTX 4060级别显卡上完成训练。
1、使用tools/augment/pitch_shift.py对原始音频进行±3音分偏移，生成3组变调副本。
2、调用tools/augment/noise_mix.py混入白噪声、咖啡馆背景音、键盘敲击音三类低信噪比干扰源。
3、运行tools/vqgan/extract_vq.py --augment同步提取增强后音频的VQ特征。
4、在配置文件中启用use_augmented_data: true，并设置max_duration: 8.0限制单段音频时长。
5、启动训练时添加环境变量：export CUDA_LAUNCH_BLOCKING=1便于定位显存异常。
五、跨语言迁移微调（支持小语种扩展）
当目标语音为中文以外的小语种（如泰语、越南语、希伯来语）时，利用Fish Speech多语言基座能力，冻结底层编码器仅微调解码器部分。
1、下载对应语言的开源语音数据集（如Thai Common Voice v16），清洗后整理为wav+txt结构。
2、将文本送入现有分词器处理，若出现大量[UNK]则运行tools/tokenizer/extend_vocab.py --lang th扩展词表。
3、在配置中设置freeze_text_encoder: true与freeze_semantic_decoder: false，仅更新声学建模分支。
4、将loss_weights中semantic_loss权重设为0.3，acoustic_loss设为0.7，强化声学拟合。
5、使用torchrun --nproc_per_node=1 tools/train.py --config configs/cross_lang_th.yaml启动训练。
