即梦ai自定义lora风格模型需五步完成:一、准备30–100张统一尺寸与配对caption的高质量风格图;二、配置rank=128、alpha=64及conv参数;三、设定唯一触发词并添加正则化样本;四、训练1200–1800步,监控loss与预览图;五、导出.safetensors权重,上传后以0.8–1.1权重调用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

如果您希望在即梦AI平台中创建专属的绘画风格模型,但对LORA微调流程不熟悉,则可能是由于训练数据准备、参数配置或权重导出环节存在偏差。以下是完成即梦AI自定义风格LORA模型制作的具体步骤:
一、准备高质量风格图像数据集
训练LORA模型依赖于具有一致视觉特征的图像集合,需确保所有图片体现目标风格的核心元素(如笔触、色调、构图倾向),并排除干扰性内容。图像数量建议控制在30–100张之间,过少易欠拟合,过多易引入风格噪声。
1、使用统一分辨率裁剪全部图像,推荐尺寸为512×512或768×768,保持长宽比一致。
2、为每张图像生成对应描述文本(caption),格式为“a portrait in oil painting style, detailed brushwork, warm lighting”,避免通用词如“beautiful”“nice”。
3、将图像与caption文件置于同一文件夹,命名规则为:image_001.jpg 与 image_001.txt 成对出现。
二、配置LoRA训练参数与环境
即梦AI平台支持WebUI界面式LORA训练,需正确设置网络维度(rank)、触发词(trigger word)及学习率衰减策略,以平衡风格提取精度与泛化能力。
1、在训练设置中将network_dim设为128,network_alpha设为64,使缩放系数保持0.5,防止权重更新过激。
2、在“Additional Network Arguments”栏填入:conv_dim=32 conv_alpha=16,启用卷积层适配,增强局部纹理建模能力。
3、选择优化器为AdamW8bit,基础学习率设为1e-4,启用cosine学习率调度,warmup步数设为100。
三、设定风格触发机制与正则化样本
为避免LORA模型过度拟合训练图像而丧失可控性,需引入风格锚定触发词及少量正则化图像,约束模型输出边界。
1、定义唯一触发词,例如“jm_style_v3”,全程在所有caption中前置使用,禁止混用其他风格标识。
2、准备5–8张与训练风格同源但内容迥异的图像(如不同人物、场景),放入regularization_images文件夹,并为其添加含触发词的caption,如“jm_style_v3, full body, studio background”。
3、在训练参数中启用--keep_tokens 2,确保触发词及其后两个token在tokenization中被整体保留,不被分词器拆解。
四、执行训练并监控损失曲线
训练过程需持续观察loss值波动趋势与生成预览图质量,及时识别过拟合、梯度爆炸或风格漂移现象,据此调整迭代次数与保存策略。
1、设置总训练步数为1200–1800 step,每300步自动保存一次LORA权重,文件名含step编号便于回溯。
2、启用实时预览功能,在第200、500、1000步分别输入相同prompt:“jm_style_v3, a cat wearing glasses, white background”,对比输出细节连贯性。
3、若loss在800步后持续高于0.08且无下降趋势,暂停训练,检查是否未启用gradient checkpointing导致显存不足引发数值异常。
五、导出与验证LORA权重文件
训练结束后需将.safetensors格式权重正确导出,并在即梦AI推理端加载验证,确认风格迁移有效性与prompt响应稳定性。
1、在训练完成界面点击“Export LoRA”,选择merge to base model off,仅导出adapter权重,不融合底模。
2、将生成的.safetensors文件重命名为jm_style_v3.safetensors,上传至即梦AI的lora/models目录下。
3、在文生图页面启用该LORA,输入prompt时必须包含触发词,且权重设定为0.8–1.1之间,低于0.7风格不可见,高于1.2易出现结构畸变。










