求一个 FLUX.2 Klein 9B 的 IU 人物 LoRA

#22
by Cai374575379 - opened

大佬您好,非常喜欢您制作的 girlslike-krea2 系列,IU 的人物LoRA 效果很好。想请问您是否愿意训练并发布一个适用于 FLUX.2 Klein 9B 的 IU 人物 LoRA吗?非常感谢!

应该不会考虑训练klein的lora,因为我个人基本不会用klein来生图,没什么训练的动力;
不过我看到klein的训练要求是相对很低的,8G显存就可以训练,可以自己尝试一下。

ifmylove2011 changed discussion status to closed

感谢回复!明白了。我这边是 RTX 5060 Ti 16GB,准备自己尝试训练 Klein 9B 的 IU LoRA,不过还不太熟悉 Klein 的训练配置。请问您方便分享一下训练人物 LoKr 时的大致参数吗?例如全秩 LoKr 设置、学习率、训练步数和目标模块。我想参考您的 Krea2 训练方法自己迁移到 Klein 9B。谢谢!

感谢回复!明白了。我这边是 RTX 5060 Ti 16GB,准备自己尝试训练 Klein 9B 的 IU LoRA,不过还不太熟悉 Klein 的训练配置。请问您方便分享一下训练人物 LoKr 时的大致参数吗?例如全秩 LoKr 设置、学习率、训练步数和目标模块。我想参考您的 Krea2 训练方法自己迁移到 Klein 9B。谢谢!

klein我个人并没有试过训练,所以不好下定论,但我比较信任onetrainer的参数预设,它给的预设参数一般都能给出稳定的结果;
musubi和ai-toolkit也类似,而且对于一般的生图模型而言(不一般也就只有少数比如zib),训练参数只要不是太离谱,基本的效果都是能保证的,当然前提是训练集不要太低质;

onetrainer有klein 9b的16G和8G两种预设方案,用16G的应该就可以,目标layer模块肯定是用预设的好,不用自行调整;
学习率因为是训练人物而非风格,可以先调整高一点到1e-4,按官方的说法,1e-4就已经比较高了,后续拟合不足再调高试试;
训练步数先到2000步试试,大概率用不了这么多;
全秩lokr就是把rank和alpha拉到很高,比如100000,只调整factor来控制参数大小,一般16、32就行,24也可以,看具体效果;

训练krea2的参数很早就贴在了 https://pastebin.com/GBUH80pA 了,可以自行查看;
也可以直接在huggingface点开最近上传的krea2模型详情,其中的ot_config参数就是训练参数了,比如 https://huggingface.co/ifmylove2011/girlslike-krea2/blob/main/girlslike_krea2_mzy.safetensors

等会儿我再上传个iu的数据集,你可以参考一下,不过我记得iu的素材我没怎么添加全身照(krea2的全身、远景效果不好),你可以自己添加或删除调整一下。

大哥可以上传一个刘亦菲的数据集吗

感谢您上传 IU 数据集,也感谢您分享 Krea2 的训练经验!我已经收到,会认真参考和学习。辛苦了!

Sign up or log in to comment