Instructions to use ifmylove2011/girlslike-krea2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Diffusers
How to use ifmylove2011/girlslike-krea2 with Diffusers:
pip install -U diffusers transformers accelerate
import torch from diffusers import DiffusionPipeline # switch to "mps" for apple devices pipe = DiffusionPipeline.from_pretrained("krea/Krea-2-Raw,krea/Krea-2-Turbo", dtype=torch.bfloat16, device_map="cuda") pipe.load_lora_weights("ifmylove2011/girlslike-krea2") prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k" image = pipe(prompt).images[0] - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- Draw Things
- DiffusionBee
求一份训练的配置
大哥你还是用OneTrainer训练的吗,麻烦给一份配置可以吗
大哥你还是用OneTrainer训练的吗,麻烦给一份配置可以吗
使用ot预设的krea2 lora训练配置应该就可以了,我初步测试过一些参数改动,区别都不大;
https://pastebin.com/GBUH80pA
大哥你还是用OneTrainer训练的吗,麻烦给一份配置可以吗
使用ot预设的krea2 lora训练配置应该就可以了,我初步测试过一些参数改动,区别都不大;
https://pastebin.com/GBUH80pA
那么caption什么的有什么特殊要注意的吗?
大哥你还是用OneTrainer训练的吗,麻烦给一份配置可以吗
使用ot预设的krea2 lora训练配置应该就可以了,我初步测试过一些参数改动,区别都不大;
https://pastebin.com/GBUH80pA
那么caption什么的有什么特殊要注意的吗?
并没有太值得注意的地方,或者说目前我还不知道有没有特别适合Krea2的caption写法;
我个人目前初步测试过 无caption/中文caption(与zi共用)/英文caption 三种情况,就人物相似度而言,并没有观察到明显差异;
我的理解是与zimage类似,caption更多是为了提升LoRA的泛化能力,换言之也是为了尽量减小不必要的“污染”;
当然,就我目前的初步测试来看,不写caption时,Krea2相比zi“污染”会稍微明显一些——这可能与Krea2提示词遵循度更高更敏感有关,因此放大了不写caption带来的影响,但这种差异也并没有明显影响人物相似度。
非常感谢大佬!
我自己做了十来个Lora,发现krea2在人物相似度上还是差zimage一些,我测试了一千多步到八千多步,数据集从十几张到六十几张,1024*1024的,总体感觉就是不够稳定,不像zimage那样相似度很高也稳定,krea2反而有些角度不够相似,krea2的数据集更好,我都是用4k以上的原图裁切然后缩放到1024的,脸部清晰毛孔绒毛可见。不知道是不是训练的配置还是什么不对
我也有类似的问题,还在持续测试中;
最开始我怀疑是krea2本身风格和提示词敏感的问题,导致肉眼看上去相似度会比zi低——因为人脸检测脚本告诉我这些lora生成的图中人脸相似度甚至比zi还高一点点;
接着我发现就目前的训练参数(rank/学习率/优化器/lokr/提示词...等)改动不足以让lora在中远景中拥有足够的相似度——在zi训练中,较好的数据集训练的结果在中远景或者说在人脸比例较小时仍然能保持一定的辨识度,哪怕并不稳定,但这也比krea2的lora好上很多;
现在我正打算在musubi和aitookit上看看有没有什么不同;
加q就不必了,就在这里交流讨论就行,毕竟如果在这里没法回复你的,在其他地方也回复不了你(涉及你的隐私信息,我先隐藏你上面那条信息);
所以你说的相似度差zi一些是指肉眼观察,还是也有检测脚本得出的结果?类似下面这种:
在zi训练的lokr里,其实几乎没有达到0.98以上的时候,但在krea2的lora里,这是常态,这也是我目前困惑的地方之一;
也因此,如果你觉得我之前发的这几个krea2 lora达到你的相似度标准了,那么有些问题我才能回答你;如果和我一样觉得还是差一点,那我目前也许还并不能回答你什么,因为我也还在找弥补这“差一点”的办法。
不得不说OneTrainer训练lora比其他好不少,lora文件体积都小不少,其他训练的lora都200多M,之前试了OneTrainer练了krea2人物lora,发现raw训练时用samples查看某阶段生图结果,过程有生图结果不太像,到有一些像的结果保存的文件,在krea turbo上使用有有点过拟合
不得不说OneTrainer训练lora比其他好不少,lora文件体积都小不少,其他训练的lora都200多M,之前试了OneTrainer练了krea2人物lora,发现raw训练时用samples查看某阶段生图结果,过程有生图结果不太像,到有一些像的结果保存的文件,在krea turbo上使用有有点过拟合
体积小是因为OneTrainer默认给的rank一般相对比较小,对于krea2来说是16是100M左右,其他训练器默认是32(其实是模型官方推荐默认的32)自然就是200M,改大之后自然体积就大;
它的优势主要还是优化相对做得更多更深,在基底模型本身较大的情况下优势比较明显,并且有一些额外的工具比较好用;
比如使用验证曲线(validation loss)来验证拟合程度比用samples生图快很多(这个功能现在ai-tookit也跟进了),比如使用先验数据集来替代正则功能;
turbo是蒸馏过的,步数天然要少很多,用raw生图确实难以观察turbo上的拟合程度,但是过拟合的话降低强度使用应该也是可以的;
另一方面,krea2 raw和turbo的验证曲线是比较吻合的,可以尝试使用validation代替samples来观察拟合度,会快一些。
我自己做了十来个Lora,发现krea2在人物相似度上还是差zimage一些,我测试了一千多步到八千多步,数据集从十几张到六十几张,1024*1024的,总体感觉就是不够稳定,不像zimage那样相似度很高也稳定,krea2反而有些角度不够相似,krea2的数据集更好,我都是用4k以上的原图裁切然后缩放到1024的,脸部清晰毛孔绒毛可见。不知道是不是训练的配置还是什么不对
我也有类似的问题,还在持续测试中;
最开始我怀疑是krea2本身风格和提示词敏感的问题,导致肉眼看上去相似度会比zi低——因为人脸检测脚本告诉我这些lora生成的图中人脸相似度甚至比zi还高一点点;
接着我发现就目前的训练参数(rank/学习率/优化器/lokr/提示词...等)改动不足以让lora在中远景中拥有足够的相似度——在zi训练中,较好的数据集训练的结果在中远景或者说在人脸比例较小时仍然能保持一定的辨识度,哪怕并不稳定,但这也比krea2的lora好上很多;
现在我正打算在musubi和aitookit上看看有没有什么不同;
加q就不必了,就在这里交流讨论就行,毕竟如果在这里没法回复你的,在其他地方也回复不了你(涉及你的隐私信息,我先隐藏你上面那条信息);所以你说的相似度差zi一些是指肉眼观察,还是也有检测脚本得出的结果?类似下面这种:
在zi训练的lokr里,其实几乎没有达到0.98以上的时候,但在krea2的lora里,这是常态,这也是我目前困惑的地方之一;
也因此,如果你觉得我之前发的这几个krea2 lora达到你的相似度标准了,那么有些问题我才能回答你;如果和我一样觉得还是差一点,那我目前也许还并不能回答你什么,因为我也还在找弥补这“差一点”的办法。
大佬,这个脚本可以分享下吗?自己用Onetrainer训练的zi lora相对拟合快loss低,但肉眼主观感觉总差一些,还是得用测试工具结合客观测试的数据,大佬觉得有必要用这种工具优化数据集吗,特别是有些kpop妆造波动较大的?Stop Training on "Vibes": A Visual Guide to Biometric LoRA Diagnosis - Mirror Metrics
我自己做了十来个Lora,发现krea2在人物相似度上还是差zimage一些,我测试了一千多步到八千多步,数据集从十几张到六十几张,1024*1024的,总体感觉就是不够稳定,不像zimage那样相似度很高也稳定,krea2反而有些角度不够相似,krea2的数据集更好,我都是用4k以上的原图裁切然后缩放到1024的,脸部清晰毛孔绒毛可见。不知道是不是训练的配置还是什么不对
我也有类似的问题,还在持续测试中;
最开始我怀疑是krea2本身风格和提示词敏感的问题,导致肉眼看上去相似度会比zi低——因为人脸检测脚本告诉我这些lora生成的图中人脸相似度甚至比zi还高一点点;
接着我发现就目前的训练参数(rank/学习率/优化器/lokr/提示词...等)改动不足以让lora在中远景中拥有足够的相似度——在zi训练中,较好的数据集训练的结果在中远景或者说在人脸比例较小时仍然能保持一定的辨识度,哪怕并不稳定,但这也比krea2的lora好上很多;
现在我正打算在musubi和aitookit上看看有没有什么不同;
加q就不必了,就在这里交流讨论就行,毕竟如果在这里没法回复你的,在其他地方也回复不了你(涉及你的隐私信息,我先隐藏你上面那条信息);所以你说的相似度差zi一些是指肉眼观察,还是也有检测脚本得出的结果?类似下面这种:
在zi训练的lokr里,其实几乎没有达到0.98以上的时候,但在krea2的lora里,这是常态,这也是我目前困惑的地方之一;
也因此,如果你觉得我之前发的这几个krea2 lora达到你的相似度标准了,那么有些问题我才能回答你;如果和我一样觉得还是差一点,那我目前也许还并不能回答你什么,因为我也还在找弥补这“差一点”的办法。大佬,这个脚本可以分享下吗?自己用Onetrainer训练的zi lora相对拟合快loss低,但肉眼主观感觉总差一些,还是得用测试工具结合客观测试的数据,大佬觉得有必要用这种工具优化数据集吗,特别是有些kpop妆造波动较大的?Stop Training on "Vibes": A Visual Guide to Biometric LoRA Diagnosis - Mirror Metrics
这个是我xy plot的测试工作流,主要有两个自己写的相似度检测节点,你可以让ai给你写个类似的,或者在其基础上修改也行,原理都比较相似;
工作流我上传到仓库里,地址是 https://huggingface.co/ifmylove2011/girlslike-krea2/blob/main/loras_plot_face_check_workflow.json ,节点地址是 https://github.com/ifmylove2011/comfyui-missed-tool ;
对于自己不太熟悉的人物,我挑选图片的时候确实也是靠脚本进行筛选的,和熟悉的人物类似,会先选出5张“标准图”,再用其他图作相似度对比,以此凑够一定数量作为训练集,不同的是熟悉的人物可以自己肉眼先挑出自己觉得最相似的作为“标准图”,不那么熟悉的只好让脚本去挑5张方差最小的作为“标准图”;
毕竟人的眼睛是会自己“拟合”的,对于自己熟悉的人物,有一点点相似,就能认出来,对于不熟悉的,又往往分不清,两者都存在一些偏差,所以图片稍多还是要靠脚本进行辅助,以免看花眼,觉得哪张都很相似或是哪张都觉得差一点;
最终lora效果我个人是会在各种相似度分数的初次权衡下,二次进行肉眼挑选,以此尽量避免偏差;
但正如上面所说,这个偏差可能在挑选素材的时候,就已经出现了,结果可能是一“错”到底——不过这样也比一半对一半错要好得多,至少出图更稳定。
我自己做了十来个Lora,发现krea2在人物相似度上还是差zimage一些,我测试了一千多步到八千多步,数据集从十几张到六十几张,1024*1024的,总体感觉就是不够稳定,不像zimage那样相似度很高也稳定,krea2反而有些角度不够相似,krea2的数据集更好,我都是用4k以上的原图裁切然后缩放到1024的,脸部清晰毛孔绒毛可见。不知道是不是训练的配置还是什么不对
我也有类似的问题,还在持续测试中;
最开始我怀疑是krea2本身风格和提示词敏感的问题,导致肉眼看上去相似度会比zi低——因为人脸检测脚本告诉我这些lora生成的图中人脸相似度甚至比zi还高一点点;
接着我发现就目前的训练参数(rank/学习率/优化器/lokr/提示词...等)改动不足以让lora在中远景中拥有足够的相似度——在zi训练中,较好的数据集训练的结果在中远景或者说在人脸比例较小时仍然能保持一定的辨识度,哪怕并不稳定,但这也比krea2的lora好上很多;
现在我正打算在musubi和aitookit上看看有没有什么不同;
加q就不必了,就在这里交流讨论就行,毕竟如果在这里没法回复你的,在其他地方也回复不了你(涉及你的隐私信息,我先隐藏你上面那条信息);所以你说的相似度差zi一些是指肉眼观察,还是也有检测脚本得出的结果?类似下面这种:
在zi训练的lokr里,其实几乎没有达到0.98以上的时候,但在krea2的lora里,这是常态,这也是我目前困惑的地方之一;
也因此,如果你觉得我之前发的这几个krea2 lora达到你的相似度标准了,那么有些问题我才能回答你;如果和我一样觉得还是差一点,那我目前也许还并不能回答你什么,因为我也还在找弥补这“差一点”的办法。大佬,这个脚本可以分享下吗?自己用Onetrainer训练的zi lora相对拟合快loss低,但肉眼主观感觉总差一些,还是得用测试工具结合客观测试的数据,大佬觉得有必要用这种工具优化数据集吗,特别是有些kpop妆造波动较大的?Stop Training on "Vibes": A Visual Guide to Biometric LoRA Diagnosis - Mirror Metrics
这个是我xy plot的测试工作流,主要有两个自己写的相似度检测节点,你可以让ai给你写个类似的,或者在其基础上修改也行,原理都比较相似;
工作流我上传到仓库里,地址是 https://huggingface.co/ifmylove2011/girlslike-krea2/blob/main/loras_plot_face_check_workflow.json ,节点地址是 https://github.com/ifmylove2011/comfyui-missed-tool ;对于自己不太熟悉的人物,我挑选图片的时候确实也是靠脚本进行筛选的,和熟悉的人物类似,会先选出5张“标准图”,再用其他图作相似度对比,以此凑够一定数量作为训练集,不同的是熟悉的人物可以自己肉眼先挑出自己觉得最相似的作为“标准图”,不那么熟悉的只好让脚本去挑5张方差最小的作为“标准图”;
毕竟人的眼睛是会自己“拟合”的,对于自己熟悉的人物,有一点点相似,就能认出来,对于不熟悉的,又往往分不清,两者都存在一些偏差,所以图片稍多还是要靠脚本进行辅助,以免看花眼,觉得哪张都很相似或是哪张都觉得差一点;
最终lora效果我个人是会在各种相似度分数的初次权衡下,二次进行肉眼挑选,以此尽量避免偏差;
但正如上面所说,这个偏差可能在挑选素材的时候,就已经出现了,结果可能是一“错”到底——不过这样也比一半对一半错要好得多,至少出图更稳定。
很感谢大佬!对于不熟悉的,看多了素材也能算是一种自我感觉的熟悉吗哈哈,一些kpop女星,活动节目海报不同场景啥的变化比较大,看多了肉眼对比不同素材,对妆容有初步分类的粗略概念,按着某个妆容形象去筛选素材,这个过程其实也差不多,不过就很肉眼主观了 ,结果也一般般,希望借助工具能前期辅助筛选素材后期检测LoRA效果。


