关于LoRA的一些讲解

63t · 发表于 2023-2-11 15:22:09

今天上来在论坛看到了关于LoRA的分享，但是那位大兄弟没带图我就稍微更具体的说一下LoRA

什么是LoRA？（不想了解它的来龙去脉的可以跳过这一段）论文地址：[2106.09685] LoRA: Low-Rank Adaptation of Large Language Models (arxiv.org)，是微软提出的用于大模型fine-tuning的一种手段，毕竟我们AI绘画常用的模型即使用fp16存也有2G的参数，自然属于大模型，此前的Dreambooth或者Textual Inversion均是轻量的微调方式，但LoRA比它们还要轻量，如果只训练UNet话最低4G显存的显卡应该就可以进行模型的微调，因此在cloneofsimo在github上发布项目后获得了大范围的推广。

一句话总结：Textual Inversion embeddings 能干的它都能干，而且训练时间更短，所需计算资源更少。

关于如何使用训练好的LoRA模型和如何训练，建议直接左手百度右手谷歌，批里批里油管啥的多的是教程。

下面就到了茎涨刺激的男人展示环节噜！不过因为时间紧迫没细调可能有的图会有人体错误透视错误等情况，总之让我们看看LoRA有什么用：

首先是画人物，借助LoRA，我们可以轻易地画出各种各样的你喜欢角色的同人图：
青年源氏惹
三哥（您完全不会画刀子和握刀子的手是吗）
自己训的铁男嘻嘻嘻
钟离daddy惹~
七七八八的其他角色

然后就是模仿画风，这里只用亲爱的PenguinFrontier大大的画风来做一下演示（话说怎么都是这个斜向右的角度，看来这个LoRA模型的训练集不够大或者没标注好）：

同时我们还可以画风和人物混用，达到免费抓一个大佬过来画画的目的（这样真的好吗）：
penguinfrontier画风下的源氏和幽灵（使命召唤）
penguinfrontier画风下的钟离（企鹅大概是因为penguinfrontier的关键词触发的惹，不过看着有点可爱就留下来噜）

此外，LoRA最有用的当然是画一些高难度体位噜，不过毕竟版规不让发想用的婊贝们自己学会训练丰衣足食厚~（顺便网上的体位模型很多都是bg异性恋的，使用它们记得做好看130个β的准备）最后祝大家都能画出自己想要的男人！（不过AI领域发展这么快1年落地2年过气可能明后年我们就在用其他AI其他方法噜）

其他的一些碎碎念（适合已经了解LoRA的使用及训练的人阅读）：

如果本身使用的模型比较风格化，使用LoRA可以出一些具有模型特色的同人角色
pastelMix模型画的钟离，迪卢克和三角头

使用LoRA的过程中，权重过低可能会画不出想要的东西，权重过高会邪神，同时网上各种各样的模型可能有的过拟合有的欠拟合，灵活调整权重哈~

欠拟合的LoRA模型通常需要触发词才能画出想要的东西，比如上面的原神迪卢克和钟离的模型不加关键词一辈子都画不出来，画出来也可能有所偏离，需要另外对人物的描述
绿头发的你卢，除了发型没有一点像是可以说的吗

过拟合的LoRA有可能和训练集里的图撞车！如果被原图画师或者画师粉丝撕了那只能我亲爱的你大事不妙惹~而且如果训练集画风和你使用的模型画风相去甚远很容易邪神，所以建议还是学习率调小点，欠拟合只是画不出来，过拟合直接吓到维纳斯流产。

network_dim越小训练出来的模型大小越小，相应拟合能力越小，不过正如上文所说过拟合欠拟合都不好自己看要画的东西复杂程度灵活取值惹

batchsize、epoch以及学习率这都是深度学习经典训练参数了，随便找博客了解一下惹~

如果你要画带橘芭的，建议训练集就放该人物带橘芭的涩图，或者搭个你觉得很好看的橘芭的LoRA，嘻嘻嘻~

关于训练底模，个人意见，铁血平涂日漫痴选择novelai/anything/AbyssOrangeMixs及基于它们的混合模型，其余建议使用stable diffuison 1.5或者基于sd的混合模型

关于训练数据，微调网络质量比数量重要，训个人物而已不要用爬虫扒，你是想看130个水印还是糊到亲妈都不认识的缩略图

关于训练标注，如果你电脑计算资源吃紧或者你是铁血日漫痴，选择deepdanbooru或者wd 1.4这样的采用booru系图站上的tag进行标注的方式，如果你计算资源丰富可以使用CLIP系的标注方式，如果你计算资源不足但是你的英文很好且你画的这个东西有着复杂的透视关系前后关系一堆tag加逗号根本不足以描述你这个东西，你可以打开标注的txt自己写一段描述这个东西的话来进行标注

最后，就算做了以上这么多工作，训练出来的东西可能还是失败，这可能就是深度学习的魅力⑧，祝大家炼丹术召唤术学业有成！