学习率的秘密(一):让你的模型学会“量子波动速读”

教程发布 无标签
DeepFaceLab
DeepFaceLab DeepFaceLab 2019-12-17 12:16:55
用户等级:0级

DeepFaceLab这个软件最受诟病的地方,就是模型训练太慢了。要想练出“优质丹”,好像没几百万迭代是不行的,每次迭代的batch_size还不能太小。我们这篇文章先不讨论模型迭代数量、batch_size和最终效果的关系,我们只说说有没有方法能加速模型训练呢?还真有,我们可以通过提高模型学习率,教会模型“量子波动速读”。这个方法让量子波动直接对模型产生影响,将你的计算机升级为量子计算机,快速完成训练。上面这句是瞎扯,实在编不下去了。

学习率的秘密(一)--让你的模型学会“量子波动速读”

在 DeepFaceLab训练模型时,会调用优化器,优化器中有一个参数是“学习率”,在程序中为“lr”,是learning_rate的缩写。以H128模型为例,模型使用了Adam优化器,其中学习率设置为5e-5.

SAEHD模型使用了一个叫做RMSprop的优化器(作者表示这个优化器可以占用较少内存),学习率也是5e-5.

学习率的秘密(一)--让你的模型学会“量子波动速读”

这个学习率是模型每一步学习的步伐大小,如果模型找到了正确的方向,步子迈的大一些自然可以少走几步。但是,较大的学习率,会带来一个很危险的副作用:模型会变得更容易崩溃。这正如老子的《道德经》说:跨者不行;用葛大爷的话解释就是

学习率的秘密(一)--让你的模型学会“量子波动速读”

那么怎么改呢?在你的DeepFaceLab安装目录找到如下路径:_internal\DeepFaceLab\models\ –这个路径下会有你的模型配置文件( 比如H128模型,程序文件在:_internal\DeepFaceLab\models\Model_H128\),将 Model_H128文件夹备份后打开Model.py编辑(右键用记事本或EditPlus等文本编辑器打开)。

那么肯定会有小伙伴会问改到多少为好呢?我们建议凡事不要太过火,建议lr不要超过1e-4,也就是说最大也别超过一倍。

在什么情况下可以将学习率设置的大一些呢?有两个情况下可以将此值适当调大:

一、模型训练初期。

二、模型训练中期且batch_size较大的时候。

在模型训练初期,参数调整的方向是很确定的,这时使用较大的学习率是非常安全的。如果你的显卡拥有较大的显存,使用较大的batch_size可以保证模型训练过程中能够找到准确的方向,这时也可以调高学习率来加速训练,这也是大batch_size带来的一个好处。

楼主签名:
回帖
回复列表

版块列表

本站热帖
01 AI换脸第三步:DeepFaceLab使用教程(1.安装及分解视频) 15590
02 2GB显存畅玩 DeepFaceLab更新至2020.01.08 14992
03 AI换脸第三步:DeepFaceLab使用教程(2.训练及合成) 13883
04 P100真香:DeepFaceColab详细教程 8686
05 AI换脸第二步:选择合适的DeepFaceLab版本 8227
06 DeOldify – 一个强大的AI修复老照片(视频)项目 8067
07 一天学会AI换脸:DeepFaceLab 新手导航 8054
08 DeepFaceLab不同模型的参数含义 7243
09 极致的遮罩处理(一):DeepFaceLab手动遮罩编辑。 6872
10 图像无损放大工具 Topaz Gigapixel AI v4.4.4 破解版 6679
11 选择合适的模型 H64 -H128 -DF -SAE -SAEHD 6590
12 AI换脸第一步:给你的电脑安装适当的显卡驱动 6514
13 DeepFaceLab H256模型免费下载 6421
14 SAEHD不香吗?谈谈SAE与SAEHD 6259
15 DeepFaceLab更新至2019.12.29 5534
16 云盘版DeepFaceColab 在你的云盘训练模型 5452
17 发个模型,DeepFaceLab Quick96模型免费下载 5382
18 DeepFaceLab新手基础知识:训练期间如何更改参数值? 5357
19 合成必修课:7) convert 合成合成如何从“人皮面具”变成“真实脸部” 5260
20 不做无用功 Google Colab掉线自动重连“助手” 5233