在文本到图像扩散模型中加入条件控制的官方实现。
ControlNet 是一种通过添加额外条件来控制扩散模型的神经网络结构。
它将神经网络模块的权重复制到一个“锁定”副本和一个“可训练”副本中。
“可训练”副本学习你的条件，“锁定”副本则保留原始模型。
得益于这一点，即使使用少量图像对数据集进行训练，也不会破坏可用于生产的扩散模型。
“零卷积”是指卷积核大小为1×1，且权重和偏置均初始化为零的卷积操作。
在训练之前，所有零卷积的输出均为零，因此 ControlNet 不会造成任何失真。
没有层是从零开始训练的。你仍然是在进行微调，原始模型依然安全。
这使得模型可以在小规模甚至个人设备上进行训练。
这也便于模型、权重、模块或层的合并、替换或偏移操作。