AI 软件
Github:https://github.com/lllyasviel/ControlNet
ControlNet 的创始人 张吕敏 是一位令人瞩目的年轻科研人员,目前在斯坦福大学攻读博士学位。ControlNet是他提出的一项创新神经网络概念,旨在通过额外的输入来精确控制预训练的大型模型,例如稳定扩散(Stable Diffusion)。这本质上是一种端到端的训练方法,类似的AI模型早在2017年就出现过,但本次的创新之处在于将优质的大型模型(如StableDiffusion)融入其中,为端到端训练提供更广泛的应用领域。
ControlNet (图像精准控制)是一种用于控制AI图像生成的插件。它采用了一种称为”条件生成对抗网络”(Conditional Generative Adversarial Networks)的技术来生成图像。与传统的生成对抗网络不同,ControlNet允许用户对生成的图像进行精细的控制。这使得ControlNet在许多应用场景中非常有用,例如计算机视觉、艺术设计、虚拟现实等等。ControlNet包含边缘检测(控制人物姿势)、Depth 深度等14种模型,并且ControlNet模型可以叠加使用,在一次生成中可以同时用到2-3种模型,这种组合起来使用的样子就像一张网一样,这或许就是ControlNet(控制网络)名字的由来。
ControlNet v1.1在AI绘画艺术领域的革命性影响,重点介绍了最新版本中引入的改进和新功能,例如附加模型、预处理器以及Automation 11,11的生成连贯视频的能力。还探讨了用户进行的实验,包括对各种输入的研究以及在Blender 中使用3D 映射的独特工作流程。ControlNet 1.1包括改进的模型、InstructorPix和 Shuffle 等实验模型以及用于创建大图像的平铺控制网络模型。强调了ControlNet1.1在基于图像的风格化和编辑方面的重要性,重点介绍了其功能和进步。
===附加内容:===
1. 下载ControlNet方法:
点击状态栏里的“扩展”
点击“加载扩展列表”按钮
在搜索框里输入“controlnet"
找到controlnet,点击右边的安装按钮(没有安装按钮就是安装过了)
2. 更新ControlNet
打开SD的启动界面,点击最左边的“版本管理”
点击“扩展”找到controlnet,点击右边的“更新”按钮
3. 下载预处理器
预处理器的模型放在了网盘(网盘链接在文章最后)
下载网盘里的《1.预处理器》文件夹
里面有一个“downloads”文件夹
把整个文件夹复制到SD的文件夹里面
具体位置:SD文件>extensions > sd-webui-controlnet > annotator
4. 下载模型
下载网盘里的《2.模型》文件夹
里面有14个模型,把这些模型复制到SD文件夹里
具体位置:SD文件> models >ControlNet
【 GitHub 】https://github.com/llyasviel/ControlNet-v1-1-nightly
【百度网盘】https://pan.baidu.com/s/1EFXv7dgWu2vIH86gwSpfkQ
【 B站教程】Nenly同学 30分钟零基础掌握ControlNet!
7