收藏文章 楼主

ControlNet-XS即将发布!轻量级Stable Diffusion控制模块!

版块:AIGC   类型:普通   作者:游客   查看:157   回复:0   获赞:0   时间:2023-10-18 05:00:19

封面样板1-1.pngStable Diffusion的控制难题

Stable Diffusion是当前最热门的人工智能创作工具之一,它可以根据文本提示快速生成图片。但由于生成过程有随机性,结果难以精准控制。为了解决这个问题,研究者提出了ControlNet模块。它可以在图片生成每个阶段添加控制点,使结果更符合预期。

但是,ControlNet的参数量高达几百万,计算量很大。模型体积达到几个G,需要高端的计算机和专业显卡才能运行。为此,海德堡大学在9月20日发布了ControlNet-XS论文。

https://vislearn.github.io/ControlNet-XS/

ControlNet-XS的创新之处

ControlNet XS只用了原来模型1%的参数量,但控制效果不仅没有下降,反而有所提升。它通过改进模型结构,大大优化了控制性能。参数量减少了99%,控制图片生成的能力比原来更强。

具体来说,ControlNet XS使用了更深的编码网络,可以提取图片复杂的语义信息。同时采用简化的解码网络,来更精确地添加控制点。相比原来的ControlNet,它在编码阶段获取了更丰富的图片特征,解码阶段使用特征也更高效。

海大团队的实验结果

在实验中,研究团队在Stable Diffusion不同模型上测试了ControlNet XS。结果显示,它可以比原模型更准确地控制生成图片的姿势、视角等。只需要很少的控制点,就可以明显改变图片的样式和布局。与此同时,运算量大约下降了99%,使图片生成速度大幅提升。

动图

发布

轻量级ControlNet-XS克服了Stable Diffusion对计算力和存储的依赖,将会大大降低用户的使用门槛。

海德堡大学团队计划很快发表ControlNet XS的论文和开源代码。相信这项突破性工作会使Stable Diffusion生成控制达到新的高度,也会激发更多模型轻量化的创新设计思路。


 
回复列表
默认   热门   正序   倒序

回复:ControlNet-XS即将发布!轻量级Stable Diffusion控制模块!

Powered by 7.12.10

©2015 - 2025 90Link

90link品牌推广 网站地图

您的IP:10.3.37.9,2025-08-23 16:18:28,Processed in 0.03126 second(s).

豫ICP备2023005541号

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
免责声明
  • 1、本网站所刊载的文章,不代表本网站赞同其观点和对其真实性负责,仅供参考和借鉴。
  • 2、文章中的图片和文字版权归原作者所有,如有侵权请及时联系我们,我们将尽快处理。
  • 3、文章中提到的任何产品或服务,本网站不对其性能、质量、适用性、可靠性、安全性、法律合规性等方面做出任何保证或承诺,仅供读者参考,使用者自行承担风险。
  • 4、本网站不承担任何因使用本站提供的信息、服务或产品而产生的直接、间接、附带或衍生的损失或责任,使用者应自行承担一切风险。

侵权删除请致信 E-Mail:3454251265@qq.com