业界动态
AI画连环画角色更一致了!人物之间的复杂互动也能处理|中山大学&联想团队出品
2024-07-30 05:55

声明:本文来自于微信公众号 量子位(ID:QbitAI),授权转载发布。

AI画连环画角色更一致了!人物之间的复杂互动也能处理|中山大学&联想团队出品

让AI画漫画角色保持一致的新研究来了!

创作的连环画效果belike:

频繁切换主体、人物之间复杂的互动也能保持角色一致性:

上述效果来自AutoStudio,是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。

AutoStudio采用基于大语言模型的三个智能体来处理交互,并使用基于扩散模的Drawer生成高质量图像。

实验中,AutoStudio无论是在定量还是定性评估中都优于现有方法。

由于进的T2I生成模型在生成令人印象深刻的单个图像方面表现出了卓越的能力,研究界对更复杂的多轮交互式图像生成工作的兴趣与日俱增。

在现实世界的应用中,用户经常需要以交互方式生成一系列图像,其中包括各种任务,如开放式故事生成和多主体多轮编辑。

然而,目前的方法大多数要求预先定义所有轮的生成指令,并且在面对不同的用户指令(如定制、编辑和大量交叉引用)时,很难在多个主体之间保持一致性。

为了解决这些问题,研究团队引入了AutoStudio,这是一个多智能体、无需训练的框架,具有四个特别定制的智能体,利用现成的模型与用户进行即时交互。

他们的目标是引入一个多功能、可扩展的框架,通过多智能体协作,可以将任何所需的LLM架构和扩散骨干结合到框架中,以满足用户多轮生成的多样化需求。

具体而言,AutoStudio包括三个基于LLM的智能体:

  • 主题管理器解释对话,识别不同的主题,并为其分配适当的上下文;

  • 布局生成器为每个主题生成部分级别的边界框,以控制主题的位置;

  • 监督员为布局生成器提供布局改进和修正的建议。

最后,绘制器基于扩散模型完成基于改进布局的图像生成。

此外,研究人员在绘制器中引入了一个并行UNet(P-UNet),它具有一种新颖的架构,利用两个并行的交叉注意力模块分别增强文本和图像嵌入的潜在主题特征。

为了进一步解决SD在理解长提示和生成过程中缺失和错误融合主题的限制,研究人员在绘制器中引入了一种主题初始化的生成方法。

接下来是对AutoStudio架构的详细说明。

研究团队首先引入一个主题管理器Manager,它不仅能为主题及其组件分配ID,还能将用户提示转换为绘图说明。

然后,布局生成器Layout Generator对这些标题进行处理,生成粗略的布局,其中包含每个主题及其组件的边界框和信息。

为了纠正不合理的主体内和主体间空间关系并完善粗略布局,引入了一个监督器Supervisor。

该监督器将粗布局作为输入,并向布局生成器提供建议。

通过这种方式,Supervisor和Layout Generator密切协作,形成一个布局细化的闭环流

此外,研究团队还定义了一组任务介绍,以指导这三个基于 LLM 的代理生成格式正确的响应。

最后,给定细化布局和从主体库中获取的主体信息,绘图器Drawer可以生成与布局对齐且包含一致主体的图像。

为了解决多ID绑定任务中主体丢失和融合的问题,研究人员引入主体初始化生成过程

这个过程包括对主体粗粒度特征的单独生成,使用提取器提取特征并通过正向扩散映射到潜空间并在全局生成的初始几步进行局部替换。

Stable Diffusion模型中的原始UNet利用交叉注意模块来利用文本特征,但这不足以表示多个主体的空间关系和特征。

因此,研究人员提出了利用免训练布局调整注意力模块的P-UNet。

将UNet层的原始交叉注意模块拆分为两个并行的文本和图像交叉注意模块(分别称为PTCA和PICA)来细化Z,这两个模块具有相同的架构,其主要思想是计算Z与每个主体文本/图像嵌入之间的特征相似性。

研究人员在CMIGBench上利用所选的基准模型对AutoStudio进行了全面评估。

CMIGBench基于故事生成和多轮编辑,包含8000个多轮脚本对话(每个任务4000个)。

研究人员选择了平均弗雷谢特起始距离(aFID)和平均字符-字符相似度(aCCS)这两个定量指标来评估上下文一致性,并选择了平均文本-图像相似度(aTIS)来评估主体间的语义一致性。

结果,AutoStudio在所有指标上都明显优于之前的方法

下图展示了多轮交互式图像生成的可视化结果,表明AutoStudio能够理解用户的自然语言指令,并生成主题一致的图像。

相比而言,Theatergen无法处理人物之间复杂的互动(如拥抱和接吻),而MiniGemini则难以保持主体的一致性。

Intelligent Grimm和StoryDiffusion无法在多回合互动中保持多个角色之间的一致性,并表现出有限的编辑效果。

论文链接:https://arxiv.org/abs/2406.01388

项目主页:https://howe183.github.io/AutoStudio.io/

文章转载自:业界 非本站原创

    以上就是本篇文章【AI画连环画角色更一致了!人物之间的复杂互动也能处理|中山大学&联想团队出品】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/6819.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   
最新新闻
门店管理拓客小程序系统开发助力门店业务腾飞的创新利器
门店管理拓客小程序系统:助力门店业务腾飞的创新利器**一、引言**在当今数字化的商业环境中,门店管理面临着前所未有的挑战和机
百度ai人工智能写作免费吗
那么,为什么百度AI人工智能写作是免费的呢?首先,从商业角度来看,百度作为一家知名的互联网公司,自然不会将收费作为其主要盈
原创第一次用DeepSeek写文章:解锁高效创作的新篇章
初次接触DeepSeek,最直观的感受是其简洁明了的用户界面。平台设计直观,功能布局合理,即使是初次使用的创作者也能迅速上手。通
AI 技术的入门级教程有哪些?
我在这里与大家分享我所有Adobe Illustrator初学者应该学习的10个基本技巧和工具,并将您链接到一两个教程,这将有助于您学习如
节后健身计划哪家强?DeepSeek、豆包、文小言测评对比!
别再穿你的睡衣了!拿出你的牛仔裤向下滑的查看向下滑的查看向下滑的查看向下滑的查看向下滑的查看你觉得哪个AI最靠谱?注意以上
看袁泉的这组照片后,明白夏雨会放弃高圆圆而选她了
  前一段时间《我的前半生》热播,剧中袁泉饰演的“骨灰级好闺蜜”和职场女强人唐晶受到了观众的喜爱,齐刘海短发,穿着职业装
京东自营怎么申请入驻流程?京东入驻审核
京东自营是指商家通过京东平台直接销售商品,享受京东提供的仓储、物流、售后等服务。申请入驻京东自营需要经过一系列审核流程,
DeepSeek创始人火了!业内称他是“极致的80后技术理想主义者”
在人工智能领域,一场激烈的竞争正在上演。随着DeepSeek推出新模型DeepSeek-R1,1月27日,Deepseek应用登顶苹果中国地区和美国地
你觉得 DeepSeek 不好用,真的是你不会用啊!这篇学会了,写作效率提升90%!
小白再也不怕不懂AI你好啊~我是夏至。持续分享实用AI教程,我的教程主打拿来就用,有手就会!IOS和Android系统都能下载。手机和