你知道这个英文单词是什么吗？
pneumonoultramicroscopicsilicovolcanoconiosis.
这个世界公认最长——由45个字母组成的单词，意思是“因肺部沉积火山矽质微粒所引起的疾病”（俗称火山矽肺病）。
但如果说，现在不是让你拼读这个单词，而是……把它给画出来呢？
（读都读不出来，还画画？？？）
谷歌最新提出来的一个ai——parti，它就能轻松hold住这事。
在把这个单词“投喂”给parti后，它就能有模有样地生成多张合情合理的肺部疾病图片：
但这只是parti小试牛刀的能力，据谷歌介绍，它是目前最先进的“文本转图像”ai。
例如，跟它说句：“把悉尼歌剧院和巴黎铁塔做个结合”，输出结果是这样的：
（不知道的还真以为是画报呢）
而且在算法路数上，还不同于谷歌自家的imagen，parti可以说是把“ai作画”卷出了新高度。
就连谷歌ai负责人jeff dean也连发数条推文，玩得不亦乐乎：
可扩展到200亿参数：更逼真，更“聪明”
事实上，parti的能力还不止于此。
得益于模型可扩展到200亿参数，一方面，它生成的图像更加细节逼真。
不管是短短几个字，还是五十多个个单词的小段落，都能清晰展现出来。
比如，the back of a violin，小提琴的背面。
亦或是照着梵高《星空》来描述的夜晚画面。ps，这段有67个单词。
结果parti也不在话下，一揽子把各种风格的图全给你画出来了~
这也正是parti的第二大能力，不光细节到位，风格也能做到多变。
还有像“浣熊穿正装，头戴礼帽，拄着拐杖，拿着个垃圾袋”这种奇特的描述，它也能在整出花活的同时还不落细节。
风格上，则有梵高风、埃及法老风、像素风、中国传统绘画风、抽象主义风……
甚至有时候它还会讲双关笑话。
（toad’ay，癞蛤蟆）
具体在测试结果上，ms-coco、localized narrative（ln，4倍长的描述）上fid分数，parti都取得了最先进的结果。
尤其在ms-coco零样本的fid得分仅为7.23，微调fid得分为3.22，超过了此前的imagen和dall-e 2。
所有组件都是transformer
时隔一个月，谷歌再把ai作画卷出新高度，结果作者却说：秘诀很简单。
parti主要是将文本生成图像视作序列到序列之间建模。这有点类似于机器翻译，将文本标记作为编码器的输入，目标输出从文本变成了图像。
从结构上看，它的所有组件只有三部分：编码器、解码器以及图像标记器，且都是基于标准transformer。
首先，使用基于transformer的图像标记器vit-vqgan，将图像编码为离散的标记序列。
然后再通过transformer的编码-解码结构，将参数扩展到200亿。
以往关于文本生成图像的研究，除了最早出现的gan，大体可以分成两种思路。
一种是基于自回归模型，首先文本特征映射到图像特征，再使用类似于transformer的序列架构，来学习语言输入和图像输出之间的关系。
这种方法的一个关键组成部分就是图像标记器，将每个图像转换为一个离散单元的序列。比如dall-e和cogview，就采用了这一思路。
另一种则是这段时间以来进展频频的路线——基于扩散的文本到图像模型，比如dall-e 2和imagen。
他们摒弃了图像标记器，而是采用扩散模型来直接生成图像。可以看到的是，这些模型产生的图像质量更高，在ms-coco零样本fid得分更好。
而parti模型的成功，则证明了自回归模型可以用来改善文本生成图像的效果。
与此同时，parti还引入并发布了新的基准测试——partiprompts，用于衡量模型在12个类别和11个挑战方面的能力。
但parti还是有一定的局限性，研究人员也展示了一些bug：
比如，对否定的描述就没招了~
一个没有香蕉的盘子，旁边一个没有橙汁儿的玻璃杯。
还会犯一些常识性错误，例如不合理地缩放。比如这张图，机器人竟然比赛车高出好几倍。
一个穿着赛车服和黑色遮阳板的闪亮机器人自豪地站在一辆f1赛车前。太阳落在城市景观上。漫画书插图。
谷歌“自己卷自己”
在这项研究来自google research，团队中的华人居多。
研究核心工作人员包括yuanzhong xu、thang luong等，目前均就职于谷歌从事ai相关研究工作。
（thang luong在谷歌学术上的引用量高达20000 ）
△左：yuanzhong xu；右：thang luong
不过有意思的是，同为“说句话让ai作画”，同为出自谷歌之手的imagen，它跟parti还真有点千丝万缕的关系。
在parti的github的项目文档中就有提到：
感谢imagen团队，他们在发布imagen之前与我们分享了其最近完整的结果。
他们在cf-guidance方面的重要发现，对最终的parti模型特别有帮助。
而且imagen的作者之一burcu karagol ayan，也参与到了parti的项目中。
（有种谷歌“自己卷自己”那味了）
不仅如此，就连“隔壁”dall-e 2的作者aditya ramesh，也给parti在ms-coco评价方面做了讨论工作。
以及dall-eval的作者们，也在parti数据方面的工作提供了帮助。
one more thing
有一说一，就“文本生成图像”这事，可不只是研究人员们的宠儿。
网友们在“玩”它这条路上，也是乐此不疲（脑洞不要太大好吧）。
前一阵子让imagen画一幅宋朝“虎戴vr”，直接演变成ai作画大战。
△图：imagen作画
dall·e、midjourney等“闻讯赶来”参与其中。
△ dall·e作画
甚至还有把wordle和 dall-e 2搞到一起的：
……
不过回归到这次的parti，好玩归好玩，但还是有网友提出了“直击灵魂”的问题：
啥时候商业化？要是自己“关门玩”就没意思了。
parti论文地址：
https://parti.research.google/
github项目地址：
https://github.com/google-research/parti
参考链接：
[1]https://twitter.com/lmthang/status/1539664610596225024
[2]https://gizmodo.com/new-browser-game-combines-dall-e-mini-and-wordle-1849105289
[3]https://imagen.research.google/
本文由拔丝英语网 - buzzrecipe.com（精选英语文章 课程）收藏，供学习使用，分享转发是更大的支持！由 量子位原创，k8凯发天生赢家的版权归原作者所有。
发表评论