求一堆乱七八糟的符号
机器之心探索
人工智能DALLE的独特之处在于其生成神奇图像的能力,这背后并非依赖于传统的人为指令,而是有着其独特的“语言”逻辑。
研究人员发现,DALLE-2似乎拥有一个隐藏的词汇表,用于生成描述各种荒诞内容的图像。例如,Apoploe vesrreaitais这个词看似指代鸟类,而Contarra cnxniams luryca tanniounons有时则指代虫子。这些prompt在单独时具有一致性,但在组合时却表现出多样性。
DALL-E系列模型以其多模态的视觉生成能力而闻名,它们能以文本标题为输入,生成与给定文本相匹配的高质量图像。DALLE-2使用无分类器的扩散引导技术,但其独特性在于与文本的互动中展现出的不可预测性。
研究者们在探索中察觉到一种自创的“黑话”体系,这套词汇模型似乎是在内部发展而来。通过特定prompt,如“一只卡通Apoploe vesrreaitais”的形象,能够生成以鸟类为主题的图像,甚至能将不同的词汇组合以创造新的图像内容。
有人回忆起几年前的一个机器人也曾使用自己的简略语言进行交流,而今DALLE-2的这种现象并非首次出现。
专家们深入挖掘这一现象,发现了一个有趣的现象:某些看似随机的文本实际上与特定的视觉概念相关联。例如,通过简单的规则变换prompt,可以生成不同风格的同一概念图像。
《发现DALLE-2的“黑话”》一文揭示了研究者们如何摸索出这一规律。通过使用特定的prompt例子,如关于“蔬菜”的词汇对应关系,研究者们能够诱导DALLE-2生成包含相关文本的图像。这些图像中的文本虽然对人类来说看似胡言乱语,但在原始论文和评论中均指出,这些文本与试图翻译的单词之间存在某种关联。
研究还发现,这些黑话词汇并非毫无规律可循。例如,“Apoploe vesrreaitais”似乎总是与鸟类相关,“Contarra cnxniams luryca tanniounons”则有时指代害虫或虫子。通过组合这些词汇,模型有时能生成以一种生物吃另一种生物为题材的图像。
尽管这种黑话体系带来了一定的可解释性挑战,如风格转换和文本与图像的一致性问题,但它也引发了关于安全性和可靠性的深入思考。研究者们指出,理解这些现象对于创建符合人类预期的语言和图像生成模型至关重要。
随着研究的深入,安全问题也逐渐浮出水面。是否其他大型生成模型也存在类似的隐藏词汇表?是否可以利用对抗性攻击方法来生成目标图像?这些问题都亟待解决。
总体而言,DALLE系列模型所带来的不仅仅是视觉上的震撼,更引发了关于人工智能可解释性、安全性和可靠性的深刻讨论。未来,我们需要更多的基础研究来理解这些现象,并创建更加智能、安全的生成模型。