麻省理工学院研究人员开发出理解物体间关系的人工智能算法
当人们看向任何一个表面时，他们能看到其中的物体以及它们之间的关系。你的桌上可能有一台笔记本电脑，位于手机左侧，而手机又放在电脑显示器前面。
许多深度学习模型难以像这样理解世界，因为它们无法掌握各个物体之间错综复杂的关系。如果不了解这些关系，一个用来帮助人们做饭的机器人就很难执行这样的指令：“拿起位于灶台左侧的锅铲，然后把它放到切菜板上。”
为解决这一问题，麻省理工学院的研究人员开发出一种模型，能够理解画面中物体之间的基本关系。该模型会逐一表示各个单独的关系，然后将这些表示组合起来，描述整个画面。这使得模型即使在场景中包含多个处于不同关系中的物体时，也能根据文字描述生成更准确的图像。
这项工作可以应用于工业机器人需要完成复杂多步操作任务的场景，例如在仓库中整理物品或组装设备。这也让该领域向着让机器像人一样学习并与周围环境互动的目标又迈进了一步。
“当我看着一张桌子时，我无法说出XYZ位置上有什么物体。我们的大脑不是这样工作的。在我们的意识中，当我们理解一个场景时，我们实际上是基于物体之间的关系来理解它。我们认为，如果构建一个能够理解物体之间关系的系统，就可以用它更有效地操控和改变我们的环境。”
研究人员开发的框架可以根据对物体及其关系的文字描述生成场景图像，例如：“木制桌子位于蓝色椅子的左侧。红色沙发位于蓝色椅子的右侧。”
该系统将这些句子拆分为两个较小的部分，分别描述每一种关系（“木制桌子位于蓝色椅子左侧”和“红色沙发位于蓝色椅子右侧”），然后分别对每个部分进行建模。随后，这些部分在优化过程中被组合起来，最终生成场景图像。
研究人员采用了一种称为能量模型的机器学习方法，来表示场景描述中各个物体之间的关系。借助这种方法，他们可以用一个能量模型对每一条关系描述进行编码，然后将它们组合起来，从而输出所有物体及其关系。
“通过将句子按每种关系拆分成更短的部分，系统可以以不同方式重新组合这些部分，从而更好地适应它从未见过的场景描述，”麻省理工学院CSAIL博士研究生李双表示。
“其他系统会将所有关系作为一个整体处理，并根据描述一次性生成图像。然而，当遇到分布之外的描述时，比如包含大量关系的描述，这类方法就会失效，因为该模型无法真正调整单一画面来生成包含更多关系的图像。而当我们将这些单独的小模型组合在一起时，就能够建模更多关系，并适应新的组合方式。”
该系统也可以反向工作：给定一张图像，它能够找到与画面中物体之间关系相符的文字描述。此外，该模型还可以用于编辑图像，通过重新排列物体使其符合新的描述。
研究人员将他们的模型与其他深度学习方法进行了比较，这些方法接收文字描述并生成呈现相应物体及其关系的图像。在每种情况下，他们的模型都超过了基线水平。
他们还请人们评估生成的图像是否符合原始描述。在最复杂的示例中，即描述包含三种关系时，91%的参与者认为新模型表现更好。
“我们发现一个有趣的现象：对于我们的模型，我们可以把输入从一条描述增加到两条、三条，甚至四条，而我们的方法仍然能够生成正确体现这些关系的图像，而其他方法则会失效。”
研究人员还展示了系统此前未见过的场景的模型图像，以及每张图像对应的多条不同文字描述，结果它们成功识别出与图像中物体关系最匹配的描述。
当研究人员向系统提供两条描述同一图像但表述不同的关系场景描述时，模型能够理解这些描述是等价的。科学家们对系统的可靠性印象深刻，尤其是在处理它此前从未遇到过的描述时。
“这非常有前景，因为它更接近人类的工作方式。人类只需看到几个例子，就能从中提取有用的信息，并将它们组合起来，创造出无穷无尽的组合。我们的模型也具备这种特性，使其能够从较少的数据中学习，同时将所学推广到更复杂的场景或图像生成任务中。”
尽管这些初步结果令人鼓舞，研究人员仍希望看到他们的模型在更复杂的真实图像上表现如何，这些图像背景嘈杂，且物体之间存在相互遮挡。
他们还有兴趣最终将该模型集成到机器人系统中，使机器人能够识别物体之间的关系，然后运用这些知识来操控现实世界中的物体。
“开发能够处理我们周围世界组合性本质的视觉表示，是计算机视觉的关键未解难题之一。这项研究在解决该问题上取得了显著进展，提出了一种基于能量的模型，能够明确建模场景中多个物体之间的多重关系。结果确实令人印象深刻。”
