随着人工智能 (AI) 聊天机器人之战升温，微软推出了 Kosmos-1，这是一种新的人工智能模型，除了文本提示或消息外，它还可以响应视觉提示或图像。
多模态大型语言模型 (MLLM) 可以帮助完成一系列新任务，包括图像字幕、视觉问答等。
Kosmos-1 可以为 ChatGPT 文本提示之外的下一阶段铺平道路。
“语言、多模式感知、动作和世界建模的大融合是通向通用人工智能的关键一步。在这项工作中，我们介绍了 Kosmos-1，这是一种多模式大型语言模型 (MLLM)，它可以感知一般模式、在上下文中学习并遵循指令，”微软的人工智能研究人员在一篇论文中说。
据 ZDNet 报道，该论文表明，要超越类似于 ChatGPT 的能力，实现通用人工智能 (AGI)，需要在现实世界中进行多模式感知或知识获取和“扎根”。
“更重要的是，解锁多模态输入极大地拓宽了语言模型在更多高价值领域的应用，例如多模态机器学习、文档智能和机器人技术，”论文中写道。
目标是使感知与 LLM 保持一致，以便模型能够看到和说话。
实验结果表明，Kosmos-1 在语言理解、生成甚至直接输入文档图像方面都取得了令人印象深刻的性能。
它还在感知语言任务中显示出良好的效果，包括多模态对话、图像字幕、视觉问答和视觉任务，例如带描述的图像识别(通过文本指令指定分类)。
“我们还表明，MLLM 可以从跨模态迁移中受益，即将知识从语言迁移到多模态，再从多模态迁移到语言。此外，我们还引入了 Raven IQ 测试数据集，它可以诊断 MLLM 的非语言推理能力，”该团队说。