您现在的位置是:首页 > 综合 > 正文

微软TikTok为生成式人工智能提供了一种记忆

发布时间:2023-07-13 16:43:31编辑:仲孙奇威来源:

导读 当您在生成人工智能(AI) 程序(例如 ChatGPT)的提示中输入内容时,该程序不仅会根据您输入的内容,还会根据您之前输入的所有内容给出响应

当您在生成人工智能(AI) 程序(例如 ChatGPT)的提示中输入内容时,该程序不仅会根据您输入的内容,还会根据您之前输入的所有内容给出响应。

您可以将聊天记录视为一种记忆。但这还不够,多个机构的研究人员表示,他们正试图赋予生成人工智能一些更像是有组织的记忆的东西,可以增强它产生的东西。

加州大学圣塔芭芭拉分校的研究员 Weizhi Wang 和微软的合作者本月发表了一篇论文,题为“用长期记忆增强语言模型”,并发布在 arXiv 预印本服务器上,为语言添加了一个新组件楷模。

问题是 ChatGPT 和类似的程序无法在任何时刻接收足够的文本来获得很长的上下文。

正如 Wang 和团队观察到的那样,“现有法学硕士的输入长度限制使它们无法推广到现实场景,在现实场景中,处理超出固定大小会话的长格式信息的能力至关重要。”

例如,OpenAI 的 GPT-3最多接受 2,000 个标记、含义、字符或单词的输入。例如,您无法向程序提供 5,000 字的文章或 70,000 字的小说。

可以继续扩展输入“窗口”,但这会遇到棘手的计算问题。注意力操作——所有大型语言程序的基本工具,包括 ChatGPT 和 GPT-4——具有“二次”计算复杂度(参见计算的“时间复杂度”)。这种复杂性意味着 ChatGPT 生成答案所需的时间随着作为输入提供的数据量的平方而增加。增加窗口会增加所需的计算量。

标签:

上一篇
下一篇

最新文章