您现在的位置是：首页 > 综合 > 正文
微软TikTok为生成式人工智能提供了一种记忆
发布时间：2023-07-13 16:43:31编辑：仲孙奇威来源：
当您在生成人工智能(AI) 程序(例如 ChatGPT)的提示中输入内容时，该程序不仅会根据您输入的内容，还会根据您之前输入的所有内容给出响应。
您可以将聊天记录视为一种记忆。但这还不够，多个机构的研究人员表示，他们正试图赋予生成人工智能一些更像是有组织的记忆的东西，可以增强它产生的东西。
加州大学圣塔芭芭拉分校的研究员 Weizhi Wang 和微软的合作者本月发表了一篇论文，题为“用长期记忆增强语言模型”，并发布在 arXiv 预印本服务器上，为语言添加了一个新组件楷模。
问题是 ChatGPT 和类似的程序无法在任何时刻接收足够的文本来获得很长的上下文。
正如 Wang 和团队观察到的那样，“现有法学硕士的输入长度限制使它们无法推广到现实场景，在现实场景中，处理超出固定大小会话的长格式信息的能力至关重要。”
例如，OpenAI 的 GPT-3最多接受 2,000 个标记、含义、字符或单词的输入。例如，您无法向程序提供 5,000 字的文章或 70,000 字的小说。
可以继续扩展输入“窗口”，但这会遇到棘手的计算问题。注意力操作——所有大型语言程序的基本工具，包括 ChatGPT 和 GPT-4——具有“二次”计算复杂度(参见计算的“时间复杂度”)。这种复杂性意味着 ChatGPT 生成答案所需的时间随着作为输入提供的数据量的平方而增加。增加窗口会增加所需的计算量。
标签：
猜你喜欢
- 美味的蚌肉在哪买（美味的蚌肉哪里多）
- 张艺谋共有几位老婆（张艺谋有几个老婆几个孩子）
- uc头条联系方式（uc头条号注册）
- 打印机属性显示不可用的解决方法（打印机属性显示不可用）
- autocad如何输入尺寸（cadrec怎么输入尺寸）
- 基层自治形式（基层自治）
- 304不锈钢耐温多少度（304不锈钢耐高温多少度）
- 安能 单号查询（安能查询单号查询跟踪）
- 机械指环几级赌（机械指环）
- 直播美颜相机下载（直播美颜摄像头软件）
- 今天摩羯座女的运气怎么样（今天摩羯座女的运气）
- 股票基金赎回几日到账（股票型基金赎回几天到账）
- 我最敬佩的一个人500字作文妈妈（我最敬佩的一个人500字）
- 造四小白龙技能（造4小白龙技能加点）
- 冷读术常用100句（冷读术）
- 开心俱乐部第一季全集在线观看星辰影院（开心俱乐部）
- 四海无闲田农夫犹饿死出自哪首诗（四海无闲田）
- 郑庄公母亲武姜（武姜）
- 研学旅行的意义及感悟800字（研学旅行的意义）
- 微管可视人流和超导可视人流哪个好（什么是超导可视无痛人流）