凯尔·威格斯写的
来源:
图片来源:工具生成。
从历史上看，即使在今天，记忆力差也一直是阻碍文本生成人工智能发挥作用的一个因素。正如最近发表在《大西洋》杂志上的一篇文章所说，即使是ChatGPT这样复杂的生成式文本人工智能，也有金鱼一样的记忆力。模型每生成一个响应，只考虑非常有限的文本量，所以不能总结一本书，也不能回顾一个重大的编码项目。
但是Anthropic正试图改变这种情况。
今天，这家人工智能研究初创公司宣布，将Claude(其旗舰文本生成人工智能模型，目前仍处于预览阶段)的上下文窗口从9000个令牌扩大到100000个令牌。上下文窗口指的是模型在生成附加文本之前考虑的文本，而token代表的是原始文本(比如单词“fantastic”会被分成token & # 8220范& # 8221；、”tas & # 8221还有& # 8220；tic & # 8221)。
那么，这意味着什么呢？如前所述，具有小上下文窗口的模型甚至会“忘记”最近的对话& # 8212；导致他们偏离主题。在几千字左右之后，小模型也会忘记初始指令，只根据上下文窗口中最后的信息进行响应。
鉴于大上下文窗口的好处，找出扩展方法成为OpenAI等AI实验室的主要关注点。要知道，OpenAI在这个问题上投入了整个团队。OpenAI的GPT-4在上下文窗口大小上保持了之前的领先地位，最大大小为32,000 token，改进后的Claude API已经超过了这个数字。
凭借更强的“记忆力”，克劳德应该可以连续几个小时——甚至几天——而不是几分钟。或许更重要的是，它也应该不太可能偏离轨道。
在博文中，Anthropic介绍了Claude添加上下文窗口的其他好处，包括模型能够消化和分析数百页材料。Anthropic表示，除了阅读长文本，升级后的克劳德还可以帮助从多个文件甚至一整本书中检索信息，并回答需要跨文本的关于“综合知识”的问题。
Anthropic列出了一些可能的用例:
对财务报表或研究报告等文件进行消化、总结和解释。根据公司的年度报告，分析其风险和机会，评估一项立法的利弊，并确定跨法律文件的风险、主题和不同形式的论证。阅读数百页的开发人员文档，并给出技术问题的答案。通过将整个代码库放在上下文中并智能地构建或修改它来快速构建原型。“普通人可以在大约5个小时内阅读10万个令牌，然后可能需要很多时间来消化、记忆和分析这些信息，”Anthropic继续说道。“克劳德现在不到一分钟就能做到这一点。例如，我们把《了不起的盖茨比》的全部内容输入到克劳德& # 8230；…并修改了其中一句台词，说卡拉维先生是Anthropic从事机器学习工具的软件工程师’。当我们让克劳德找出不同之处时，它在22秒内给出了正确答案。”
此外，Anthropic的合作伙伴AssemblyAI也进行了相关测试。在视频演示中，团队用Claude-100 k将一段很长的播客转录成58K的单词，然后用Claude进行总结和提问。团队给的评价是:神经病！这太疯狂了。
目前，更长的上下文窗口不能解决围绕大型语言模型的其他与内存相关的挑战。像大多数同类模型一样，Claude不能从一个会话到下一个会话保存信息。而且不像人脑，它把每一条信息都看得同等重要，这让它不是一个特别可靠的叙述者。一些专家认为，解决这些问题将需要一个全新的模型架构。
然而，就目前而言，Anthropic似乎处于最前沿。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"开卷！Anthropic Claude 模型升级到 10 万 token，可将整本《了不起的盖茨比》一口吞下"：http://www.guoyinggangguan.com/qkl/149559.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
