最近，一篇名为《突破100万Token及以上的Transformer：应用RMT技术》（Scaling Transformr to 1M tokens and beyond with RMT）的论文在人工智能领域引起了广泛关注。
论文提出了一种名为 RMT 的新技术，如果能成功应用，将使 Transformer 的 Token 上限扩展至100万甚至更多。
GitHub：https://github.com/booydar/t5-experiments/tree/scaling-report
论文：https://arxiv.org/abs/2304.11062
AI模型处理的大部分是非结构化文本，需要用特定单位作为文本标记，在模型中这些文本通常用 “Token” 表示。
以 GPT 模型为例，1000 个 Token 约等于 750 个英文单词。目前最强的 GPT-4-32k，其 Token 上限仅为 3.2 万，也就是说，它一次最多只能处理 2.4 万个单词，无法处理长文内容。
处理文档、书籍、代码等大型内容超过了 GPT-4 模型的处理上限，用户需要将内容切割后多次喂给 GPT。由于 GPT 的上下文理解能力有限，结果可能偏离预期。
如果未来 Token 上限不断突破，意味着 ChatGPT 能一次接收更多信息，更好地理解上下文，为你提供更精准的结果。
我们可以作再通俗易懂一点的解读：
假设你有个聪明的机器人朋友，可以阅读很多内容并记住它们。这个机器人朋友使用名为“Transformer”的技术帮助理解和记忆内容，如同人类大脑。
现在有一群聪明人，发现了一种让你的机器人朋友更强大的方法，那就是为它安装一个新大脑，“循环记忆 Transformer”（Recurrent Memory Transformer，简称 RMT）。
有了这个新大脑，机器人朋友能记住和理解更多内容，一次多达200万个字！相当于同时记住大约20本很长的书的内容。
此前，其他聪明的机器人最多只能记住 6.4 万个字，虽然已经很多，但远不及 200 万个字。
这个发现非常重要，因为意味着我们的机器人朋友现在可以理解和讨论更多事情，为我们提供更多帮助。
最棒的是，这种新大脑不会让机器人变得更重或耗费更多能量。所以这就像一台拥有超能力的机器人朋友，可以做很多厉害的事情并且不会累！
如果这项技术能够成功应用到 GPT-4，那 ChatGPT 的能力上限也将被再次突破。
当这项技术优化到足够好的时候，代码块、文本、聊天记录都不再需要分多次发送。直接给 ChatGPT 一个项目，它便能直接上手重构项目代码、自动添加需求。书籍也不再需要分段切块，把一本英文书籍传给它，它便能一字不差地翻译成中文，甚至连校对都不需要！
想通过 ChatGPT 来训练一个无限接近自己人格的 AI 机器人？没问题，你把聊天信息、朋友圈动态都导成数据发给它，让它理解吸收，分分钟给你整个虚拟人格出来。我相信，随着该技术的推进，越来越多的 AI 应用场景将被挖掘出来，各个行业都将被彻底颠覆。
ChatGPT 的能力每天都在进步，所有大语言模型上的技术探索，每增进一步，都能让它发生质的突破。奇点临近，我们距离通用人工智能到来的那一天，也不会太远。庆幸自己能够生活在如此一个科技大爆炸时代，科幻片中的情节现在每天都在上演，时时刻刻都能在 AI 界见证那些多不胜数的让人尖叫的时刻。
