新研究：AI记忆提升30倍，“7秒记忆”将要成为历史

大模型机动组2023年06月13日约 1 分钟

现有的大型语言模型由于输入长度的限制，只能承受固定大小的输入，超过这个限制值，大模型就无法为我们处理这段话的任何任务，例如无法编译一个大会的速记，或提炼一个超长文稿的中心思想。

GPT-2的处理字符是1000个，GPT-3处理字符是2000个，而Memorizing Transformers使用一个单一的模型来编码记忆和将记忆用于语言建模，从而扩展了语言模型的能力，可以处理多达 6500 个字符的长文本。