机器是如何记忆的Deepmind解读、最新长距离存储模型和数据库量子比特

赖可量子比特文章的编译

人可以很容易地记住几年前的事情，根据那些记忆现在也可以继续思考。这种能力对计算机来说非常困难。

研究人员也为此做出了努力。去年年底，为了让计算机有较长的记忆和推理，Deepmind发布了新的模型和数据集。

近日，在Deepmind官方博客上发表了最新的文章，将进一步解读。文章在回顾计算机处理的“存储”历史的同时，解读了新模型和数据集获得的进展。

回顾：深入学习记忆的处理方法

设计了交流电力系统发明家尼古拉曾经

△尼古拉·特斯拉

在AI领域，最古老和应用最广泛的存储结构是循环神经网络（RNN），称为长短期存储（LSTM），适合处理和预测时间序列中间隔和延迟非常长的重要事件。

但是，它的计算效率会降低，模型中模型中可学习参数的数量会随着内存大小而二次增加。内存大小为64KB的LSTM生成大小为8GB的参数。

因此，我们提出了一种新的用于微分神经计算机的框架DNC，其使用更大的内容矩阵来增强LSTM。

DNC使用注意力操作从矩阵读取内容。类比人的视觉注意力会吸引人关注他们想关注的事物。例如，有人会把注意力转向朋友脸上的表情，而不是鞋子。在DNC中，内存模型可以处理过去的特定事件和数据。

与DNC一样，具有附加注意力机制的RNN在翻译和回答问题上都很出色。

自然语言模式的发展

统计语言建模不仅可以推动记忆架构的发展，还可以促进AI领域普遍智能的发展。

语言模型通过连续预测文本流中的下一个单词来操作。可用于模拟现有文本或生成新文本。你越善于模拟过去，预测就越准确，生成的文本也越真实。

您可以通过对上下文概率建模来预测和生成文本。增加上下文可以提高文本质量。因此，长距离依赖关系是语言模型的重要课题。

WikiText-103是广泛使用的长距离语言模型。英文维基由百科文章组成，Salesforce由AI的研究人员开发。文章平均约有3600个单词，开发时远远超过当时最先进型号的存储窗口。

然而，谷歌研究人员最近发现了TransformerXL，它是Transformer变体。保留过去网络活动的记忆，可以使用超过1000个单词的上下文。

模型的发展提出了一个新问题：这些基准测试会很快饱和吗。因此，Deepmind发布了新的语言模式基准测试。

数据集PG-19

发布的新语言建模基准数据集（PG-19）

数据来源于古登堡计划在线图书馆的经典（Project Gutenberg online library），选择了到1919年出版的文本。几乎没有文本预处理。例如，不限制单词的长度，不审查数字。

PG-19的大小是之前语言建模标准测试的2倍以上，文本的长度是WikiText-103的10倍以上。

△PG-19与其他语言建模标准的比较

新的长距离存储模型

还提出了一种新的长距离存储模型压缩变换器。这是一个长时间连续的关注序列模型。

它的灵感来源于睡眠对记忆的压缩和巩固。

当模型通过一组输入时，将收集类似于存储段的粒状存储，并随着时间的推移进行压缩。

△使用粗压缩颗粒状短期记忆的过去记述

Deepmind在不使用额外的训练数据集的情况下，发现Compressive Transformer在为WikiText-103和Enwik8这两个标准构建自然语言模型方面具有最先进的性能。

它还可用于语音建模，处理特别罕见的单词，并可用于增强学习代理来解决存储任务。

PG-19基准还提高了Compressive Transformer的最高性能，可以创建类似书籍的摘要。

压缩变换器可以生成多种样式描述、多角色交互、第一人称日记或第三人称散文。这个模型的语言理解不是建立在现实世界的基础上的，也不是建立在现实世界中发生的事件的基础上的，但是通过捕捉更长距离的相关性，可以显示更一致的文本。

记忆框架的未来

如果您尝试创建一个操作时间为几天、几周或几年的智能体，那么在每一步中计算所有原始数据都是不现实的。即使现在的计算能力有所增加，也需要为记忆开发压缩和稀疏的体系结构，构建操作的表示和推论。

Deepmind能够捕捉到日、月、年的经验相关的模型将登场。要实现更有力的推论，我们需要对过去有更好的选择性关注，进行更有效的压缩机制。

传输门

https：//Deepmind.com/blog/article/A_new_model_and_dataset_for_long-range_memory

https：//arxiv.org/abs/1911.05507

-结束了