ACT模型通过在每时间步(时间序列节点)进行多次计算来模拟复杂问题的思考过程。这种算法尤其有价值在使用包含外存储器的RNN变种(如DNC、NTM等)计算架构处理长时间序列的时候。 下面简单形象的介绍一下本文模型(这不是很准确的描述,但是足够形象)。我们假设VanillaRNN模型为一个考生,在进行英语听力考试,这个考生被要求“干听”,也就是不能使用纸笔记录,并且所有的听力内容问题和答案全部都是以口头形式进行的。当然在排除天纵奇才的情况下,这个考生的答案是惨不忍睹的。下面我们来看第二个名叫LSTM的考生,这个考生在进行听力考试的时候有一块磁铁画板,可以记录一定量的信息。但是这个考生在超过30min的听力考试中只能使用这个画板记录一点点信息,如果想要写入新的信息就必须要清除之前的信息。也就是这个叫做LSTM的考生可以记录有限的信息。当然对于长时间的听力考试这点笔记也是杯水车薪。下面我们来看第三个叫做DNC的考生,这个考生使用一个更高级的画板(E人E本),这个画板可以记录更多的信息,甚至可以记录所有的听力信息(当DNC的外存储器足够大的时候)。以上的三个考生都是在加强自己的记忆能力,针...