看NTM blog的时候发现的NeuralGPU的paper,感觉这个东西要是能够打破RNN架构或者是更加巧妙的利用卷积将会是一个令人惊叹的设计,但是几篇论文里面都还是在糅合CNN和RNN,个人感觉这个设计应该还是处于早期设计阶段。 更新: NeuralGPU简单介绍---在我前面的短文里面介绍了一种常见的使用卷积CNN网络处理多因子股票收益率序列的玩法,在处理多因子数据的时候,将多因子数据合成一副图片,然后使用CNN处理这个图片,进行预测。这里NeuralGPU的玩法大致类似,有一点区别的地方在于,模型将卷积核里面的通道(每层卷积滤波器的数量)扩展成一个输入多因子数据的维度,同时将原来的2D图片的高度当作是时间序列步,这样在第一副图片输入的时候(原始数据嵌入)in_channels进入通道数量从原来的表示3幅红绿蓝三基色的图片变成了多因子数据。 为了便于理解,可以参照下面的立方体图片,前表面就是常见的卷积图片,立方体的厚度也就是通常的卷积滤波器的数量,这里将前表面的上第一列的数据点当作时刻标度,然后每个数据点对应的厚度也就是一个超长的数据列嵌入多因子序列。这个时候这个立方体就嵌...