https://blog.overfit.org/tags/rnn/Recent content in RNN on 里列昂遗失的记事本Hugozh-cnSun, 10 Aug 2025 22:25:00 +0800https://blog.overfit.org/posts/2022-01-06-15772401-%E5%BE%AA%E7%8E%AF%E8%87%AA%E5%8A%A8%E7%BC%96%E7%A0%81%E5%99%A8/Thu, 06 Jan 2022 18:48:00 +0800https://blog.overfit.org/posts/2022-01-06-15772401-%E5%BE%AA%E7%8E%AF%E8%87%AA%E5%8A%A8%E7%BC%96%E7%A0%81%E5%99%A8/循环自动编码器 如果要为序列构建自动编码器，例如时间序列和文本（例如，用于无监督学习或降维），那么递归神经元可能比密集网络更合适。构建循环自动编码器非常简单直接：编码器通常是序列到向量的RNN，它将输入序列压缩为单个向量。解码器是向量到序列RNN，做相反的处理： from tenhttps://blog.overfit.org/posts/2021-12-30-15750711-%E6%9C%89%E6%95%88%E7%9A%84%E6%95%B0%E6%8D%AE%E8%A1%A8%E7%A4%BA/Thu, 30 Dec 2021 21:34:00 +0800https://blog.overfit.org/posts/2021-12-30-15750711-%E6%9C%89%E6%95%88%E7%9A%84%E6%95%B0%E6%8D%AE%E8%A1%A8%E7%A4%BA/有效的数据表示 你发现以下哪个数字顺序最容易记忆？ 40，27，25，36，81，57，10，73，19，68 50，48，46，44，42，40，38，36，34，32，30，28，26，24，22，20，18，16，14 乍一看，第一个序列似乎应该更容易些，因为它要短得多。但https://blog.overfit.org/posts/2021-12-29-15746718-%E6%9C%80%E8%BF%91%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%88%9B%E6%96%B0/Wed, 29 Dec 2021 20:53:00 +0800https://blog.overfit.org/posts/2021-12-29-15746718-%E6%9C%80%E8%BF%91%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%88%9B%E6%96%B0/最新语言模型的创新 2018年被称为”NLP的ImageNet时刻“：进展惊人，越来越大的LSTM和基于Transformer的架构在庞大的数据集上得到了训练 Matthew Peters撰写的ELMo论文介绍了从语言模型来的嵌入（Embeddings from Languagehttps://blog.overfit.org/posts/2021-12-29-15746541-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/Wed, 29 Dec 2021 19:55:00 +0800https://blog.overfit.org/posts/2021-12-29-15746541-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/注意力机制 这是Dzmitry Bahdanai等人在2014年的突破性论文中的核心思想。他们介绍了一种技术，该技术允许编码器在每个时间步长中专注于适当的单词（由编码器编码）。例如，在编码器需要输出单词'lait'的时间步长上，它会把注意力集中在单词'mihttps://blog.overfit.org/posts/2021-12-18-15705733-%E6%8E%A9%E7%A0%81%E5%B1%8F%E8%94%BD/Sat, 18 Dec 2021 19:01:00 +0800https://blog.overfit.org/posts/2021-12-18-15705733-%E6%8E%A9%E7%A0%81%E5%B1%8F%E8%94%BD/掩码屏蔽 模型需要学习应该忽略掉填充令牌。可以设置告诉模型去忽略掉填充令牌，以便它可以专注于实际很重要的数据。实际上这很容易：在创建嵌入（Embedding）层时只需添加mask_zero=True。这意味着所有下游层都将忽略填充令牌（其ID为0） 这种工作方式是Embeddinhttps://blog.overfit.org/posts/2021-12-15-15695992-%E4%BD%BF%E7%94%A8%E5%AD%97%E7%AC%A6rnn%E7%94%9F%E6%88%90%E8%8E%8E%E5%A3%AB%E6%AF%94%E4%BA%9A%E6%96%87%E6%9C%AC/Wed, 15 Dec 2021 23:24:00 +0800https://blog.overfit.org/posts/2021-12-15-15695992-%E4%BD%BF%E7%94%A8%E5%AD%97%E7%AC%A6rnn%E7%94%9F%E6%88%90%E8%8E%8E%E5%A3%AB%E6%AF%94%E4%BA%9A%E6%96%87%E6%9C%AC/创建训练数据集 首先，使用Keras的get_file()函数来下载莎士比亚的所有作品，并从Andrej Karpathy的Char-RNN项目中下载数据： import tensorflow as tf from tensorflow import keras shakespehttps://blog.overfit.org/posts/2021-12-13-15683998-%E5%A4%84%E7%90%86%E9%95%BF%E5%BA%8F%E5%88%97/Mon, 13 Dec 2021 16:29:00 +0800https://blog.overfit.org/posts/2021-12-13-15683998-%E5%A4%84%E7%90%86%E9%95%BF%E5%BA%8F%E5%88%97/处理长序列 在长序列上训练一个RNN，必须运行很多时间步长，从而展开的RNN成为一个非常深的网络。就像任何深度神经网络一样，它可能会遇到不稳定的梯度问题：它可能永远在训练，或者训练可能会不稳定。此外，当RNN处理一个长序列时，它会逐渐忘记序列中的第一个输入。 应对不稳定梯度问题https://blog.overfit.org/posts/2021-12-06-15652553-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%92%8C%E5%B1%82/Mon, 06 Dec 2021 23:30:00 +0800https://blog.overfit.org/posts/2021-12-06-15652553-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%92%8C%E5%B1%82/循环神经元和层 到目前为止，我们只关注前馈神经网络，其中激活仅在一个方向上流动，从输入层流向输出层。循环神经网络看起来非常像前馈神经网络，除了它还具有指向反向的连接。最简单的RNN由一个神经元接收输入，产生输出并将该输出返送回自身组成。在每个时间步长（也称为帧），该循环神经网络接https://blog.overfit.org/posts/2021-12-06-15650112-%E4%BD%BF%E7%94%A8rnn%E5%92%8Ccnn%E5%A4%84%E7%90%86%E5%BA%8F%E5%88%97/Mon, 06 Dec 2021 15:22:00 +0800https://blog.overfit.org/posts/2021-12-06-15650112-%E4%BD%BF%E7%94%A8rnn%E5%92%8Ccnn%E5%A4%84%E7%90%86%E5%BA%8F%E5%88%97/使用RNN和CNN处理序列 击球手将球击出。外野手立即开始奔跑，预测球的轨迹。他跟踪它，调整自己的运动，最后抓住球。不管你是在听完朋友的话还是在早餐时期待咖啡的味道，预测都是你一直在做的事情。循环神经网络（RNN），这是一类可以预测未来的网络（在一定程度上）。它们可以分析时间序列