https://blog.overfit.org/tags/attention/Recent content in Attention on 里列昂遗失的记事本Hugozh-cnWed, 29 Dec 2021 20:53:00 +0800https://blog.overfit.org/posts/2021-12-29-15746718-%E6%9C%80%E8%BF%91%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%88%9B%E6%96%B0/Wed, 29 Dec 2021 20:53:00 +0800https://blog.overfit.org/posts/2021-12-29-15746718-%E6%9C%80%E8%BF%91%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%88%9B%E6%96%B0/最新语言模型的创新 2018年被称为”NLP的ImageNet时刻“：进展惊人，越来越大的LSTM和基于Transformer的架构在庞大的数据集上得到了训练 Matthew Peters撰写的ELMo论文介绍了从语言模型来的嵌入（Embeddings from Languagehttps://blog.overfit.org/posts/2021-12-29-15746541-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/Wed, 29 Dec 2021 19:55:00 +0800https://blog.overfit.org/posts/2021-12-29-15746541-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/注意力机制 这是Dzmitry Bahdanai等人在2014年的突破性论文中的核心思想。他们介绍了一种技术，该技术允许编码器在每个时间步长中专注于适当的单词（由编码器编码）。例如，在编码器需要输出单词'lait'的时间步长上，它会把注意力集中在单词'mihttps://blog.overfit.org/posts/2021-12-18-15705733-%E6%8E%A9%E7%A0%81%E5%B1%8F%E8%94%BD/Sat, 18 Dec 2021 19:01:00 +0800https://blog.overfit.org/posts/2021-12-18-15705733-%E6%8E%A9%E7%A0%81%E5%B1%8F%E8%94%BD/掩码屏蔽 模型需要学习应该忽略掉填充令牌。可以设置告诉模型去忽略掉填充令牌，以便它可以专注于实际很重要的数据。实际上这很容易：在创建嵌入（Embedding）层时只需添加mask_zero=True。这意味着所有下游层都将忽略填充令牌（其ID为0） 这种工作方式是Embeddin