一隅

循环神经网络 RNN 及其变体 GRU、LSTM

发表于 2021-07-22 更新于 2022-02-19 分类于自然语言处理，循环神经网络本文字数： 3k 阅读时长 ≈ 5 分钟

同样，借着复习面试，把 RNN 家族再梳理回顾一下，包含 RNN、GRU、LSTM。

发表于 2021-07-22 更新于 2022-02-19 分类于自然语言处理， seq2seq 本文字数： 2.2k 阅读时长 ≈ 4 分钟

序列到序列模型（sequence to sequence, seq2seq）是自然语言处理中的一个重要模型，在机器翻译、对话系统等多个领域都有着广泛的应用。今天借着准备面试的机会，将这一部分知识整理出一篇博客。

发表于 2021-07-22 更新于 2022-02-19 分类于自然语言处理，语言模型本文字数： 1.5k 阅读时长 ≈ 3 分钟

语言模型是自然语言处理的一个重要部分，在很多生成式任务中，都离不开语言模型。今天我想梳理一下我所理解的语言模型及其发展。

发表于 2021-07-20 更新于 2022-02-19 分类于自然语言处理，对话系统本文字数： 3.1k 阅读时长 ≈ 6 分钟

今天来看一篇对话系统的文章，收录于 2020 年的 ACL。这篇文章是常识对话模型（CCM）的后续工作，我之前粗读过一次，还有很多疑惑，今天正好借着这个机会细读一遍。在此之前，先梳理一下对话系统的发展历史。

发表于 2021-07-17 更新于 2022-02-19 分类于自然语言处理，文本生成本文字数： 4.1k 阅读时长 ≈ 8 分钟

之前学习 EA-VQ-VAE 的时候发现只读论文本身还是有很多细节问题不太懂，而 EA-VQ-VAE 的代码开源在 github 上。今天正好通过学习代码更深层地理解一下这个模型以及基础的 VQ-VAE 模型。