Lecture Notes: Part VII
Question Answering
CS224n 级院斯坦品的度学习与然语理方
RNN LSTM CNN
transformerbert、问答、文本语言阅读
理解等前沿内容。
笔记核心词
question answering, Dynamic Memory Networks, QA, ,
对话, 动态记忆网络, MemNN, DCN, VQA
课程部资料和扫描
获取!!
微信公众号·全套资料
回复 CS224n
底部菜单栏
Bilibili·课程视频
视频简介
置顶评论
GitHub·项目代码
阅读 ReadMe
点击超链接
1. Dynamic Memory Networks for Question
Answering over Text and Images
QA 线
()QA
QA NLP (
器人)合起来,有些 QA 系统甚至超越了文本文档的搜索,
以从一组图片中提取信息。
Factoid Question
Answering ““The
symbol for mercuric oxide is? “Which NFL team
represented the AFC at Super Bowl 50?”
型的问题,如数学问题(“2+3=?”)、逻辑问题,这些问题需要广
泛的推理(而且没有景信)。然我们可以在人们的日常
生活中,寻求信息的事实类问题回答是最常见的问题。
事实上,大多数 NLP 问题都可以看作是一个问答问题,其范
很简单:我们发出一个查询,然后机器提供一个响应。通过阅读
文档或一组指令,智能系统应该能够回答各种各样的问题。我们
POS
QA
的模型。
为了实现这一目标,我们面临两大障碍。许多 NLP 任务使用不
TreeLSTM (Tai et al., 2015)
Memory Network (Weston et al., 2015)
双向 LSTM-CRF (Huang et al., 2015)
问题是全面的多任务学习往往非常困难,迁移学习仍然是当前人
()
碍。
我们可以使NLP 的共享体系结构来解决第一个问题:动态内
(DMN) QA
QA 使
类,我们也不能在你的工作记忆中存储一个很长的文档。
Figure 1: A graphical illustration
of the Dynamic Memory Network.
【图 1:动态内存网络的图示】
1.1 Input Module
DMN
单词序
T
I
作为输入,输出事实表示序
T
C
。如果输出是一个
单词表,们有
T
C
=T
I
。如输出一个列表我们
T
C
作为子的量, T
I
作为子中单词我们使用一
GRU
t
=
GRU x
t
,
t−1
,其x
t
=L w
t
L
为嵌w
t
t
单词,我们使Bi-GRU 进一步改进,如下图所示。
1.2 Question Module
使 GRU (使
L:q
t
=
GRU L w
t
Q
,q
t−1
),但是问题模块的输出是问题的编码表示。
1.3 Episodic Memory Module
动态记忆网络的一个显著特征是情景记忆模块,它在输入序列上
运行,每注输的不子集使Bi-GRU
Bi-GRU
入,并生成情景记忆表示。
景记征表
m
i
()
e
i
使
m
0
=q
使
GRU:
m
i
=GRU
e
i
,m
i−1
。使输入藏状
新情景表征,如下所示,其
g
是注意机制
=
GRU
,
−1
+ 1
−1
=
C
g
DMN
(Kumar et al. 2016)中,我们发现以下公式是最有效
=
,
−1
,
(,,)=
(2)
tanh
(1)
(,,)+
(1)
+
(2)
(,,)=
,,,,,||,||,
()
,
()
活。 i不足 i+
1
“Where is the
football?”“John kicked the football”“John
was in the eld”这个子中John football 可以在一
pass 中连 John field 可以 pass
连接,这样网络就可以根据这两个信息进行传递推断。
Figure 2: A graphical illustration
of the Dynamic Memory Network.
【图 2:动态内存网络的图示】
=
softmax
()
=GRU
−1
,
,
−1
1.4 Answer Module
GRU
记忆模块输出,并出一个单(通常是一计算结果)
其工作原理如:
1.5 Experiments
DMN babl
MemNN在情绪分析和词性标注方面也优于他体系结构。情
多。多次传递还可以让网络真正理解句子,只关注最后一项任务
的相关部分,而不是只对单词嵌入的信息做出反应
关键思想是模块化系统,您可以通过更改输入模块来允许不同类
型的输入。例如,如果我们用一个基于卷积神经网络的模块替换
(VQA)的任务。它也能够在这项任务中胜过其他模型
1.6 Summary
2015
情略有减退,但在一个领域进行训练并推广到其他领域的愿望有
所增强。要理解更高级的问答模块,读者可以参考动态注意力网
(DCN)
CS224n | Natural Language Processing with Deep Learning Stanford University
Lecture Notes: Part VII - Question Answering
机器学习
深度学习
自然语言处
计算机视觉
知识图谱
Machine Learning
Deep Learning
Natural Language Processing
Computer Vision
Knowledge Graphs
Stanford · CS229
Stanford · CS230
Stanford · CS224n
Stanford · CS231n
Stanford · CS520
# 系列内容 Awesome AI Courses Notes Cheatsheets
图机器学习
深度强化学
自动驾驶
Machine Learning with Graphs
Deep Reinforcement Learning
Deep Learning for Self-Driving Cars
Stanford · CS224W
UCBerkeley · CS285
MIT · 6.S094
...
...
...
ShowMeAI 的分盖最TOP20+AI 旨在习者
高品质中文学习笔记和速查表。
斯坦(Stanford University) Natural Language Processing with Deep Learning (CS224n) 课程,是
系列的第三门产出。
课程版本 2019 Winter心深内容(transformerbert、问摘要、文生成)当前(2021 )
业界和研究界依旧是前沿的方法。最新版课程的笔记生产已在规划中,也敬请期待
笔记内容经由深度加工整合,以 5 个部分构建起完整的CS224n 内容世界”,并依 GitHub 创建了汇
页。快扫描二维码,跳转进入吧!有任何建议和反馈,也欢迎通过下方渠道和我们联络 (*3)