Amazon Alexa AI 的一项新研究认为,当前的自然语言理解(NLU)方法与人类理解语言的方式相去甚远,并追问:能否借助迁移学习,又快又好地把所有 NLU 问题都映射为问答(QA)问题。
迁移学习是一种机器学习方法,用于把从源领域学到的知识应用到目标领域。它在自然语言处理(NLP)中取得了显著的成果,尤其是把知识从数据丰富的领域迁移到数据匮乏的领域时。Amazon 的研究者聚焦于一种特定类型的迁移学习——先把目标领域映射到源领域。

这里的 NLU 指的是在自然语言表述中确定意图以及槽位或实体值。所提出的 “QANLU” 方法基于 NLU 标注数据,构建用于槽位和意图检测的问题与答案。QA 模型先在 QA 语料上训练,再在由 NLU 标注数据生成的问题和答案上微调。借助迁移学习,这种基于上下文的问答知识随后即可用于在文本输入中寻找意图或槽位值。
与以往方法不同,QANLU 关注低资源应用,不需要设计和训练新的模型架构,也不需要大量的数据预处理。这使它能够以少一个数量级的数据在槽位和意图检测上取得出色的结果。

研究者在 ATIS 和 Restaurants-8k 数据集上进行了实验:在低数据和少样本设定下,QANLU 在意图和槽位检测任务上显著优于句子分类和词元标注方法,同时在 NLU 上也超越了新的 IC/SF 少样本方法的表现。
研究者表示,未来的方向可能包括:突破这一配置、拓展到不同的 NLP 问题,衡量知识在不同 NLP 任务之间的迁移,以及研究如何根据上下文自动生成 QANLU 的问题。
论文 Language Model Is All You Need: Natural Language Understanding as Question Answering 发表于 arXiv。