回头看,用 QA/MRC(机器阅读理解)来做各种 NLP 任务,在当年是小火过一把的——有多火,可以参考复旦邱锡鹏、黄萱菁老师团队那篇 Paradigm Shift in Natural Language Processing。但多数人,包括我,只是把这个范式套到自己关心的任务上,然后窃喜于:这么简单的配方,竟然如此有效,甚至吊打 SOTA。
反观 GPT 的作者,他们敏锐地看到:互联网数据里本就散落着大量的任务描述。于是,基于对并行计算友好的 Transformer 架构,用 next-token 预测这个最朴素的语言模型目标,暴力刷互联网数据——竟一步步做成了真正的 NLP 大一统模型,直到初步建起那座巴别塔。云泥之别。
其实,把 NLU 当作 QA 来做、把信息抽取统一成 text-to-structure(UIE),都已经露出了 LLM 的端倪。只是我们没敢再往前多想几步——差的不是技术,是想象力,和胆识。
这一点我自己尤其有体会:2020 年我带队参加第八届 CCF 大数据与计算智能大赛(BDCI),凭一套 MRC 的打法拿了三等奖和”产业应用潜力”奖(51CTO 的报道)。离那层窗户纸并不远,却终究没能捅破。