题目：

XLNet and Beyond

摘要：

我们提出XLNet，一个广义自回归预训练方法，（1）通过在分解次序的所有排列上最大化期望的可能性，使得学习双向上下文，并且（2）由于其自回归公式克服了伯特的限制。从经验来看，XLNet在20项任务上的表现都优于BERT，而且往往有很大的差距。此外，我们还将讨论类似XLNet的方法在实际应用中实现NLP工业化的重要性。

个人简介：

杨植麟，循环智能（Recurrent AI）的联合创始人。曾效力于Facebook AI Research和Google Brain，与多名图灵奖得主合作发表论文，其研究成果在三十余项标准任务取得state-of-the-art，是XLNet第一作者。本科毕业于清华大学，博士毕业于卡内基梅隆大学。