Task embeddings are low-dimensional representations that are trained to capture task properties. In this paper, we propose MetaEval, a collection of $101$ NLP tasks. We fit a single transformer to all MetaEval tasks jointly while conditioning it on learned embeddings. The resulting task embeddings enable a novel analysis of the space of tasks. We then show that task aspects can be mapped to task embeddings for new tasks without using any annotated examples. Predicted embeddings can modulate the encoder for zero-shot inference and outperform a zero-shot baseline on GLUE tasks. The provided multitask setup can function as a benchmark for future transfer learning research.

翻译：任务嵌入是低维的表达式, 是用来捕捉任务属性的训练。 在本文中, 我们提议 MetaEval, 收集 101$ NLP 的任务。 我们将一个单一的变压器配置到所有 MetaEval 的任务中, 并同时以学习嵌入为条件。 由此产生的任务嵌入可以对任务空间进行新的分析 。 然后我们显示, 任务方面可以在不使用任何附加示例的情况下被映射到新任务中的任务嵌入任务中 。 预测嵌入可以调节零射引文的编码器, 并超越 GLUE 任务的零光基线 。 提供的多任务设置可以作为未来转移学习研究的基准 。