会员服务
人工智能 · 基准测试 ·
2020 年 12 月 20 日
【Facebook】人工智能基准(Benchmarking)测试再思考，55页ppt
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

当前人工智能中的基准测试范式存在许多问题:基准很快饱和，容易过度拟合，包含可利用的注释器工件，评估指标不清晰或不完善，并且不能衡量我们真正关心的东西。我将谈谈我在尝试重新思考我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作，包括对抗性的NLI和模因数据集，以及最近推出的Dynabench平台。

https://nlp.stanford.edu/seminar/details/douwekiela.shtml

成为VIP会员查看完整内容
https://nlp.stanford.edu/seminar/details/douwekiela.shtml
【55页ppt】Rethinking Benchmarking in AI
31

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。
【Yoshua Bengio】因果表示学习，附视频与72页ppt
【Yoshua Bengio】因果表示学习，附视频与72页ppt
专知会员服务
76+阅读 · 2021年1月7日
【Facebook AI】无监督机器翻译，336页ppt，Unsupervised Machine Translation
专知会员服务
19+阅读 · 2020年11月17日
GANs最新进展，30页ppt，GANs: the story so far
GANs最新进展，30页ppt，GANs: the story so far
专知会员服务
43+阅读 · 2020年8月2日
少标签数据学习，54页ppt
少标签数据学习，54页ppt
专知会员服务
205+阅读 · 2020年5月22日
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
专知会员服务
11+阅读 · 2019年11月2日
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
专知
14+阅读 · 2019年4月8日
阿里巴巴ET城市大脑
阿里巴巴ET城市大脑
智能交通技术
6+阅读 · 2018年12月23日
自然语言处理(NLP)前沿进展报告（PPT下载）
自然语言处理(NLP)前沿进展报告（PPT下载）
专知
23+阅读 · 2018年9月29日
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
论智
4+阅读 · 2018年8月24日
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
专知
21+阅读 · 2018年8月8日
CoDEx: A Comprehensive Knowledge Graph Completion Benchmark
Arxiv
10+阅读 · 2020年10月6日
Consensus-Aware Visual-Semantic Embedding for Image-Text Matching
Arxiv
4+阅读 · 2020年7月17日
Adversarial NLI: A New Benchmark for Natural Language Understanding
Arxiv
4+阅读 · 2019年10月31日
DyKgChat: Benchmarking Dialogue Generation Grounding on Dynamic Knowledge Graphs
Arxiv
3+阅读 · 2019年10月1日
TBD: Benchmarking and Analyzing Deep Neural Network Training
Arxiv
3+阅读 · 2018年3月16日
VIP会员
相关主题
人工智能
基准测试
相关VIP内容
【Yoshua Bengio】因果表示学习，附视频与72页ppt
【Yoshua Bengio】因果表示学习，附视频与72页ppt
专知会员服务
76+阅读 · 2021年1月7日
【Facebook AI】无监督机器翻译，336页ppt，Unsupervised Machine Translation
专知会员服务
19+阅读 · 2020年11月17日
GANs最新进展，30页ppt，GANs: the story so far
GANs最新进展，30页ppt，GANs: the story so far
专知会员服务
43+阅读 · 2020年8月2日
少标签数据学习，54页ppt
少标签数据学习，54页ppt
专知会员服务
205+阅读 · 2020年5月22日
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
【Facebook AI】对抗性NLI:自然语言理解的新基准，Adversarial NLI: A New Benchmark for Natural Language Understanding
专知会员服务
11+阅读 · 2019年11月2日
热门VIP内容
相关资讯
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
斯坦福NLP组最新报告：自然语言处理中的学习挑战（附149页报告全文下载）
专知
14+阅读 · 2019年4月8日
阿里巴巴ET城市大脑
阿里巴巴ET城市大脑
智能交通技术
6+阅读 · 2018年12月23日
自然语言处理(NLP)前沿进展报告（PPT下载）
自然语言处理(NLP)前沿进展报告（PPT下载）
专知
23+阅读 · 2018年9月29日
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
NAACL研讨会深思：NLP泛化模型背后的虚假和脆弱
论智
4+阅读 · 2018年8月24日
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
【教程】188页PPT帮你理解深度学习在智能对话系统中应用
专知
21+阅读 · 2018年8月8日
相关论文
CoDEx: A Comprehensive Knowledge Graph Completion Benchmark
Arxiv
10+阅读 · 2020年10月6日
Consensus-Aware Visual-Semantic Embedding for Image-Text Matching
Arxiv
4+阅读 · 2020年7月17日
Adversarial NLI: A New Benchmark for Natural Language Understanding
Arxiv
4+阅读 · 2019年10月31日
DyKgChat: Benchmarking Dialogue Generation Grounding on Dynamic Knowledge Graphs
Arxiv
3+阅读 · 2019年10月1日
TBD: Benchmarking and Analyzing Deep Neural Network Training
Arxiv
3+阅读 · 2018年3月16日
微信扫码咨询专知VIP会员
Top