Google和Microsoft的自然语言理解列表超越了人类的表现

最近，科技公司Google和Microsoft在权威的自然语言理解列表中已经超越了人类的表现。微软声称这“标志着迈向通用人工智能的重要里程碑”。
自然语言理解（NaturalLanguage谅解，称为NLU）任务是人工智能领域中的悠久历史，并且被称为“人工智能皇冠上的宝石”。由于自然语言本身存在歧义，因此很难获得高质量的自然语言理解。
为了衡量人工智能模型的自然语言理解能力，纽约大学，华盛顿大学，Facebook和DeepMind在2019年合作提出了一项人工智能基准，称为SuperGLUE。 SuperGLUE从2018年的GLUE演变而来，其语言理解任务更加困难，包括问题回答，自然语言推理，参考解析和单词义消歧等。
在最近更新的SuperGLUE列表中，Microsoft的DeBERTa模型和Google＃ 39;的T5 + Meena模型排名第一和第二，超过了人类基线。这是SuperGLUE中人工智能第一次超越人类。
尽管在SuperGLUE测试中获得了令人满意的结果，但Microsoft承认DeBERTa模型尚未达到人类对自然语言的理解水平。人类非常善于运用从不同任务中学到的知识来解决新任务。
这是AI模型需要学习的地方。排名第一的Microsoft型号DeBERTa具有15亿个参数。
在SuperGLUE测试中，单个DeBERTa模型的宏观平均得分（89.9分）超过了人类的表现（89.8分）；该模型的总体得分（90.3分）也超过了人类基线（89.8分），在SuperGLUE中排名第一。排名第二的T5 + Meena模型得分为90.2，也超过了人类基线（89.8分）。
在SuperGLUE测试中，要求人工智能模型回答这样的问题：“已知这个孩子对疾病具有免疫力”。并询问“是什么原因造成的？”请选择：A.“他避免接触这种疾病”；或B.“他已经接种了这种疾病的疫苗”。
这是一个简单的因果推理任务，人类很容易选择正确的答案。但是对于人工智能模型来说，这并不是一个小挑战。
为了得出正确的答案，模型需要了解已知条件和期权之间的因果关系。