中国商融网_最专业的商业资讯平台

百度击败微软与Google AI自然语言理解摘冠

2020-03-29 07:52:18 来源:互联网 阅读:-

作者:DIGITIMES陈宜君

凭借中、英文之间的语言差异,国内搜寻引擎巨擘百度在一项人工智能(AI)自然语言处理竞赛中,击败微软(Microsoft)和全球搜寻引擎龙头Google,夺得冠军。

在自然语言理解的通用语言理解评估(General Language Understanding Evaluation;GLUE)基准与分析平台上,百度的ERNIE模型获得最高的90.1分,超越微软的89.9分和Google的89.7分。

ERNIE模型最初是为理解中文语言而开发,不过百度研究人员很快就发现此模型也能更正确理解英语。

ERNIE是受Google用来训练AI理解人类语言的BERT模型启发而来。BERT是一种屏蔽式语言模型,会在给定的每份文本中遮隐15%的单词,然后尝试根据上下文进行预测。

不过许多汉字唯有与其他汉字组合在一起时,才会有明确的内在含意,这是中、英文的一项重要语言差异。百度团队必须训练其AI模型理解如何先隐藏一串有意义的汉字,再预测这些被遮隐的内容。

百度团队在其原始码代管平台Github页面上说明ERNIE所采用的技术时,以哈利波特(Harry Potter)是英国小说家罗琳(J. K. Rowling)所写的系列奇幻小说,作为说明范例。

该说明指出,BERT模型能透过文本中同时出现的J、K和Rowling等单词,确定K在这份文本中所代表的意思,却无法学习和J. K. Rowling有关的任何知识;ERNIE则能透过分析单词和实体所隐藏的知识,推论Harry Potter和J. K. Rowling之间的关系,进而推论Harry Potter是J. K. Rowling所写的小说。

随着百度算法开始能理解有意义的单词,不再只是识别单一汉字后,ERNIE模型在中、英文理解上都有更好的表现。此后百度就将ERNIE应用于实际生活中,利用此AI模型提供更好的搜寻结果。人工智能促进协会(Association for the Advancement of Artificial Intelligence)曾在2019年2月的年会中,接受一篇以ERNIE模型为主题的报告在会上发表。

自Google在2010年退出国内后,国内搜寻引擎市场一直由百度独霸,囊括70%的市占率。不过网际网络使用模式的改变,让百度的优势开始松动。包括腾讯微信在内的自成一体超级应用程序(App)生态体系在中国崛起,意味民众观赏影片、阅读新闻、在在线购物或下单美食外送时,都不必再仰赖传统搜寻引擎。

此外,因短片App抖音风靡全球而崛起的字节跳动公司在2019年推出头条搜索,在国内搜寻引擎市场掀起新一波竞争。字节跳动声称,正在打造一个通用搜寻引擎,以提供更理想的用户体验。