所有文章 > 正文

亚马逊为何是世界上销量最大的网上书店?Netflix为何五次被评为顾客最满意的网站?

作者: 学术君 学术哥

时间: 2019-01-04 12:10

AMiner明日将发布《自然语言处理与人工智能研究报告》敬请关注

自然语言处理,是指用计算机对自然语言的形、音、义等信息进行处理

即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工,实现人机间的信息交流。

它的主要目的是克服人机对话中的各种限制,使用户能用自己的语言与计算机对话。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。

自然语言的理解和分析是一个层次化的过程,许多语言学家把这一过程分为如下五个层次

在人工智能领域或者是语音信息处理领域中,学者们普遍认为采用图灵试验可以判断计算机是否理解了某种自然语言,具体的判别标准有以下四条:

随着自然语言处理研究的不断深入和发展,应用领域越来越广。

长远看来,具有篇章理解能力的自然语言理解系统可用于机器自动翻译、情报检索、自动标引及自动文摘等领域,有着广阔的应用前景。

我们选取一些自然语言处理应用较为频繁的场景进行介绍。

知识图谱

知识图谱能够描述复杂的关联关系,它的应用极为广泛。

最为人所知的就是被用在搜索引擎中丰富搜索结果,并为搜索结果提供结构化结果体现关联,这也是google提出知识图谱的初衷。

同时微软小冰、苹果siri等聊天机器人中也加入了知识图谱的应用,IBM Watson是问答系统中应用知识图谱较为典型的例子。

按照应用方式,可以将知识图谱的应用分为语义搜索、知识问答、以及基于知识的大数据分析和决策等

机器翻译

机器翻译是自然语言处理最为人知的应用场景,一般是将机器翻译作为某个应用的组成部分,例如跨语言的搜索引流等。

目前以IBM、谷歌、微软为代表的国外科研机构和企业均相继成立机器翻译团队,专门从事智能翻译研究。

尤其值得之注意的是,在“一带一路”这一发展背景下,合作沟通会涉及60多个国家、53种语言,此时机器翻译的技术应用显得尤为重要。

聊天机器人

聊天机器人是指能通过聊天app、聊天窗口或语音唤醒app进行交流的计算机程序,是被用来解决客户问题的智能数字化助手,其特点是成本低、高效且持续工作。

除此之外,聊天机器人在一些电商网站有着很实用的价值,可以充当客服角色。

通过应用智能问答系统,可以排除掉大量的用户问题,比如商品的质量投诉、商品的基本信息查询等程式化问题。

在这些特定的场景中,特别是会被问到高度可预测的问题中,利用聊天机器人可以节省大量的人工成本。

文本分类

文本分类是指根据文档的内容或者属性,将大量的文档归到一个或多个类别的过程。

这一技术的关键问题是如何构建一个分类函数或分类模型,并利用这一分类模型将未知文档映射到给定的类别空间。

按照其领域分类不同的期刊、新闻报道,甚至多文档分类也是可能的。文本分类的一个重要应用之处是垃圾电子邮件检测。

除此之外,腾讯、新浪、搜狐之类的门户网站每天产生的信息分繁杂多,依靠人工整理分类是一项耗时巨大的工作且很不现实,此时文本分类技术的应用就显得极为重要。

搜索引擎

自然语言处理技术例如词义消歧、句法分析、指代消解等技术在搜索引擎中常常被使用。

搜索引擎的职责不单单是帮助用户找到答案,还能帮助用户找到所求,连接人与实体世界的服务。

搜索引擎最基本的模式是自动化地聚合足够多的内容,对之进行解析、处理和组织,响应用户的搜索请求找到对应结果返回。

用百度举例,用户可以搜索“林青霞演过的电影”这样的复杂问题,百度也可以准确地回答。

每一个环节,都需要用到自然语言处理。

推荐系统

第一个推荐系统是1992年Goldberg提出的Tapestry,这是一个个性化邮件推荐系统,第一次提出了协同过滤的思想,利用用户的标注和行为信息对邮件进行重排序。

推荐系统依赖数据、算法、人机交互等环节的相互配合,应用了数据挖掘技术、信息检索技术以及计算统计学等技术。

使用推荐系统的目的是联系用户和信息,帮助用户发现对自己有价值的信息

同时让信息能够展示在对它感兴趣的用户面前,精准推荐,用来解决信息过载和用户无明确需求的问题。

二维码 扫码微信阅读
推荐阅读 更多