博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据如何解决人工智能对文本挖掘的挑战
阅读量:6284 次
发布时间:2019-06-22

本文共 1082 字,大约阅读时间需要 3 分钟。

  自然语言处理(NLP,NaturalLanguageProcessing)是研究人与计算机交互的语言问题。从语言识别,到语义识别,从而真正做到可以交互。业界普遍认为,自然语言处理是人工智能中最难的部分,也是决定AI是否“智能”的关键因素。

  人工智能技术的发展,也可能会带来一些新挑战。

  第一个挑战:隐私保护的挑战。

  这起源于两方面:一方面,随着移动互联网发展,我们的隐私数据被记录得越来越多;另一方面,大数据厂商对一个人了解更深,都希望掌握更多信息数据。

  如何在信息使用上做到平衡,这是需要长久思考的课题。

  第二个挑战:技术失控带来的挑战。

  首先,人工智能技术跟人脑思考方式有很多不同。人脑是依赖推理和演绎的思考路径;而人工智能不一定会关心前后因果,可能更关注的是相关性。

  还有一些算法,如多层神经网络,复杂度是超过人脑理解范围。如果失控,人根本没有办法了解其内在运行机制是什么。

  其次,人工智能依赖数据。然而在数据量很大,数据是否被污染就会变得难以鉴别。

  第三个挑战:监管。监管,尤其是法律总是滞后的。

  如何让监管能够跟上技术化的脚步,这需要监管和所有从业者共同探讨。

  而对于博大精深的中文,是以“字”为单位,一个中文文本或一个汉字(含标点符号等)串可能有多个含义,相对于天然分词的英文,中文处理的难度有所提高,是自然语言理解中的主要困难和障碍。 NLPIR文本搜索与挖掘技术利用其中文文字识别技术优势,布局自然语言理解技术研发与突破,在未来将帮助更多的相关工作者或机构将平面的书本变成立体化的知识书库。

  NLPIR文本大数据搜索与挖掘平台是针对互联网内容处理的需要,融合了自然语言理解、网络搜索和文本挖掘的技术,提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成,各个中间件API可以无缝地融合到客户的各类复杂应用系统之中,专门针对原始文本集进行处理和加工的软件,用户可以使用该软件对自己的数据进行处理。

  NLPIR文本大数据搜索与挖掘平台具有如:全文精准检索、新词发现、分词标注、 统计分析与术语翻译、文本聚类及热点分析、分类过滤、正负面分析、自动摘要、文档去重等十余项功能,可以精准的分析客户行为、挖掘数据后面的内容,为企业提供精准结果,为企业的发展策略提供支持。

  从大的技术发展来看,现在无论是IT技术业、互联网业,“自然语言理解”都是最尖端的研究方向,它可以弥补人工智能发展中技术不足。

转载于:https://www.cnblogs.com/ljrj/p/7490382.html

你可能感兴趣的文章
PLM产品技术的发展趋势 来源:e-works 作者:清软英泰 党伟升 罗先海 耿坤瑛
查看>>
vue part3.3 小案例ajax (axios) 及页面异步显示
查看>>
浅谈MVC3自定义分页
查看>>
.net中ashx文件有什么用?功能有那些,一般用在什么情况下?
查看>>
select、poll、epoll之间的区别总结[整理]【转】
查看>>
CSS基础知识(上)
查看>>
PHP中常见的面试题2(附答案)
查看>>
26.Azure备份服务器(下)
查看>>
mybatis学习
查看>>
LCD的接口类型详解
查看>>
Spring Boot Unregistering JMX-exposed beans on shutdown
查看>>
poi 导入导出的api说明(大全)
查看>>
Mono for Android 优势与劣势
查看>>
将图片转成base64字符串并在JSP页面显示的Java代码
查看>>
js 面试题
查看>>
sqoop数据迁移(基于Hadoop和关系数据库服务器之间传送数据)
查看>>
腾讯云下安装 nodejs + 实现 Nginx 反向代理
查看>>
Javascript 中的 Array 操作
查看>>
java中包容易出现的错误及权限问题
查看>>
AngularJS之初级Route【一】(六)
查看>>