首页 首页 大数据 查看内容

文本挖掘抢占商业智能掘金制高点

木马童年 2019-5-27 15:05 43 0

某业内人士对商业智能在现代社会的重要性曾做过如下比喻,《世说新语》中讲: “盲人骑瞎马,夜半临深池。” 这短短十个字隐藏了四个危险:由无知的经理人来经营企业,就如同“盲人骑马”,这是第一个危险;依赖无知 ...

某业内人士对商业智能在现代社会的重要性曾做过如下比喻,《世说新语》中讲: “盲人骑瞎马,夜半临深池。” 这短短十个字隐藏了四个危险:由无知的经理人来经营企业,就如同“盲人骑马”,这是第一个危险;依赖无知的员工,就如同“骑瞎马”,这是第二个危险;参与激烈的市场竞争,就如同“临深池”,这是第三个危险;在全球经济不景气的时候参与激烈的市场竞争,就如同“夜半临深池”,这是第四个危险。所以“无知”,已成为企业最大的威胁。

互联网时代,网络中充斥着海量信息,企业需要对它们进行合理及有效地利用,从而帮助企业在业务管理及发展上做出及时、正确的判断,然后采取明智的行动,做到在竞争中占据主动权。互联网上流传着这样一个“尿布和啤酒”的经典故事:美国一家大型超市利用数据挖掘技术来分析他们的销售纪录,发现尿布和啤酒的销售量之间存在相当大的关联性。经过进一步的调查,找到了产生这个现象的原因,在美国负责为孩子购买尿布的年轻父亲们,很多时候会顺带给自己买些啤酒,于是超市采取措施将尿布和啤酒放在一起,结果两种产品的销售量都得到了增长。由此可见,数据爆炸时代,“商业智能”(BI)能够摒弃企业的无知,为企业发展创造出巨大的价值。

另外,我们也应了解在信息社会,信息并不是单一的,而是分为两大类:一类信息为结构化数据,如数字、符号;而另一类信息无法用数字或统一的结构表示,我们称之为非结构化数据。目前,随着网络技术的发展,特别是Internet和Intranet技术的飞快发展,非结构化数据的数量日趋增大。据统计,现今企业中80%的数据是以非结构化的形式存在,如WEB页面、技术文档、电子邮件等。因此,商业智能除了要面对结构化数据外,更多时候是需要处理无序的非结构化数据。于是,一个从非结构化文本信息中获取用户感兴趣或有用信息的技术——“文本挖掘技术”发展起来,人们常说的文本驱动的商业智能,就是指的文本挖掘技术。

文本挖掘是数据挖掘技术的分支,它能够使人们从大量冗余的信息中迅速发现对自己有用的信息,并在一定程度上揭示信息与信息之间的关联。有人说文本挖掘是互联网时代,继门户、搜索引擎和Web2.0之后最重要的技术之一,纽约时报甚至称它为Web3.0。

文本挖掘作为人们挑战信息爆炸式增长与信息有效利用之间矛盾的重要武器,受到世界的广泛认可,目前国际上许多企业都在进行文本挖掘技术的研究,并取得一定成绩。但在我国,文本挖掘技术发展历史比较短。某一业内人士说:“虽然我国文本挖掘技术的发展研究还处于初级阶段,但想把国外的文本挖掘技术直接在我国进行利用,可以说是一件比较困难的事情,因为中文与西方文字是不同。如我要搜索‘可乐’一词,国外的技术可能会把‘太可乐了’等众多不相关词语搜索出来。”

比较而言,国内本土的软件企业在发展文本挖掘技术上却具有先天优势,如在中文分词,习惯用语理解等方面。另外,做好中文文本挖掘技术还需要超越绝大多数现有搜索引擎所采用的单纯基于特定关键字的查找匹配方式,而要在一定程度上去实现基于语义的搜索,即无论文中出现的是“笔记本”,“本本”,还是“laptop”,当我们在查找“笔记本”时,这篇文章都应该作为结果返回。但满足以上要求并不是容易的事情,它需要在数据库和信息检索技术等方面具有长期的积累、也需要算法的高效,系统的稳定和可扩展性。

据了解,在数量众多的拥有文本挖掘技术的厂商中,北京拓尔思(TRS)信息技术股份有限公司是国内第一家拥有真正实用化文本挖掘产品的企业。TRS文本挖掘技术有效结合自然语言处理技术、统计分析和机器学习技术及语言知识库,实现了中文文本挖掘技术的商业化应用,并在外交部、新华社、宝钢等多家政府、媒体和企业项目中经受住了海量信息和复杂环境的考验。

根据2007-2008中国商业智能市场发展报告统计:从全球范围来看,商业智能已经成为最具有前景的信息化领域;从国内来看,商业智能是企业信息化中最重要的组成部分。但在我国,文本挖掘毕竟是一门新兴的前沿技术,还有诸多问题等待研究、解决,同时也需要对人才进行储备。为了推动文本挖掘技术整体水平向前发展;寻找、发现、选拔更多的高知识型专业挖掘技术人才投入到文本挖掘事业中来,为文本挖掘技术的前进提供有力的后续保障,“数据挖掘研究院”联手TRS公司共同举办了“2008 TRS杯中国首届文本挖掘智能大赛”。

商业智能提升了企业对市场的洞察力,文本挖掘成就了商业智能在互联时代的重要作用。不难想象,随着社会经济的快速发展,文本挖掘技术的应用将越来越广泛,商业智能也必将成为企业在竞争中克敌制胜的有效武器之一。这里,笔者衷心祝愿大赛的举办取得圆满成功,同时也希望此赛事能真正为致力于文本挖掘事业的人们搭起一座沟通的桥梁和相互学习的园地,让中文文本挖掘技术取得更快的进步。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

商业智能 互联网 海量信息 数据挖掘 结构化数据 非结构化数据
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...