浅析网络信息挖掘技术及应用

张拥军

(湖南城建职业技术学院,湖南湘潭411103)

[摘要]论述了网络信息技术挖掘的概念、实现以及类型,概述了网络信息挖掘技术的应用领域,并重点阐明了网络信息挖掘技术在电子

商务中的应用,最后指出了网络信息挖掘应用现状和未来的研究方向。

[关键词]网络信息挖掘;数据挖掘;电子商务1网络信息挖掘的概念、类型1.1网络信息挖掘概述

网络信息挖掘不同于传统的数据仓库技术平和简单的知识发现,它面对的海量信息常常为半结构化的数据,如文本、图形、图像数据,甚至是异构型数据。网络信息挖掘就是利用数据挖掘技术,自动地从网络文档以及服务中发现和抽取信息的过程。信息挖掘有别于传统的信息检索,能够在异构数据组成的信息库中,从概念及相关因素的延伸比较上找出用户需要的深层次的信息。

1.2网络信息挖掘的分类

根据挖掘的对象不同,网络信息挖掘可以分为网络内容挖掘、网络结构挖掘和网络用法挖掘。

1)网络内容挖掘,即从网络的内容/数据/文档中发现有用信息

的过程。网络信息资源类型众多,从网络信息源的角度看,大量的网络信息资源可以直接从网上抓取、建立索引、实现检索服务,但是还有一些网络信息是“隐藏”的,无法被索引,从而无法提供对它们有效的检索方式;从资源形式看,网络信息内容是由文本、图像、音频、视频、等形式的数据组成的,因此网络内容挖掘是一种多媒体数据挖掘形式。

2)网络结构挖掘,即挖掘Web潜在的链接结构模式。这种思想

源于引文分析,即通过分析一个网页链接和被链接数量以及对象来建立

Web自身的链接结构模式,可用于网页归类,并且可由此获得有关不

同网页间相似度及关联度信息,有助于用户找到相关主题的权威站点。

3)网络用法挖掘。通过网络用法挖掘,可以了解用户的网络行为

数据所具有的意义。网络内容结构挖掘的对象是网上原始数据,而网络用法挖掘则面对的是在用户和网络交互过程中抽取出来的第二手数据。

2网络信息挖掘的应用领域

网络信息挖掘在实际工作中可以应用在电子商务、科学研究、市场营销、金融投资、产品制造、教学管理及网络管理方面。

网络信息挖掘在电子商务中的应用主要是了解客户,针对不同客户提供不同的产品,提供个性化服务,确定顾客消费的生命周期,制定相应的营销策略,分析潜在的目标市场,优化电子商务网站的经营模式。网络信息在电子政务中主要用于民情信息的挖掘分析,为重大出台提供决策支持,通过对网络各种经济资源的挖掘,确定未来经济走势,从而制定出相应的,这样可较大程度地提高信息化水平。

3网络信息挖掘在电子商务中的应用3.1电子商务中网络信息挖掘的主要方式3.1.1数据抽取

网络信息挖掘的任务之一,就是从零散、无规则的数据中寻找有用、规则的数据,其基本方法就是数据抽取。数据抽取是从数据泛化的角度来进行数据总结。数据泛化是把最原始、最基本的数据从低层次抽象到高层次的过程,可采用数据分析方法和面向属性的归类方法分析。

3.1.2聚类分析

聚类技术可以将具有相同特征的数据项聚成一类,即从网络信息数据中聚集出具有相似特性的客户、数据项集。在电子商务活动中,聚类分析技术可以分组聚类出具有相似浏览行为的客户,并分析客户的共同特征,更好地帮助电子商务的用户了解自己的客户,向客户提供更合适、更面向客户的服务。

3.1.3关联规则发现

用于从用户访问序列数据库的序列项中挖掘出相关的规则,主要对

2008年2月(下)

象是事务型数据。有关部门可收集大量的售货数据和客户资料,对这些历史事务数据进行分析并发现关联规则,后对客户的购买行为提供有价值的信息,帮助电子商务用户规划市场,确定商品种类、价格、质量等。

3.1.4分类发现

分类的目的是使用一个分类函数或分类模型。分类发现一方面可以挖掘网络数据信息某些共同的特性,根据这个特性对新添到数据库里的数据项进行分类。另一方面,还可以从个人信息或共同的访问模式中得出访问某一个服务器文件的客户特征。

3.1.5序列模式发现

序列模式分析的侧重点在于分析数据间的前后或因果关系,挖掘出交易集之间的有时间序列的模式。在电子商务活动中,网站服务器日志中客户的访问是以一段时间为单位记载的,经过数据净化和事件交易确认后是一个间断的时间序列,其反映的客户行为有助于帮助商家印证产品所处的生命周期阶段;另外挖掘出来的一些暂时性的序列模式,可以分析企业战略实施或产品促销的效果。

3.2电子商务中网络信息挖掘的流程

在电子商务活动中,对在线访问客户数据的挖掘主要有两部分:一部分是客户访问信息的挖掘,另一部分是客户登记信息的挖掘。面对大量的访问日志信息,需要组合应用计算机并行处理、神经元网络、模型化算法和其他信息处理技术手段,进行分析加工,从中得到商家用于特定消费群体或个体进行定向营销的决策信息。同时有效地对这些日志进行定量分析揭示其中的关联关系、时序关系、页面类属关系、频繁访问页面等,不但可为优化网络站点拓扑结构提供参考,而且还可为商家更有效地确认目标市场、改进决策获得更大的竞争优势提供帮助。

3.3网络信息挖掘在电子商务中的应用

通过内容挖掘,可进行电子商务海量信息采集,通过使用记录挖掘,可辅助商家理解客户行为,识别电子商务的潜在客户,从而改进站点结构,调整销售策略,提供个性化服务。网络信息挖掘在电子商务中主要有以下几个方面的应用。

3.3.1挖掘客户资源

在对客户访问记录的挖掘中,利用分类技术可以在网络上寻找潜在客户。对于新来访者,通过分类发现,识别出该客户与已经分类的老客户的一些公共属性,从而对其进行正确分类,然后根据归类判断,决定将其作为潜在客户对待。通过网络信息挖掘,可以掌握客户的忠诚度,以便对其进行个性化营销,挽留老客户。

3.3.2提供个性化服务

商家必须记录访问者的特征及条款特征,才能使网络信息挖掘技术得到更好的应用。访问者特征包括人口统计特征、心理特征和技术特征等,条款特征包括网络内容信息和产品信息等。当访问者访问电子商务网站时,有关访问者的数据便会逐渐累积起来,商家在对网络信息进行挖掘之后获知访问的个人爱好,更加充分地了解客户的需要,根据个细分市场,甚至是每一个客户的独特需求提供个性化服务。

3.3.3改进站点设计

对站点链接结构的优化可以从两个方面考虑:一是通过对网络日志的挖掘,发现客户访问页面的相关性,在密切联系的网页之间增加链接,方便客户使用;二是通过网络日志的挖掘,发现客户的期望页面。若在期望页面的访问频率高于实际页面的访问频率,可考虑在期望页面和实际页面之间建立链接,实现站点优化。