2007年12月


数据挖掘的背景知识

  • 作者:赵敏  来源:爱诺为   参与评论
  •  
  • 什么是数据挖掘?
    数据挖掘能做什么?
    数据挖掘的商业背景
    数据挖掘的技术背景
    数据挖掘的社会背景  

    0.什么是数据挖掘?

    数据挖掘是从大量的数据中,抽取出潜在的、有价值的知识(模型或规则)的过程。 


    数据挖掘能做什么?

    1)数据挖掘能做以下六种不同事情(分析方法):


    分类 (Classification)


    估值(Estimation)


    预言(Prediction)


    相关性分组或关联规则(Affinity grouping or association rules)


    聚集(Clustering)


    描述和可视化(Description and Visualization)

     

    2)数据挖掘分类

    以上六种数据挖掘的分析方法可以分为两类:直接数据挖掘;间接数据挖掘


    直接数据挖掘

    目标是利用可用的数据建立一个模型,这个模型对剩余的数据,对一个特定的变量(可以理解成数据库中表的属性,即列)进行描述。


    间接数据挖掘

    目标中没有选出某一具体的变量,用模型进行描述;而是在所有的变量中建立起某种关系。


    分类、估值、预言属于直接数据挖掘;后三种属于间接数据挖掘

     

    3)各种分析方法的简介


    分类 (Classification)

    首先从数据中选出已经分好类的训练集,在该训练集上运用数据挖掘分类的技术,建立分类模型,对于没有分类的数据进行分类。

    例子:

    a. 信用卡申请者,分类为低、中、高风险

    b. 分配客户到预先定义的客户分片

    注意: 类的个数是确定的,预先定义好的

     


    估值(Estimation)

    估值与分类类似,不同之处在于,分类描述的是离散型变量的输出,而估值处理连续值的输出;分类的类别是确定数目的,估值的量是不确定的。

    例子:

    a. 根据购买模式,估计一个家庭的孩子个数

    b. 根据购买模式,估计一个家庭的收入

    c. 估计real estate的价值

    一般来说,估值可以作为分类的前一步工作。给定一些输入数据,通过估值,得到未知的连续变量的值,然后,根据预先设定的阈值,进行分类。例如:银行对家庭贷款业务,运用估值,给各个客户记分(Score 0~1)。然后,根据阈值,将贷款级别分类。

     


    预言(Prediction)

    通常,预言是通过分类或估值起作用的,也就是说,通过分类或估值得出模型,该模型用于对未知变量的预言。从这种意义上说,预言其实没有必要分为一个单独的类。

    预言其目的是对未来未知变量的预测,这种预测是需要时间来验证的,即必须经过一定时间后,才知道预言准确性是多少。

     


    相关性分组或关联规则(Affinity grouping or association rules)

    决定哪些事情将一起发生。

    例子:

    a. 超市中客户在购买A的同时,经常会购买B,即A => B(关联规则)

    b. 客户在购买A后,隔一段时间,会购买B (序列分析)

     


    聚集(Clustering)

    聚集是对记录分组,把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类,不需要训练集。

    例子:

    a. 一些特定症状的聚集可能预示了一个特定的疾病

    b. 租VCD类型不相似的客户聚集,可能暗示成员属于不同的亚文化群

    聚集通常作为数据挖掘的第一步。例如,“哪一种类的促销对客户响应最好?”,对于这一类问题,首先对整个客户做聚集,将客户分组在各自的聚集里,然后对每个不同的聚集,回答问题,可能效果更好。

     


    描述和可视化(Description and Visualization)

    是对数据挖掘结果的表示方式。

     

    2.数据挖掘的商业背景

    数据挖掘首先是需要商业环境中收集了大量的数据,然后要求挖掘的知识是有价值的。有价值对商业而言,不外乎三种情况:降低开销;提高收入;增加股票价格。

    1)数据挖掘作为研究工具 (Research)

    2)数据挖掘提高过程控制(Process Improvement)

    3)数据挖掘作为市场营销工具(Marketing)

    4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management)

     

    3.数据挖掘的技术背景

    1)数据挖掘技术包括三个主要部分:算法和技术;数据;建模能力

    2)数据挖掘和机器学习(Machine Learning)


    机器学习是计算机科学和人工智能AI发展的产物


    机器学习分为两种学习方式:自组织学习(如神经网络);从例子中归纳出规则(如决策树)


    数据挖掘由来

    数据挖掘是八十年代,投资AI研究项目失败后,AI转入实际应用时提出的。它是一个新兴的,面向商业应用的AI研究。选择数据挖掘这一术语,表明了与统计、精算、长期从事预言模型的经济学家之间没有技术的重叠。

    3)数据挖掘和统计

    统计也开始支持数据挖掘。统计本包括预言算法(回归)、抽样、基于经验的设计等

    4)数据挖掘和决策支持系统


    数据仓库


    OLAP(联机分析处理)、Data Mart(数据集市)、多维数据库


    决策支持工具融合

    将数据仓库、OLAP,数据挖掘融合在一起,构成企业决策分析环境。

     

    4. 数据挖掘的社会背景

    数据挖掘与个人预言:数据挖掘号称能通过历史数据的分析,预测客户的行为,而事实上,客户自己可能都不明确自己下一步要作什么。所以,数据挖掘的结果,没有人们想象中神秘,它不可能是完全正确的。

    客户的行为是与社会环境相关连的,所以数据挖掘本身也受社会背景的影响。比如说,在美国对银行信用卡客户信用评级的模型运行得非常成功,但是,它可能不适合中国。



  • delicious被雅虎收购了,目前它已经是全球最大的社会书签网站。对它的讨论可以说说连篇累牍,各有各的看法,我的看法来自于它与情报学以及信息资源管理的关系

    它们有关系吗?当然有,下面我一条条说来

    书签我们经常用,最长用的就是一个小卡片用于放在书中某两页之间,用于记忆下次阅读的开始。在互联网上,我们主要使用IE收藏夹来保存好网址,以方便下次打开这个网站,但是这个功能以前都是单机,也就是说,每个人都有自己的收藏网站,但不能共享。这显然不符合人们的要求。

    后来,1999年,碧海银沙就提供了一个网上收藏夹,你可以把自己的网址放到网上,以方便你在非个人电脑上使用,例如办公室和家庭都可以使用。当时那个程序我也使用过,也有共享功能,但没有Tag功能,主要依靠分类在组织信息。

    delicious出现时它的创新在于使用tag,增加了好友这些社会性网络功能。这些功能给它带来了非同一般的欢迎,因为这些功能代表了web2.0这个新一代的网络构建模式。

    如果把普通的分布式的网页看作情报学中的一次信息(也有简单的标引,如网页的Meta等元数据) ,那delicious就类似于二次信息,它是网络经过分类和标引过的二次组织,从这一点看似乎没有特殊价值和新意,事实上图书馆一直都在做这种二次组织的事情,例如各种门户。

    那delicious的新意在那里呢?

    1、用户的组织而非专家组织,图书馆建设的学科门户都是专家组织的web1.0模式,而delicious是完全由用户自组织的web2.0模式,所有内容都是以用户为中心,而非以资源为中心,这是最大的差别。

    2、使用了tag和Folksonomy,上一讲已经说过,这里不再罗嗦。

    这种组织信息的方法也是以用户为中心的方法,不同与专家使用的学科分类和主题分类。

    3、私有与共享的平衡。delicious的成功很大程度上也归功于它的共享功能,如果它只有私有功能,也就是用户无法共享自己的资源,它肯定不能获得现在的地位。delicious类似于一个开放的系统,投入的是新的网络资源,输出的也是网络资源。用户使用它的原因在于,自己的资源和Tag就像一个种子一样,放进去后可以收获更多的种子。这和P2P网络一样,在一个社区内进行知识和信息的共享可以快速引爆“流行”,Myspace的发展一样的道理。

    以上说得是delicisous的新意和价值所在,下面说说它在信息资源组织思想上的意义:

    1、以用户为中心。说着容易,做着难,至少目前所有图书馆还是专家组织下的以资源科学性为中心。

    以用户为中心会导致个性化,以资源为中心需要系统化,它们是有矛盾的,如何平衡这个矛盾,我们也许可以向delicious学习。

    2、世界是平面的和网络化的。《世界是平的》是目前一本很火爆的图书,用它来比喻信息世界和信息空间似乎也适用。知识表示研究的本体、语义网和概念地图都揭示语意之间是网络关系而非等级关系,以往我们人为的把这个信息空间搞成了等级世界,现在看来我们也许需要改变下观点了。

    在用户大脑中,并没有什么严格的概念体系,只有概念关系,delicious很好的展现了这个事实,同时也满足了用户记忆的需要,所以它的tag用起来很方便,它们之间的网络关系总能给你惊喜。




    写了半天,感觉写的最好的一篇博文,因为写的时间太长,导致发帖时需要重新登陆,而丢失了,痛心不已。

    了做回顾,记以重点之笔吧

    1、Wiki

    群智的典型代表,与信息资源管理的关系在语义网和本体构建上。其及时性和大众性特征也许弥补专家建设知识库的缺陷,在知识更新频繁和推理关系无法穷尽的情况下,利用大众构建本体库似乎是一个不错的选择,但是wiki的一个缺陷是它表示了叙述性知识,远远多于推理关系,这个缺陷也许需要人类上百年的积累和螺旋。

    2、Digg

    Digg是一个社会推荐和过滤系统,你可以从BBS的置顶帖子中找到它的渊源,你也可以从传统的学术交流模式——学术期刊中找到它的影子,这就是Digg的魅力。

    有的人使用它进行投票,因为它满足了人们的某种社会话语权需要,关于这一点你可以从政治学和社会学找到更多答案。

    有的人使用发现社会热点,因为它能帮助你发现社会热点,让你关注别人也关注的新闻,关于这一点你可以从心理学和人类学找到答案。

    不管是Wkiki还是Digg都是春天前的第一只候鸟,不幸的美国这次又成了那只知道春江水暖的“鸭子”。

    Wiki和Digg的发展让我思索,我们的学术是离大众越来越近了,还是越来越远了,这个答案似乎不好一时回答。

    可惜了,第一次写好的内容比上面这些文字好看多了,但不小心弄丢了,下次注意,也给各位赏客提醒,在线写作,注意保存。





        摘要:

    关注web2.0很久了,打算把对它的理解和它对网络信息资源管理及图书馆的影响写出来,苦于最近很忙,只能写个连载,这是第一篇,以后还会陆续写出,包括RSS、WIKI、digg、社会书签、博客、ajax等现象,但不能确定何时能写出。×_×

    我也会邀请部分朋友写点看法。

    今天是个开篇,主要谈谈Tag(标签)和Folksonomy(分众分类)。

    图书馆应用web2.0的讨论已经在国外兴起,国内也开始有所注意,包括武大图书馆也开始介绍RSS阅读器的用法了。在我看来,这仅仅是个开始,web2.0是以用户为核心的一种信息组织思想,以tag和folksonomy为例,这种信息标引方法是图书馆界早就使用的方法,但是为什么到web2.0时代,才被大众注意呢,甚至tag冒出来后,语义网也发生了争执,就语义网和语意本体如何建设,大家也开始有了不同的想法。

    因起这些变化的并非tag或关键词本身所能承载的语意内涵或其标引上的精确度,tag兴起的核心在于它不仅仅是用户能够接受、能够理解、能够操作的草根式分类法,更重要的是它    (全文共1452字)——点击此处阅读全文