Advertisement

数据挖掘:概念与技术(原书第3版)

阅读量:

数据挖掘:概念与技术(原书第3版)

内容简介

《数据挖掘:概念与技术(原书第3版)》完整全面地讲述数据挖掘的概念、方法、技术和最新研究进展。本书对前两版做了全面修订,加强和重新组织了全书的技术内容,重点论述了数据预处理、频繁模式挖掘、分类和聚类等的内容,还全面讲述了olap和离群点检测,并研讨了挖掘网络、复杂数据类型以及重要应用领域。
《数据挖掘:概念与技术(原书第3版)》是数据挖掘和知识发现领域内的所有教师、研究人员、开发人员和用户都必读的参考书,是一本适用于数据分析、数据挖掘和知识发现课程的优秀教材,可以用做高年级本科生或者一年级研究生的数据挖掘导论教材。

前言

社会的计算机化显著地增强了我们产生和收集数据的能力。大量数据从我们生活的每个角落涌出。存储的或瞬态的数据的爆炸性增长已激起对新技术和自动工具的需求,以帮助我们智能地将海量数据转换成有用的信息和知识。这导致称做数据挖掘的一个计算机科学前沿学科的产生,这是一个充满希望和欣欣向荣并具有广泛应用的学科。数据挖掘通常又称为数据中的知识发现(KDD),是自动地或方便地提取代表知识的模式;这些模式隐藏在大型数据库、数据仓库、Web、其他大量信息库或数据流中。
本书考察知识发现和数据挖掘的基本概念和技术。作为一个多学科领域,数据挖掘从多个学科汲取营养。这些学科包括统计学、机器学习、模式识别、数据库技术、信息检索、网络科学、知识库系统、人工智能、高性能计算和数据可视化。我们提供发现隐藏在大型数据集中的模式的技术,关注可行性、有用性、有效性和可伸缩性问题。因此,本书不打算作为数据库系统、机器学习、统计学或其他某领域的导论,尽管我们确实提供了这些领域的必要背景材料,以便读者理解它们各自在数据挖掘中的作用。本书是对数据挖掘的全面介绍。对于计算科学的学生、应用开发人员、行业专业人员以及涉及以上列举的学科的研究人员,本书应当是有用的。
数据挖掘出现于20世纪80年代后期,20世纪90年代有了突飞猛进的发展,并可望在新千年继续繁荣。本书全面展示该领域,介绍有趣的数据挖掘技术和系统,并讨论数据挖掘的应用和研究方向。写本书的重要动机是需要建立一个学习数据挖掘的有组织的框架——由于这个快速发展领域的多学科特点,这是一项具有挑战性的任务。我们希望本书有助于具有不同背景和经验的人交换关于数据挖掘的见解,为进一步促进这个令人激动的、不断发展的领域的成长做出贡献。
本书的组织
自本书第1版、第2版出版以来,数据挖掘领域已经取得了重大进展,开发出了许多新的数据挖掘方法、系统和应用,特别是对于处理包括信息网络、图、复杂结构和数据流,以及文本、Web、多媒体、时间序列、时间空间数据在内的新的数据类型。这种快速发展、新技术不断涌现使得在一本书中涵盖整个领域的广泛内容非常困难。因此,我们决定与其继续扩大本书的涵盖面,还不如让本书以足够的广度和深度涵盖该领域的核心内容,而把复杂数据类型的处理留给另一本即将面世的书。
第3版对本书的前两版做了全面修订,加强和重新组织了全书的技术内容,显著地扩充和加强处理一般数据类型挖掘的核心技术。第2版中讨论特定主题的章节(例如,数据预处理、频繁模式挖掘、分类和聚类)在这一版都被扩充,每章都分成两章。对于这些主题,一章囊括基本概念和技术,而另一章提供高级概念和方法。
第2版关于复杂数据类型的章节(例如,流数据、序列数据、图结构数据、社会网络数据和多重关系数据,以及文本、Web、多媒体和时间空间数据)现在保留给专门介绍数据挖掘的高级课题的新书。为了支持读者学习这些高级课题,我们把第2版的相关章节的电子版放在本书的网站上,作为第3版的配套材料。
第3版各章的简要内容如下(重点介绍新的内容):
第1章提供关于数据挖掘的多学科领域的导论。该章讨论导致需要数据挖掘的数据库技术的发展历程和数据挖掘应用的重要性。该章考察挖掘的数据类型,包括关系的、事务的和数据仓库数据,以及复杂的数据类型,如时间序列、序列、数据流、时间空间数据、多媒体数据、文本数据、图、社会网络和Web数据。该章根据所挖掘的知识类型、所使用的技术以及目标应用的类型,对数据挖掘任务进行了一般分类。最后讨论该领域的主要挑战。
第2章介绍一般数据特征。该章首先讨论数据对象和属性类型,然后介绍基本统计数据描述的典型度量。该章概述各种类型数据的数据可视化技术。除了数值数据的可视化方法外,还介绍文本、标签、图和多维数据的可视化方法。第2章还介绍度量各种类型数据的相似性和相异性的方法。
第3章介绍数据预处理技术。该章首先介绍数据质量的概念,然后讨论数据清理、数据集成、数据归约、数据变换和数据离散化的方法。
第4章和第5章是数据仓库、OLAP(联机分析处理)和数据立方体技术的引论。第4章介绍数据仓库和OLAP的基本概念、建模、结构、一般实现,以及数据仓库和其他数据泛化的关系。第5章更深入地考察数据立方体技术,详细地研究数据立方体的计算方法,包括Star-Cubing和高维OLAP方法。该章还讨论数据立方体和OLAP技术的进一步研究,如抽样立方体、排序立方体、预测立方体、用于复杂数据挖掘查询的多特征立方体和发现驱动的数据立方体的探查。
第6章和第7章介绍挖掘大型数据集中的频繁模式、关联和相关性的方法。第6章介绍基本概念,如购物篮分析,还有条理地提供了许多频繁项集挖掘技术。这些涵盖从基本Apriori算法和它的变形,到改进性能的更高级的方法,包括频繁模式增长方法,使用数据的垂直形式的频繁模式挖掘,挖掘闭频繁项集和极大频繁项集。该章还讨论模式评估方法并介绍挖掘相关模式的度量。第7章介绍高级模式挖掘方法。该章讨论多层和多维空间中的模式挖掘,挖掘稀有和负模式,挖掘巨型模式和高维空间数据,基于约束的模式挖掘和挖掘压缩或近似模式。该章还介绍模式探查和应用的方法,包括频繁模式的语义注解。
第8章和第9章介绍数据分类方法。由于分类方法的重要性和多样性,内容被划分成两章。第8章介绍分类的基本概念和方法,包括决策树归纳、贝叶斯分类和基于规则的分类。该章还讨论模型评估和选择方法,以及提高分类准确率的方法,包括组合方法和处理不平衡数据。第9章讨论分类的高级方法,包括贝叶斯信念网络、后向传播的神经网络技术、支持向量机、使用频繁模式的分类、k-最邻近分类、基于案例的推理、遗传算法、粗糙集理论和模糊集方法。附加的主题包括多类分类、半监督分类、主动学习和迁移学习。
聚类分析是第10章和第11章的主题。第10章介绍数据聚类的基本概念和方法,包括基本聚类分析方法的概述、划分方法、层次方法、基于密度的方法和基于网格的方法。该章还介绍聚类评估方法。第11章讨论聚类的高级方法,包括基于概率模型的聚类、聚类高维数据、聚类图和网络数据,以及基于约束的聚类。
第12章专门讨论离群点检测。本章介绍离群点的基本概念和离群点分析,并从各种监督力度(监督的、半监督的和无监督的)以及方法角度(统计学方法、基于邻近性的方法、基于聚类的方法和基于分类的方法)讨论离群点检测方法。该章还讨论挖掘情境离群点和集体离群点,以及高维数据中的离群点检测。
最后,在第13章我们讨论数据挖掘的趋势、应用和研究前沿。我们简略地介绍挖掘复杂数据类型,包括挖掘序列数据(例如,时间序列、符号序列和生物学序列),挖掘图和网络,以及挖掘空间、多媒体、文本和Web数据。这些数据挖掘方法的深入讨论留给正在撰写的数据挖掘高级课题一书。然后,该章转向讨论其他数据挖掘方法学,包括统计学数据挖掘、数据挖掘基础、可视和听觉数据挖掘,以及数据挖掘的应用。讨论数据挖掘在金融数据分析、零售和电信产业、科学与工程,以及入侵检测和预防方面的应用。该章还讨论数据挖掘与推荐系统的联系。由于数据挖掘出现在我们日常生活的方方面面,所以我们讨论数据挖掘与社会,包括无处不在和无形的数据挖掘,以及隐私、安全和数据挖掘对社会的影响。我们用考察数据挖掘的发展趋势结束本书。
书中楷体字用于强调定义的术语,而黑体字用于突出主要思想。
本书与其他数据挖掘教材相比具有一些显著特点:它广泛、深入地讨论了数据挖掘原理。各章尽可能是自包含的,使得读者可以按自己感兴趣的次序阅读。高级章节提供了更大的视野,感兴趣的读者可以选读。本书提供了数据挖掘的所有主要方法,还提供了关于多维OLAP分析等数据挖掘的重要主题,这些主题在其他书中常常被忽略或很少提及。本书还维护了一个网站,其中包含大量在线资源,为教师、学生和该领域的专业人员提供支持。这些将在下面介绍。
致教师

. 本书旨在提供数据挖掘领域的一个广泛而深入的概览,可以作为高年级本科生或一年级研究生的数据挖掘导论。除了讲稿、教师指南和阅读材料列表等教学资源之外,本书网站(www.cs.uiuc.edu/~hanj/bk3或www.booksite.mkp.com/datamining3e)还提供了一个样本课程安排。
根据授课学时、学生的背景和你的兴趣,你可以选取章节的子集,以不同的顺序进行讲授。例如,如果你只打算给学生讲授数据挖掘入门导论,可以按照图P.1的建议。注意,根据需要,必要时可以省略其中某些节或某些小节。
图P.1入门导论课程的建议章节序列
根据学时和讲授范围,你可以有选择地把更多的章节增加到这个基本序列中。例如,对高级分类方法更感兴趣的教师可以首先增加“第9章分类:高级方法”;对模式挖掘更感兴趣的教师可以选择包括“第7章高级模式挖掘”;而对OLAP和数据立方体技术感兴趣的教师可以增加“第4章数据仓库与联机分析处理”和“第5章数据立方体技术”。
或者,你可以选择在两个学期的系列课程中讲授整本书,包括本书的所有章节,时间允许的话,加上图和网络挖掘这样的高级课题。这些高级课题可以从本书网站提供的配套材料选择,辅以挑选的研究论文。
本书的每一章都可以用做自学材料,或者用做数据库系统、机器学习、模式识别和数据智能分析等相关课程的专题。
每章后面都有一些习题,适合作为家庭作业。这些习题或者是用于测验对内容的掌握情况的小问题,或者是需要分析思考的大问题,或者是实现设计。有些习题也可以用做研究讨论课题。每章后面的文献注释可以用来查找包含正文中提供的概念和方法的来源、相关课题的深入讨论和可能的扩展的研究文献。
致学生
我们希望本书将激发你对年青,但正在快速发展的数据挖掘领域的兴趣。我们试图以清晰的方式提供材料,仔细地解释所涵盖的主题。每一章后面都附有一个小结,总结要点。全书包含了许多图和解释,以便使本书更加有趣和便于阅读。尽管本书是作为教材编写的,但是我们也试图把它组织成一本有用的参考书或手册,以有助于你今后在数据挖掘方面进行深入研究和求职。
为阅读本书,你需要知道什么?
你应当具有关于统计学、数据库系统和机器学习的概念和术语方面的知识。然而,我们尽力提供这些基础知识的足够背景,以便在读者对这些领域不太熟悉或者记忆有些淡忘时,也能够理解本书的讨论。
你应当具有一些程序设计经验。特别是你应当能够阅读伪代码,能够理解像多维数组这样的简单数据结构。
致专业人员
本书旨在涵盖数据挖掘领域的广泛主题。因此,本书是关于该主题的一本优秀手册。由于每一章的编写都尽可能独立,所以读者可以关注自己最感兴趣的课题。希望学习数据挖掘关键思想的应用程序员和信息服务管理人员可以使用本书。对于有兴趣使用数据挖掘技术解决其业务问题的银行、保险、医药和零售业的数据分析人员,本书也是有用的。此外,本书也可以作为数据挖掘领域的全面综述,有助于研究人员提升数据挖掘技巧,扩展数据挖掘的应用范围。
本书所提供的技术和算法是实用的,介绍的算法适合于发现隐藏在大型、现实数据集中的模式和知识,而不是挑选在小型“玩具”数据库上运行良好的算法。本书提供的每个算法都用伪代码解释。伪代码类似于程序设计语言C,但也精心加以策划,使得不熟悉C或C++的程序员易于理解。如果你想实现算法,你会发现将我们的伪代码转换成选定的程序设计语言程序是一项非常简单的任务。
本书资源网站
本书网站的地址是www.cs.uiuc.edu/~hanj/bk3,另一个是Morgan Kaufmann出版社的网站www.booksite.mkp.com/datamining3e。这些网站为本书的读者和对数据挖掘感兴趣的人提供了一些附加材料,资源包括:
每章的幻灯片。提供了用微软的PowerPoint制作的每章教案。
高级数据挖掘的配套章节。本书第2版的第8~10章涵盖了挖掘复杂的数据类型,这超出了本书的主题,对这些高级主题感兴趣的读者可从网站上获取。
教师手册。本书习题的完整答案通过出版社的网站只向教师提供。
课程提纲和教学计划。使用本书和幻灯片用于数据挖掘导论课程和高级教程的本科生和研究生,可以获取这些资源。
带超链接的辅助阅读文献列表。补充读物的原创性文章按章组织。
到数据挖掘数据集和软件的链接。我们将提供到数据挖掘数据集和某些包含有趣的数据挖掘软件包的站点的链接,如到伊利诺伊大学厄巴纳-尚佩恩分校IlliMine的链接(http://illimine.cs.uiuc.edu)。
作业、考试和课程设计样本。一组作业、考试和课程设计样本将在出版社的网站上向教师提供。
本书的插图。这可能有助于你制作自己的课堂教学幻灯片。
本书目录。PDF格式。
本书不同印次的勘误表。欢迎读者指出本书中的错误。一旦错误被证实,我们将更新勘误表,并对你的贡献致谢。
评论或建议请发往hanj@cs.uiuc.edu。我们很高兴听到你的建议。
致谢Data Mining:Concepts and Techniques,Third Edition
第3版致谢
我们向UIUC数据挖掘小组以前和现在的所有成员、伊利诺伊大学厄巴纳-尚佩恩分校计算机科学系的数据与信息系统实验室(DAIS)的教师和学生以及许多朋友和同事表达我们的诚挚谢意,他们始终不渝的支持使得我们在这一版的工作中受益匪浅。我们还希望感谢UIUC 2010—2011学年CS412和CS512课程的学生,他们仔细地通读了本书的初稿,找出了许多错误,提出了各种改进意见。
我们还希望感谢Morgan Kaufmann出版社的发行人David Bevans和Rick Adams,感谢他们在我们写作本书时所表现出的热情、耐心和支持。我们感激该书的项目经理Marilyn Rash和她的团队,他们使得我们按期完稿。
我们对所有的评论者不胜感激,感谢他们的无价反馈。此外,我们感谢美国国家科学基金会、NASA、美国空军科学研究办公室、美国军事研究实验室、加拿大自然科学与工程研究委员会(NSERC),以及IBM研究院、微软研究院、Google、雅虎研究院、波音、HP实验室和其他业界实验室,感谢他们在研究基金、合同和赠予方面对我们的研究的支持。这些研究加深了我们对本书所讨论课题的理解。最后,我们感谢我们的家人,感谢他们对该项目的全身心支持。
第2版致谢
我们向UIUC数据挖掘小组以前和现在的所有成员、伊利诺伊大学厄巴纳-尚佩恩分校计算机科学系的数据与信息系统实验室(DAIS)的教师和学生以及许多朋友和同事表示感谢,他们始终不渝的支持使得我们在第2版的工作中受益匪浅。这些人包括:Gul Agha,Rakesh Agrawal,Loretta Auvil,Peter Bajcsy,Geneva Belford,Deng Cai,Y.Dora Cai,Roy Cambell,Kevin C.-C.Chang,Surajit Chaudhuri,Chen Chen,Yixin Chen,Yuguo Chen,Hong Cheng,David Cheung,Shengnan Cong,Gerald DeJong,AnHai Doan,Guozhu Dong,Charios Ermopoulos,Martin Ester,Christos Faloutsos,Wei Fan,Jack C.Feng,Ada Fu,Michael Garland,Johannes Gehrke,Hector Gonzalez,Mehdi Harandi,Thomas Huang,Wen Jin,Chulyun Kim,Sangkyum Kim,Won Kim,Won-Young Kim,David Kuck,Young-Koo Lee,Harris Lewin,Xiaolei Li,Yifan Li,Chao Liu,Han Liu,Huan Liu,Hongyan Liu,Lei Liu,Ying Lu,Klara Nahrstedt,David Padua,Jian Pei,Lenny Pitt,Daniel Reed,Dan Roth,Bruce Schatz,Zheng Shao,Marc Snir,Zhaohui Tang,Bhavani M.Thuraisingham,Josep Torrellas,Peter Tzvetkov,Benjamin W.Wah,Haixun Wang,Jianyong Wang,Ke Wang,Muyuan Wang,Wei Wang,Michael Welge,Marianne Winslett,Ouri Wolfson,Andrew Wu,Tianyi Wu,Dong Xin,Xifeng Yan,Jiong Yang,Xiaoxin Yin,Hwanjo Yu,Jeffrey X.Yu,Philip S.Yu,Maria Zemankova,ChengXiang Zhai,Yuanyuan Zhou,Wei Zou。
Deng Cai和ChengXiang Zhai对文本挖掘和Web挖掘两节,Xifeng Yan对图挖掘一节,Xiaoxin Yin对多重关系挖掘一节做出了贡献。Hong Cheng,Charios Ermopoulos,Hector Gonzalez,David J.Hill,Chulyun Kim,Sangkyum Kim,Chao Liu,Hongyan Liu,Kasif Manzoor,Tianyi Wu,Xifeng Yan,Xiaoxin Yin校阅了手稿的部分章节。
我们还希望感谢Morgan Kaufmann出版社的发行人Diane Cerra,感谢她在本书写作期间的热情、耐心和支持。我们感激该书的项目经理Alan Rose,感谢他不知疲倦和及时地与我们联系,安排出版过程的每个细节。我们对所有的评论者不胜感激,感谢他们的无价反馈。最后,我们感谢我们的家人,感谢他们对该项目的全身心支持。
第1版致谢
我们希望向曾经或正与我们一道从事数据挖掘相关研究和DBMiner项目,或者在数据挖掘方面向我们提供各种支持的所有人表示衷心感谢。这些人包括:Rakesh Agrawal,Stella Atkins,Yvan Bedard,Binay Bhattacharya,(Yandong)Dora Cai,Nick Cercone,Surajit Chaudhuri,Sonny H.S.Chee,Jianping Chen,Ming-Syan Chen,Qing Chen,Qiming Chen,Shan Cheng,David Cheung,Shi Cong,Son Dao,Umeshwar Dayal,James Delgrande,Guozhu Dong,Carole Edwards,Max Egenhofer,Martin Ester,Usama Fayyad,Ling Feng,Ada Fu,Yongjian Fu,Daphne Gelbart,Randy Goebel,Jim Gray,Robert Grossman,Wan Gong,Yike Guo,Eli Hagen,Howard Hamilton,Jing He,Larry Henschen,Jean Hou,Mei-Chun Hsu,Kan Hu,Haiming Huang,Yue Huang,Julia Itskevitch,Wen Jin,Tiko Kameda,Hiroyuki Kawano,Rizwan Kheraj,Eddie Kim,Won Kim,Krzysztof Koperski,Hans-Peter Kriegel,Vipin Kumar,Laks V.S.Lakshmanan,Joyce Man Lam,James Lau,Deyi Li,George(Wenmin)Li,Jin Li,Ze-Nian Li,Nancy Liao,Gang Liu,Junqiang Liu,Ling Liu,Alan(Yijun)Lu,Hongjun Lu,Tong Lu,Wei Lu,Xuebin Lu,Wo-Shun Luk,Heikki Mannila,Runying Mao,Abhay Mehta,Gabor Melli,Alberto Mendelzon,Tim Merrett,Harvey Miller,Drew Miners,Behzad Mortazavi-Asl,Richard Muntz,Raymond T.Ng,Vicent Ng,Shojiro Nishio,Beng-Chin Ooi,Tamer Ozsu,Jian Pei,Gregory Piatetsky-Shapiro,Helen Pinto,Fred Popowich,Amynmohamed Rajan,Peter Scheuermann,Shashi Shekhar,Wei-Min Shen,Avi Silberschatz,Evangelos Simoudis,Nebojsa Stefanovic,Yin Jenny Tam,Simon Tang,Zhaohui Tang,Dick Tsur,Anthony K.H.Tung,Ke Wang,Wei Wang,Zhaoxia Wang,Tony Wind,Lara Winstone,Ju Wu,Betty(Bin)Xia,Cindy M.Xin,Xiaowei Xu,Qiang Yang,Yiwen Yin,Clement Yu,Jeffrey Yu,Philip S.Yu,Osmar R.Zaiane,Carlo Zaniolo,Shuhua Zhang,Zhong Zhang,Yvonne Zheng,Xiaofang Zhou,Hua Zhu。
我们还要感谢Jean Hou,Helen Pinto,Lara Winstone,Hua Zhu,感谢他们帮助绘制本书的一些草图;感谢Eugene Belchev,感谢他小心地校对了每一章。
我们还希望感谢Morgan Kaufmann出版社的执行总编辑Diane Cerra,感谢她在本书写作期间的热情、耐心和支持;感谢本书的责任印制Howard Severson和他的同事,感谢他们尽职尽责的努力,使本书顺利出版。我们对所有的评论者不胜感激,感谢他们的无价反馈。最后,我们感谢我们的家人,感谢他们对该项目的全身心支持。

序言

中文版序Data Mining:Concepts and Techniques,Third Edition
We are pleased to see that our third edition has been translated into Chinese by Professor Fan and Meng.The first two editions were translated by them several years ago and have been well received among Chinese readers.In recent years,we have witnessed tremendous progress in the field of data mining research and applications internationally.As a promising new technology,data mining has attracted tremendous interest in the Far East as well.Numerous international and regional conferences on data mining and applications have appeared or held in this region.Many Chinese researchers have been playing an active role,contributing in both research and applications to the advances of this young field.
In this third edition,we have carefully selected and tailored the technical materials to be covered for the courses on data mining at both the undergraduate level and the first-year graduate level.We have updated and enhanced the existing chapters substantially with many new topics.Thus,we expect the publication of this edition in Chinese will help Chinese readers to learn and master the latest technology and put them into promising new applications.
With best regards,
(非常高兴地看到本书的第3版由范明和孟小峰教授翻译成中文。几年前,他们翻译了本书的前两版并被中文读者广泛接受。近年来,我们见证了数据挖掘研究和应用领域在世界范围内的巨大进展。作为一种具有良好发展势头的新技术,数据挖掘在远东也引起了极大兴趣。许多国际或地区性的数据挖掘和应用会议已经在该地区出现或召开。许多中国的研究者一直起着积极作用,为推动这个年轻领域的研究和应用做出了贡献。
在第3版中,我们对所包含的技术内容进行了精心挑选和剪裁,以便用于本科生和一年级研究生的“数据挖掘”课程。我们用许多新的主题,大幅度地更新和加强了已有的章节。因而,我们期望这个中文版将帮助中文读者学习和掌握这些最新技术,并将它们用于有希望的新应用。
谨致良好祝愿!)
Jiawei Han,Micheline Kamber,and Jian Pei
June 2012
第3版序Data Mining:Concepts and Techniques,Third Edition
分析大量数据是必要的。甚至像“super crunchers”(超级电脑)这样流行的科技书也给出了从大量数据发现和得到直觉知识的非常好的事例。每个企业都从收集和分析数据中获益:医院可以从患者记录中识别趋势和异常,搜索引擎可以进行更好的秩评定和广告投放,环境和公共卫生部门可以识别数据中的模式和异常。这样的例子还有很多,如计算机安全和计算网络入侵检测、家用电器的能源消耗、生物信息学和药物数据的模式分析、财经和商务智能数据、识别博客中的趋势、唧喳(Twitter)等,不一而足。与数据传感器一样,存储设备价格越来越低,因此收集和存储数据比以前更加容易。
于是,问题变成如何分析数据。这恰是第3版的关注点。Jiawei、Micheline、Jian的教材全景式地讨论了数据挖掘的所有相关方法,从经典的分类和聚类主题,到数据库方法(例如,关联规则和数据立方体),到更新和更高级的主题(例如,SVD/PCA、小波、支持向量机)。
对于初学者来说,书中的阐述极其容易理解,对于高端读者也是如此。本书首先介绍基本概念,更高级的内容在随后的章节中。书中还使用了一些修辞疑问,这样做非常有助于吸引读者注意力。
我们已经使用前两版作为卡内基-梅隆大学数据挖掘课程的教材,并且准备继续使用第3版。新版内容有显著增加:值得注意的是,超过100篇引文引用2006年以来的工作,关注更近的研究,如图和社会网络、传感器网络,以及离群点检测。对于可视化,本书新增了一节;离群点检测扩充为一整章;而有些章被分开,以便介绍高级方法。例如,top-k模式等模式挖掘以及双聚类和图聚类。
总之,这是一本关于经典和现代数据挖掘方法的优秀专著,它不仅是一本理想的教材,而且也是一本理想的参考书。
Christos Faloutsos
卡内基-梅隆大学
第2版序Data Mining:Concepts and Techniques,Third Edition
我们被数据(科学数据、医疗数据、人口统计数据、金融数据和销售数据)所淹没。人们没有时间查看这些数据。人们的关注已经转到可贵的应付手段上。因此,我们必须找到有效方法,自动地分析数据、自动地对数据分类、自动地对数据汇总、自动地发现和描述数据中的趋势、自动地标记异常。这是数据库研究最活跃、最令人激动的领域之一。统计学、可视化、人工智能和机器学习方面的研究人员正在为该领域做出贡献。由于该领域非常广阔,很难把握它过去几十年的非凡进展。
六年前,Jiawei Han和Micheline Kamber的原创性教科书将数据挖掘的内容组织在一起并呈现给读者。它预示了数据挖掘领域的创新黄金时代的到来。他们的书的新版反映了该领域的进展,一半以上的参考文献和历史注释都涉及当前的研究。该领域已经成熟,出现了许多新的、改进的算法;该领域已经拓宽,包含了更多数据类型,如流、序列、图、时间序列、地理空间、音频、图像和视频。我们不仅可以肯定这个黄金时代尚未结束(数据挖掘研究和商业兴趣正在继续增长),而且,这本数据挖掘的现代著作的面世是我们所庆幸的。

. 本书首先提供数据库和数据挖掘概念的简略介绍,特别强调数据分析。然后,逐章介绍分类、预测、关联和聚类等基础概念和技术。这些主题辅以实例,对每类问题均提供代表性算法,并对每种技术的应用给出注重实效的规则。这种苏格拉底式的表达风格具有很好的可读性,并且内容丰富。我已通过阅读第1版学到了许多知识,并且在阅读第2版时再次受益并更新了知识。
Jiawei Han和Micheline Kamber在数据挖掘研究方面一直处于领先地位。这是一本他们用于培养自己的学生,以加快该领域发展的教材。该领域发展非常迅速,本书提供了一条学习该领域基本思想和了解该领域现状的快捷之路。我认为本书内容丰富、刺激,相信读者也会有同样的感触。
Jim Gray
Microsoft Research
美国加利福尼亚旧金山

目录

《数据挖掘:概念与技术(原书第3版)》
出版者的话
中文版序
译者序
译者简介
第3版序
第2版序
前言
致谢
作者简介
第1章引论1
1.1为什么进行数据挖掘1
1.1.1迈向信息时代1
1.1.2数据挖掘是信息技术的进化2
1.2什么是数据挖掘4
1.3可以挖掘什么类型的数据6
1.3.1数据库数据6
1.3.2数据仓库7
1.3.3事务数据9
1.3.4其他类型的数据9

.1.4可以挖掘什么类型的模式10
1.4.1类/概念描述:特征化与区分10
1.4.2挖掘频繁模式、关联和相关性11
1.4.3用于预测分析的分类与回归12
1.4.4聚类分析13
1.4.5离群点分析14
1.4.6所有模式都是有趣的吗14
1.5使用什么技术15
1.5.1统计学15
1.5.2机器学习16
1.5.3数据库系统与数据仓库17
1.5.4信息检索17
1.6面向什么类型的应用18
1.6.1商务智能18
1.6.2web搜索引擎18
1.7数据挖掘的主要问题19
1.7.1挖掘方法19
1.7.2用户界面20
1.7.3有效性和可伸缩性21
1.7.4数据库类型的多样性21
1.7.5数据挖掘与社会21
1.8小结22
1.9习题23
1.10文献注释23
第2章认识数据26
2.1数据对象与属性类型26
2.1.1什么是属性27
2.1.2标称属性27
2.1.3二元属性27
2.1.4序数属性28
2.1.5数值属性28
2.1.6离散属性与连续属性29
2.2数据的基本统计描述29
2.2.1中心趋势度量:均值、中位数和众数30
2.2.2度量数据散布:极差、四分位数、方差、标准差和四分位数极差32
2.2.3数据的基本统计描述的图形显示34
2.3数据可视化37
2.3.1基于像素的可视化技术37
2.3.2几何投影可视化技术38
2.3.3基于图符的可视化技术40
2.3.4层次可视化技术42
2.3.5可视化复杂对象和关系42
2.4度量数据的相似性和相异性44
2.4.1数据矩阵与相异性矩阵45
2.4.2标称属性的邻近性度量46
2.4.3二元属性的邻近性度量46
2.4.4数值属性的相异性:闵可夫斯基距离48
2.4.5序数属性的邻近性度量49
2.4.6混合类型属性的相异性50
2.4.7余弦相似性51
2.5小结52
2.6习题53
2.7文献注释54
第3章数据预处理55
3.1数据预处理:概述55
3.1.1数据质量:为什么要对数据预处理55
3.1.2数据预处理的主要任务56
3.2数据清理58
3.2.1缺失值58
3.2.2噪声数据59
3.2.3数据清理作为一个过程60
3.3数据集成61
3.3.1实体识别问题62
3.3.2冗余和相关分析62
3.3.3元组重复65
3.3.4数据值冲突的检测与处理65
3.4数据归约65
3.4.1数据归约策略概述66
3.4.2小波变换66
3.4.3主成分分析67
3.4.4属性子集选择68
3.4.5回归和对数线性模型:参数化数据归约69
3.4.6直方图70
3.4.7聚类71
3.4.8抽样71
3.4.9数据立方体聚集72
3.5数据变换与数据离散化73
3.5.1数据变换策略概述73
3.5.2通过规范化变换数据74
3.5.3通过分箱离散化76
3.5.4通过直方图分析离散化76
3.5.5通过聚类、决策树和相关分析离散化76
3.5.6标称数据的概念分层产生77
3.6小结79
3.7习题79
3.8文献注释80
第4章数据仓库与联机分析处理82
4.1数据仓库:基本概念82
4.1.1什么是数据仓库82
4.1.2操作数据库系统与数据仓库的区别84
4.1.3为什么需要分离的数据仓库85
4.1.4数据仓库:一种多层体系结构85
4.1.5数据仓库模型:企业仓库、数据集市和虚拟仓库87
4.1.6数据提取、变换和装入88
4.1.7元数据库88
4.2数据仓库建模:数据立方体与olap89
4.2.1数据立方体:一种多维数据模型89
4.2.2星形、雪花形和事实星座:多维数据模型的模式91
4.2.3维:概念分层的作用94
4.2.4度量的分类和计算95
4.2.5典型的olap操作96
4.2.6查询多维数据库的星网查询模型98
4.3数据仓库的设计与使用99
4.3.1数据仓库的设计的商务分析框架99
4.3.2数据仓库的设计过程100
4.3.3数据仓库用于信息处理101
4.3.4从联机分析处理到多维数据挖掘102
4.4数据仓库的实现103
4.4.1数据立方体的有效计算:概述103
4.4.2索引olap数据:位图索引和连接索引105
4.4.3olap查询的有效处理107
4.4.4olap服务器结构:rolap、molap、holap的比较107
4.5数据泛化:面向属性的归纳109
4.5.1数据特征的面向属性的归纳109
4.5.2面向属性归纳的有效实现113
4.5.3类比较的面向属性归纳114
4.6小结116
4.7习题117
4.8文献注释119
第5章数据立方体技术121
5.1数据立方体计算:基本概念121
5.1.1立方体物化:完全立方体、冰山立方体、闭立方体和立方体外壳122
5.1.2数据立方体计算的一般策略124
5.2数据立方体计算方法126
5.2.1完全立方体计算的多路数组聚集126
5.2.2buc:从顶点方体向下计算冰山立方体129
5.2.3star-cubing:使用动态星树结构计算冰山立方体132
5.2.4为快速高维olap预计算壳片段136
5.3使用探索立方体技术处理高级查询141
5.3.1抽样立方体:样本数据上基于olap的挖掘141
5.3.2排序立方体:top-k查询的有效计算145
5.4数据立方体空间的多维数据分析147
5.4.1预测立方体:立方体空间的预测挖掘147
5.4.2多特征立方体:多粒度上的复杂聚集149
5.4.3基于异常的、发现驱动的立方体空间探查149
5.5小结152
5.6习题152
5.7文献注释155
第6章挖掘频繁模式、关联和相关性:基本概念和方法157
6.1基本概念157
6.1.1购物篮分析:一个诱发例子157
6.1.2频繁项集、闭项集和关联规则158
6.2频繁项集挖掘方法160
6.2.1apriori算法:通过限制候选产生发现频繁项集160
6.2.2由频繁项集产生关联规则164
6.2.3提高apriori算法的效率165
6.2.4挖掘频繁项集的模式增长方法166
6.2.5使用垂直数据格式挖掘频繁项集169
6.2.6挖掘闭模式和极大模式170
6.3哪些模式是有趣的:模式评估方法171
6.3.1强规则不一定是有趣的172
6.3.2从关联分析到相关分析172
6.3.3模式评估度量比较173
6.4小结176
6.5习题177
6.6文献注释179
第7章高级模式挖掘180
7.1模式挖掘:一个路线图180
7.2多层、多维空间中的模式挖掘182
7.2.1挖掘多层关联规则182
7.2.2挖掘多维关联规则185
7.2.3挖掘量化关联规则186
7.2.4挖掘稀有模式和负模式188
7.3基于约束的频繁模式挖掘190
7.3.1关联规则的元规则制导挖掘190
7.3.2基于约束的模式产生:模式空间剪枝和数据空间剪枝191
7.4挖掘高维数据和巨型模式195
7.5挖掘压缩或近似模式198
7.5.1通过模式聚类挖掘压缩模式199
7.5.2提取感知冗余的top-k模式200
7.6模式探索与应用202
7.6.1频繁模式的语义注解202
7.6.2模式挖掘的应用205
7.7小结206
7.8习题207
7.9文献注释208
第8章分类:基本概念211
8.1基本概念211
8.1.1什么是分类211
8.1.2分类的一般方法211
8.2决策树归纳213
8.2.1决策树归纳214
8.2.2属性选择度量217
8.2.3树剪枝222
8.2.4可伸缩性与决策树归纳224
8.2.5决策树归纳的可视化挖掘225
8.3贝叶斯分类方法226
8.3.1贝叶斯定理227
8.3.2朴素贝叶斯分类227
8.4基于规则的分类230
8.4.1使用if-then规则分类230
8.4.2由决策树提取规则231
8.4.3使用顺序覆盖算法的规则归纳232
8.5模型评估与选择236
8.5.1评估分类器性能的度量236
8.5.2保持方法和随机二次抽样240
8.5.3交叉验证240
8.5.4自助法241
8.5.5使用统计显著性检验选择模型241
8.5.6基于成本效益和roc曲线比较分类器243
8.6提高分类准确率的技术245
8.6.1组合分类方法简介245
8.6.2装袋246
8.6.3提升和adaboost247
8.6.4随机森林249
8.6.5提高类不平衡数据的分类准确率250
8.7小结251
8.8习题251
8.9文献注释253
第9章分类:高级方法255
9.1贝叶斯信念网络255
9.1.1概念和机制255
9.1.2训练贝叶斯信念网络257
9.2用后向传播分类258
9.2.1多层前馈神经网络258
9.2.2定义网络拓扑259
9.2.3后向传播260
9.2.4黑盒内部:后向传播和可解释性263
9.3支持向量机265
9.3.1数据线性可分的情况265
9.3.2数据非线性可分的情况268
9.4使用频繁模式分类270
9.4.1关联分类270
9.4.2基于有区别力的频繁模式分类272
9.5惰性学习法(或从近邻学习)275
9.5.1k-最近邻分类275
9.5.2基于案例的推理277
9.6其他分类方法277
9.6.1遗传算法277
9.6.2粗糙集方法278
9.6.3模糊集方法278
9.7关于分类的其他问题280
9.7.1多类分类280
9.7.2半监督分类281
9.7.3主动学习282
9.7.4迁移学习283
9.8小结284
9.9习题285
9.10文献注释286
第10章聚类分析:基本概念和方法288
10.1聚类分析288
10.1.1什么是聚类分析288
10.1.2对聚类分析的要求289
10.1.3基本聚类方法概述291
10.2划分方法293
10.2.1k-均值:一种基于形心的技术293
10.2.2k-中心点:一种基于代表对象的技术295
10.3层次方法297
10.3.1凝聚的与分裂的层次聚类298
10.3.2算法方法的距离度量300
10.3.3birch:使用聚类特征树的多阶段聚类301
10.3.4chameleon:使用动态建模的多阶段层次聚类303
10.3.5概率层次聚类304
10.4基于密度的方法306
10.4.1dbscan:一种基于高密度连通区域的基于密度的聚类307
10.4.2optics:通过点排序识别聚类结构309
10.4.3denclue:基于密度分布函数的聚类311
10.5基于网格的方法312
10.5.1sting:统计信息网格312
10.5.2clique:一种类似于apriori的子空间聚类方法314
10.6聚类评估315
10.6.1估计聚类趋势316
10.6.2确定簇数317
10.6.3测定聚类质量317
10.7小结319
10.8习题320
10.9文献注释321
第11章高级聚类分析323
11.1基于概率模型的聚类323
11.1.1模糊簇324
11.1.2基于概率模型的聚类326
11.1.3期望最大化算法328
11.2聚类高维数据330
11.2.1聚类高维数据:问题、挑战和主要方法330
11.2.2子空间聚类方法331
11.2.3双聚类332
11.2.4维归约方法和谱聚类337
11.3聚类图和网络数据339
11.3.1应用与挑战339
11.3.2相似性度量340
11.3.3图聚类方法343
11.4具有约束的聚类345
11.4.1约束的分类345
11.4.2具有约束的聚类方法347
11.5小结349
11.6习题349
11.7文献注释350
第12章离群点检测351
12.1离群点和离群点分析351
12.1.1什么是离群点351
12.1.2离群点的类型352
12.1.3离群点检测的挑战354
12.2离群点检测方法354
12.2.1监督、半监督和无监督方法355
12.2.2统计方法、基于邻近性的方法和基于聚类的方法356
12.3统计学方法357
12.3.1参数方法357
12.3.2非参数方法360
12.4基于邻近性的方法361
12.4.1基于距离的离群点检测和嵌套循环方法361
12.4.2基于网格的方法363
12.4.3基于密度的离群点检测364
12.5基于聚类的方法366
12.6基于分类的方法368
12.7挖掘情境离群点和集体离群点369
12.7.1把情境离群点检测转换成传统的离群点检测369
12.7.2关于情境对正常行为建模370
12.7.3挖掘集体离群点371
12.8高维数据中的离群点检测371
12.8.1扩充的传统离群点检测372
12.8.2发现子空间中的离群点373
12.8.3高维离群点建模373
12.9小结374
12.10习题375
12.11文献注释375
第13章数据挖掘的发展趋势和研究前沿377
13.1挖掘复杂的数据类型377
13.1.1挖掘序列数据:时间序列、符号序列和生物学序列377
13.1.2挖掘图和网络381
13.1.3挖掘其他类型的数据383
13.2数据挖掘的其他方法385
13.2.1统计学数据挖掘385
13.2.2关于数据挖掘基础的观点386
13.2.3可视和听觉数据挖掘387
13.3数据挖掘应用391
13.3.1金融数据分析的数据挖掘391
13.3.2零售和电信业的数据挖掘392
13.3.3科学与工程数据挖掘393
13.3.4入侵检测和预防数据挖掘395
13.3.5数据挖掘与推荐系统396
13.4数据挖掘与社会397
13.4.1普适的和无形的数据挖掘397
13.4.2数据挖掘的隐私、安全和社会影响399
13.5数据挖掘的发展趋势400
13.6小结402
13.7习题402
13.8文献注释403
参考文献406
索引435

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16502878/viewspace-740401/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/16502878/viewspace-740401/

全部评论 (0)

还没有任何评论哟~