《数据挖掘——概念和技术》笔记之数据预处理
发布时间
阅读量：
阅读量
数据预处理 对于数据仓库和数据挖掘都是一个重要的问题，因为现实中的数据多半是不完整的、有噪声的和不一致的。数据预处理包括数据清理、数据集成、数据变换和数据规约。
描述性数据汇总 为数据预处理提供分析基础。数据汇总的基本统计学度量包括度量数据集中趋势的均值、加权平均、中位数和众数，度量数据离散程度的极差、四分位数、四分位数间距、方差和标准差。图形表示，如直方图、盒图、分位数图、分位数-分位数图、散布图和散布图矩阵都有利于数据的视觉考察，因此对数据预处理和挖掘是有用的。
数据清理 例程试图填补缺失的值，光滑噪声，识别离群点并纠正数据的不一致性。数据清理通常是一个迭代的两步过程，包括偏差检测和数据变换。
数据集成 将来自不同数据源的数据整合成一致的数据存储。元数据、相关分析、数据冲突检测和语义异构性的解决都有助于数据的顺利集成。
数据变换 例程将数据变换成适于挖掘的形式。例如：属性数据可以规范化 ，使得它们可以落在较小的区间，如0.0~1.0。
数据规约 技术，如数据立方体聚集、属性子集选择、维度规约、数值规约和离散化都可以用来得到数据的规约表示，而使信息内容的损失最小。
数值数据的数据离散化和概念分层自动产生 可能涉及诸如分箱、直方图分析、基于熵的离散化、X2分析、聚类分析和基于直观划分的离散化等技术。对于分类数据，概念分层可以根据定义分层的属性的不同值个数自动产生。
尽管已经开发了许多数据预处理的方法，由于不一致性或脏数据数量巨大以及问题本身的复杂性，数据预处理仍然是一个活跃的研究领域。
全部评论 (0)
还没有任何评论哟~