什么是大数据
对大数据知识进行初步掌握一个月后,在Linux系统上深入研究了各类命令行指令的操作方法,并且熟悉了各类文件系统操作权限设置。能够熟练运用高级操作完成特定任务。
刚开始接触Hadoop框架后不久,在Hadoop家族中也算是一员大将吗?或许是因为没有深入学习的缘故吧?个人觉得。
好像大数据本质就是数据统计概率。。
统计数学题,,已经忘记什么时候做过这样的数学题了,,大概是小学吧。。
当前主要涉及的是基础数据统计处理工作,在HDFS文件系统的深入学习上花费了大量的时间,并对分布式存储体系结构有了一定的理解和认识。
最近有些疑惑所以在网上搜了一些问题,,借此来分享一下:
大数据就是概率统计吗?
楼一:
是,也不是。
大数据包括:获取数据,分析数据,预测行为。
其中分析数据部分主要致力于统计各种事件的概率,并为此提供依据
楼二:
并非如此说大不大!如今大数据已成为一项备受关注的研究领域。简单来说,则是指海量同类数据经过计算与筛选处理从而得出它们趋向于共同呈现的一个规律用于预测未来可能发生的事情。例如天气预报就是一个典型的运用大数据进行预测的例子。
我认为这两个回答属于一类,并认为我们基于这样的框架如Hadoop对大量数据进行处理
通过并行处理技术和动态计算方法的结合,在此系统中得出了一个统一的行为模式,并基于此模式对类似事件的行为进行预测。
大数据和机器学习的区别是什么?
我在思考为何会出现这样的疑问?最近在研读一本机器学习书籍时产生了诸多困惑。个人理解是:从大量样本数据中提取特征并建立一套规律性原则来构建一个基于规律性原则的知识系统。通过持续的数据挖掘与优化使该系统能够逐步提升其预测能力。类似于赋予了机器自主学习的能力从而能够对未来未知的数据进行预测和推断
网上的说法是这样的:
从广义上讲,机器学习是一种赋予机器能力的方法论体系...以此使其能够完成程序无法直接执行的任务。在实际应用层面,则是通过数据获取、模型训练以及基于此进行预测的一整套方法体系。
可以说,机器学习仅属于大数据分析领域中的一个分支而已。然而,在某些特定情况下,其产生的某些结果呈现出极大的影响力,并且最好地展示了大数据的整体价值。这并不意味着在大数据环境下仅有一种分析方法可用。
突然发现能搞机器学习的大佬真的是在数学系牛X人物。。
高考数学95的我还是轻轻的走过好了。。。。

欢迎关注我的公众号,领取免费干货学习资源

