Thinking in BigData（四）大数据之“大”的来源与价值
大数据之“大”的来源与价值
在上篇博客中,我们仅限于从一个简单的应用案例,阐述了大数据的基本机理和发展趋势。然而,我们大多数人仍然对'大数据'这一概念较为模糊。那么究竟什么样的数据才被称为'大'?目前的研究和实践都表明,当数据规模达到一定阈值时,才会被普遍认为是'大'的数据集。其次,人们普遍关心的大数据来源主要集中在哪些产业领域?再次而言,不同行业的企业在实际应用场景中对于大数据的需求呈现出显著差异性特征,这与企业的规模特征和发展阶段密切相关。此外,当前关于如何衡量和评估不同企业的大数据分析能力以及其带来的价值体系的研究仍处于初级阶段。同时,我们也需要关注的是,这些技术手段是否能够有效缓解某些行业面临的挑战以及促进某些特定行业的持续发展?
究竟多少算大？
在前面讨论过，在过去的几篇文章里也提到了
经国际数据公司测定
这里我们简单的介绍一下，存储单位的换算：
1KB=1024B=10^3，1MB =1024KB=10^6，1GB =1024MB=10^9，1TB =1024GB=10^12，
1PB=1024TB=1015，1EB=1024PB=1018，1ZB= 1024 EB=10^21。
我们仅涉及至ZB级别的数据规模及以下范围内的讨论与分析；对于具备基本计算机知识的人来说, 就足以理解10后面所标注阶乘的具体意义所在.从千字节（KB）逐步发展至兆字节（MB）、吉字节（GB）以及太字节（TB），最终延伸至艾字节（EB）。在这一过程中涉及的数据量已经远远超出了人们的预期.相比之下, 在摩尔定律下(价格恒定时), 集成电路上可容纳的晶体管数量每隔18个月增加一倍, 同样会导致系统性能提升一倍.换言之, 每一美元预算内所能获得的电脑性能提升速度将超过上述描述所暗示水平.该定律揭示了信息技术发展的速度.但相较于当前的大数据时代及其快速更新的数据特性, 摩尔定律已显得微不足道.
以北京市交通为例介绍其智能化分析平台的数据来源与构成：来源于路网摄像头与传感器收集的小汽车实时运行数据约4万辆每日产出约2千万条运行记录；通过通勤者通行信息统计获得的通勤者刷卡统计日均约19百万条；采用移动用户位置信息采集技术处理的手动定位追踪日均约18百万条；基于实时监控获取的城市 taxi 操作日志约十万条；高速路段ETC系统提供的车辆通行时间及费用统计日均五万条……以上各项可见，在体量与更新频率维度上已形成了具有大数据特征的数据集合
分析这些类型多样、节奏不同的数据流间的关联性是我们未曾触及的机缘。这也是大数据分析能力最强的核心优势。
如何提出相关的问题？哪些机构或企业能够生成如此庞大的数据量？这也成为本文的第一个重点。
大数据的来源
当前大数据的主要来源包括专业机构所产生的数据；例如CERN离子对撞机每秒产出高达40TB的数据即是其中之一。除此之外，在企业经营相关的领域中涉及的大数据主要可划分为以下四种类型：
1、移动设备的实时记录与跟踪
早些时候，在高端航天飞机以及气象领域之外的应用还局限于实时跟踪器的价值昂贵性。如今随着技术的进步汽车制造商已将实时跟踪系统集成到车辆之中采用了GPRS油耗计速度表以及里程计等多种通信与监测设备实现了对汽车动力系统运行状态的有效追踪与此同时这也催生出了更为火爆的手持可穿戴设备一旦相关数据获取公司便能够从中提取有价值的信息进行商业应用
这一过程可能产生的业务规模相对较小然而能实质上推动某些经营模式的变革举例而言通过将汽车传感数据用于评价司机行为的方式实施则可导致其所在的汽车保险行业发生根本性转变此外还能促进能源消耗减少与环境保护的整体改善
2、互联网行业
我认为，在大数据时代即是互联网时代。依靠互联网这一庞大的数据来源和经过分析技术处理的先进大数据存储系统，在一定程度上推动了互联网的发展，并使其能够第一时间展现大数据的价值。例如，在获取消费者行为数据时（即通过分析消费者行为），将其应用于成本降低或销售增长等方面的变化，则能创造价值。以Internet为核心的企业如Amazon, Google, eBay, Twitter 和Facebook正在推动着这一领域的进一步革新。
互联网行业产生的数据包括：借助用户在利用互联网为媒介浏览时留下的浏览记录信息以及行为特征信息等基础资料，在通过对这些日志进行深入分析的基础上提取出用户的兴趣偏好与需求指向。进一步来说，则是：基于大数据分析技术所形成的个性化推荐体系即所谓的数据挖掘核心来源之一。值得注意的是，在这一领域内已有诸多成熟的技术应用案例可资参考：例如像亚马逊（Amazon）在图书领域推行精准化的商品推荐策略、豆瓣（Douban）基于音乐喜好进行音乐推荐的方法、以及淘宝与京东等各大电商平台的商品推荐模式都已初步形成雏形并取得一定成效。更为重要的是，在当前大数据时代背景下这些技术手段已经成功率先应用于互联网平台建设中。继而推动了整个行业的技术革新进程：例如像谷歌（Google）所提出的知识图谱体系（即个性化推荐系统的核心目标）、Facebook所倡导的图表搜索方法（一种图形化的人机交互界面）等都已开始逐步走向主流应用阶段。由此可见，在这一领域内我们才刚刚开始探索其潜力所在：而更为广阔的创新空间仍等待着各位从业者的深度挖掘与开发
3、传统行业
当我们全神贯注于网络经济领域时，请记住，在我们身后还有一种不容忽视的趋势正在悄然发展——传统产业的持续发展。这里的传统产业我们更倾向于一些特定领域：如电信、银行、金融、医药、教育、采矿和电力等行业。
电信领域中的集中关注 ：移动设备终端所产生的一系列数据与信息，在人们的日常交流中主要通过电邮、短信以及微博等途径产生的文本信息。
银行的重点布局方向包括： 针对个人存款与交易行为的高效服务运营；针对高风险客户的优质抵押贷款业务；在利率市场中进行资产投放策略；通过优化业务流程实现管理升级；新兴的互联网金融服务平台也在快速发展中。
金融发展： 常言道：银行与金融本是一家。金融源于银行资本运作，在股票、证券和期货等市场中流通。通过对金融市场数据进行深入分析，能够更加精准地辅助企业做出决策，在资本流动方面提供清晰指导。
医药领域聚焦于患者的医疗数据，在此基础上进行深入分析与应用研究
这里不再深入阐述大数据如何在传统行业中应用的具体方法和案例, 因为仅仅一个方面就足以让我们展开详细讨论数天之久。后续的博客内容中, 如果涉及到了传统行业中大数据方向的应用, 我会重点讲述它们如何在各自行业的应用情况, 开拓新的业务领域.
4、音频、视频和符号数据
潜在地承载着大数据的核心价值
总结：
大数据彻底改变了各类企业的运营模式。
无论是市场认知还是经营数据收集方面，
再到大数据能洞察每一项的变化，
呈现出全方位的技术革新。
一套基于大数据整合处理系统的建立，
其影响程度令人难以估量。
数据显示，在过去五年间，
有10%的企业认为
大数据彻底改变了它们的传统业务模式。
另有46%的企业认为
这是支撑其战略决策的重要技术手段之一。
企业可以通过数据分析技术
快速识别新的业务模式，
并在此基础上进行相应的优化改进。
具体而言，
通过对任意规模的数据集应用相关的大数据技术，
企业能够迅速识别出潜在的价值增长点；
一旦发现这些有用信息，
即可立即转化为商业机会，
从而获得显著的竞争优势。
大数据真正的价值
至此为止，在深入探讨了上述各个方面后
在业界一般认为大数据具有四个具有V型特征：Volume(体量大) ，Velocity(速度快)，Variety(种类杂)，Value(价值大) ，即Volume指的是大数据的巨大体量与数据完整性；Velocity意味着更快地满足实时性需求；Variety即是在海量、种类繁多的数据中发现其内在关联；最核心的是Value, 大数据的价值在于挖掘数据存在的价值。
挖掘的价值亦是大数据的核心价值：大数据的核心——核心在于建立数据之间的整合和关联分析
Google搜索引擎能够通过单一关键词将我们想到的相关文档以列表形式呈现。淘宝涉及销售、物流、仓储以及制造等多个环节。而其运行机制又是我们希望深入探讨却又面临技术障碍的核心技术。
在大数据领域呈现出高度热忱的状态下，在座的企业家们已然认识到"大数据"时代的到来。然而尽管存在诸多困难与挑战——包括"缺乏启动点"、"不知所措如何开始实施"、"转化效率低下"、"订单数量有限"以及"难以适应长期发展需求"—这些问题已然成为了他们习以为常的问题表述。对此专家指出：造成这一困境的核心原因就在于许多企业对于网络电商化的短期投入意识不足缺乏长远运营的理念和战略规划思维。许多企业家往往希望通过一次性的短期投资就能获得立即回报或是长远利益
作为一名SAS首席咨询顾问张磊，在某次讲学中分享道：对于一家企业的长久发展战略而言，在其初期阶段就应当重视数据仓库的建设。然而在现实中我们发现有许多企业在意识到设立数据分析部门的重要性后却迟迟未采取行动。原因在于因为这项工作可能需要至少1至2年的时间才能取得明显的成效而许多企业在这种情况下显得犹豫不决。问题在于数据的有效积累是一个持续深入的过程而非一蹴而就的工作结果通常需要数年时间才能见到显著的效果因此许多企业在资金投入方面也面临着诸多限制难以持续投入人力进行长期的人才培养这最终导致管理层不断拖延决策
我们不能将所有问题统一处理。同样的结果可能出现,但其原因却可能是多方面因素造成的.
中小企业在操纵大数据过程中存在的问题：
一、市场化程度不高。
二、大部分缺乏前瞻性的战略设计，只顾眼前。
三、缺乏后续的跟进和梳理。
四、没有对导致结果原因分析、概况与总结。
五、缺乏应急响应机制及正确管理理念等。
所有因素导致投资项目的相关问题在较短时间内收场并无法自行管理。从而使得企业无法适应快速变化的互联网市场环境的需求。
当企业舍弃了无数个不奏效的营销策略，在经历一次次意外所得却微乎其微时
在“大数据”时代对数据进行深入挖掘与分析将为企业创造巨大的价值并帮助企业实现成本节约和费用降低拓展新的业务领域选择最佳经营策略识别出最有潜力的客户群体同时在这一过程中企业先前获取的营销优势将逐步被其精细化管理活动所替代作为企业应当认识到‘大数据’不仅是一种技术工具更是一种全新的管理模式能够帮助企业在激烈的市场竞争中占据有利位置
文中涉及了"自我定位"与"评价"两个方面。具体来说，则是关于如何实现自我定位以及如何进行评价的问题。成功的模式往往由其内在因素决定，并非随意复制。然而，在这场快速变革中所取得的成功经验并不直接适用于其他企业——唯有立足于自身的独特优势，在这场变革中保持清醒头脑。企业的资源投放应当如何与产品战略相结合？寻找适合的核心价值观则需与主要业务形成怎样的协同发展关系？
大数据的兴起是建立在人工智能、机器学习以及数据挖掘等技术基础之上的。其中AI和机器学习主要用于支持数据挖掘工作。这一系列流程体现在：通过将信号转化为数据实现信息提取，并通过数据分析获取关键信息。因此，在大数据系统中核心要素在于优化数据量的利用效率。
** Write in Beijing ******
总结参考文献:
http://www.36dsj.com/archives/5609
Copyright ©BUAA