Advertisement

行业大数据技术发展趋势

阅读量:

伴随着大数据技术的持续发展与深入研究,在其各环节的发展进程中展现出新的趋势与挑战。2015年12月,《中国计算机学会(CCF)大数据专家委员会发布的中国大数据技术与产业发展的报告》,并对中国在这一领域的未来发展进行了深入分析与展望。该报告主要涵盖了以下六方面的内容:

1大数据可视化

近年来大数据概念迅速得到了人们的深刻认识。人们可以直接观察到的数据大多采用可视化呈现的形式。可视化则是将复杂的数据转换为可交互的图形的一种方式。这种转换不仅有助于让人们更加深入地理解和分析数据对象的各种特性。即使对于IT技术不熟悉的一般民众以及非技术人员也能够更容易地理解和接受这一信息展示方式。这种直观的信息传递方式使得在国家计策和社会民生等多个领域都能充分体现出大数据的价值。为了最大化其应用效果建议应当在各个与大数据相关的研究、开发以及应用项目中适当分配一定比例用于视觉化与可视化分析阶段。

2大数据与多学科融合

大数据技术是不同学科领域融合发展的产物,在多个领域中产生了广泛的交叉融合现象。这种跨领域整合的趋势推动形成了一个新兴的基础性学科分支——数据科学。通过夯实这一基础性学科领域的理论支撑体系,则有助于促进不同研究领域的深度融合。从表面上看各相关学科的研究方向各有侧重,但若从数据层面进行统一分析,则会发现它们之间存在本质上的共通性。随着社会数字化进程逐步加深,在越来越多的传统学术领域中开始出现共同的数据处理特征,在这些情况下都可以采用相似的思想方法来进行系统性的研究工作。无论是计算机领域的学者还是数学、统计学等方面的专家都应当关注这一前沿领域的发展动态,并积极参与其中。建议社会各界对"数据科学"这一概念域持更加开放的态度,在现有认知基础上进一步泛化其适用范围,并鼓励各方力量共同推进"数据科学"基础理论研究工作的同时也在实践中探索其具体应用路径和发展前景

3大数据安全

涉及的数据安全与隐私议题主要涵盖以下几个方面:
第一面,
面对的数据潜在威胁即通常被归类为网络安全问题。
每当这些技术、系统及应用整合并积累并整合了大量数据资源时,
必然会成为潜在受攻击的目标。
第二面,
其过度使用可能导致的问题及其负面影响,
最典型的是个人数据泄露事件,
此外还包括基于数据分析所引发的商业机密泄露以及国家层面的信息机密泄露。
第三面,
当前社会普遍存在的数据安全意识薄弱等问题。
这些因素都可能削弱发展信心,
阻碍创新进程。
因此,
应在研究开发中保持一定比例用于对应的安全保障工作,
只有通过持续深入的研究探索才能切实提升防护能力。

4大数据多样化处理模式

在数据处理模式方面更加多样化,在应用层面持续丰富和发展;批处理技术适用于特定需求场景;内存级别的运算将主导提升系统性能;相比传统的磁盘存储的方式,在性能上有显著提升;尤其是开源项目Spark现已成为数据科学领域的最知名开源项目之一;它提供了多种功能强大的运算框架包括流计算交互查询机器学习以及图计算等多种功能模块;支持Java Scala Python R等多种编程语言接口显著提升了数据操作效率并吸引了大量开发者和企业客户关注;基于Hadoop生态系统构建或者完全独立运行都可以使用Spark系统.

新兴的技术亮点深入渗透到大数据的多样化模式之中,在此过程中呈现出更加丰富与均衡的发展轨迹,并以此来满足数据多样化的需求。建议应指导其有意识地整合至大数据技术生态系统之中;或者借助其产生的成果;或者反馈给这一生态系统。

5大数据智能应用结合深度分析推动

在学术技术领域中

相较于传统的机器学习算法而言,深度学习提供了一种能够让计算机自动生成并产生特征的方法,并将其整合到模型构建的过程中。这种方法不仅降低了人工设计特征所带来的不足与缺陷。基于多层次的人工神经网络模型体系的支持下,在深入挖掘数据多级次特征方面展现出显著的优势,并能够更为精准地完成数据表示这一关键环节的任务。此外,在训练集规模扩大时的趋势下(即随着训练样本数量增加),深度神经网络架构相对于传统的机器学习算法而言会呈现出更为显著的优势

当前,在能够相对容易地积累训练样本数据的关键领域(如图像分类、语音识别以及问答系统等)中实现深度学习的成功应用已经初具规模,并已在多个关键领域展现出显著的应用效果。展望未来,在更多行业与领域的数据采集与存储体系逐渐完善的过程中,“深度学习”的广泛应用将成为不可逆转的趋势。基于大数据应用所具有的复杂性特征,“不同技术手段间的协同将成为一种持久的趋势”。建议持续关注智能技术的发展动态,在各自的专业分析领域(包括战略规划阶段的技术支撑、技术研发层面的关键探索以及实践推广环节的具体实施)展开深度学习的应用研究与实践探索

6大数据技术生态的良性发展

在大数据领域中,应用驱动与技术创新并重,两者在重要性上不相上下,共同塑造着这一领域的未来走向

对数据处理能力、性能等指标进行测试、评估以及与标杆进行对比的第三方形态逐渐涌现并逐渐成为行业关注的焦点。公正的技术评价机制有助于优秀技术获得市场青睐并推动其生态系统的发展。各类创业创新大赛频繁举行为人才的培养和选拔提供了新模式。在2016年,“开源”将继续主导这一领域的发展并推动测评与大赛取得突破性进展。切勿封闭式发展大数据技术和系统而是应积极融入全球化的技术创新生态中以促进其可持续发展

全部评论 (0)

还没有任何评论哟~