基于hadoop架构的企业数字化转型方案
引言
大型传统企业往往遇到以下问题：首先，在构建业务系统时会形成信息孤岛；其次，在各个部门内部的专业化程度较高；此外，在不同环节之间会存在复杂的流程衔接；最后导致企业级的数据信息无法实现统一、完整且开放的状态。基于已经建立起来的物理层Hadoop数据中心，在确保现有技术架构的前提下，请思考如何按照业务需求组织和分析这些信息流动路径，并最终实现资源优化配置和价值提升的目标
该课题也是所有传统企业在数字化转型过程中都面临着。其中帆软公司也开发了数百家企业的数字化转型方案，并且这些企业大多都是熟悉这一领域的。因此这也是基于这一课题进行系统的梳理与总结。
在讲如何做之前，先来分析一下背景：
问题一：业务系统数据孤岛、各板块专业化程度高
这是一个典型的业务部门间数据孤岛问题：由于多个业务部门存在且各系统的数据无法实现互联互通而导致的信息孤岛现象发生。
这样的问题要着重主数据管理 ，制定标准规则。
问题二：数据不统一不完整不开放
数据来源渠道多，责任不明确，数据填报缺失这些都是质量差的问题。
这样的问题要着重数据治理 ，性能优化上可以采取分布式数据库。
问题三：以业务流程为导向梳理数据走向
这背后暗藏的现实可能是：
- 业务部门的压力促使IT部门将大量时间用于数据采集工作；
- 指标分散且缺乏系统性分析导致业务与IT部门难以实现有效协同；
- 当前的报表设计存在重复使用资源的问题。
这也是很多企业的共性问题。
问题四：希望达成数据价值转化输出
因为问题三的影响因素存在，在处理各类报表方面IT部门显得力不从心，并未能实现数据的有效呈现形式化管理以及对业务决策的支持作用。相应地, IT部门也未能为企业的经营战略目标提供实质性的价值支持.
要让数据服务于业务，落地产生价值，具体该怎么做？
基于hadoop数据平台，先抛架构！
第一步：构建一个完善的数据环境
主数据管理
1、 定标准
所需标准有编码规则，命名原则、划分原则、共享原则。
- 标准规划：基于企业实际需求来确定实施范围，并结合项目的重要性程度及实施难度制定相应的计划。该规划可以通过多种调研手段如问卷调查、实地访谈以及文档收集等方式来进行。其主要涉及的主要内容包括数据分布情况、数据流动路径以及服务运行规则等方面的具体研究与分析。
- 标准设计：在既定的方法论指导下完成对各项数据标准的设计工作，并按照以下三个维度进行详细定义：一是针对业务的核心功能进行详细描述；二是明确各字段的数据类型及其长度设置；三是补充其他必要的信息说明。
- 实施映射：通过对已建立的数据标准化体系与现有业务系统和服务应用进行全面的技术对接，在确认二者之间对应关系的基础上建立相应的关联机制。
- 标准执行：借助先进专业工具和技术手段对标准化执行情况进行持续监控与评估。
- 维护增强：随着业务规模的不断扩大, 企业将面临更为复杂的数据管理挑战, 因此需要定期修订和完善相关标准体系, 并采取一系列有效措施持续对其进行优化改进以确保其有效性和适应性
2、 搭平台
将各业务中可能流通共享的主数据的名称和标准统一起来
3、 控制关键环节流转
涉及主数据管理的关键环节、科学规划关键环节处理顺序、配置责任岗位或部门对应关键环节
数据质量
第二步：开展业务分析
指标梳理
分析什么数据，如何反馈给业务，这些都已转化成指标来解决
进行指标梳理时需与业务部门共同参与。可以通过访谈与调研手段梳理各层级关注的具体指标，并从基层逐步推进至高层管理。此外还可以将企业现有的SCOR计分卡等绩效管理体系或者现有业务分析框架转化为能够说明问题的具体指标
建立全指标体系
对各项指标进行系统梳理之后
最后所有业务汇总，形成一个全指标体系。
梳理报表体系
完成指标体系的梳理后, 各个业务部门也需要清楚自己需要分析哪些数据. 数据一般会通过报表的形式呈现出来, 并且这些报表相当于落地的产品, 在内容上具有主题导向和规划性的分析.
基于基础业务与日常工作的数据汇总：涵盖基层业务流程及日常运营活动的综合体现。其主要服务于特定业务领域的操作需求，并提供诸如销售数据分析、物资库存统计、途经货物跟踪以及采购记录回顾等典型功能模块支持。在实际工作中遇到相关需求时（或当相关问题出现时），员工会通过调用这类报表进行数据检索与分析。
经营报表主要用于日常运营活动。其核心功能不仅服务于单一的具体工作领域，并且涵盖相关部门或某一部门负责管理和监督的一个工作模块。例如店长业绩管理看板-库存管理系统-异常店铺管理系统等。通过实时监控负责业务的当前状况来发现问题。例如，在财务部门的数据监控中
战略报表：这类管理工具主要用于高层集团的事物协调与管控，在日常运营中 boss团队会特别关注经营数据以及项目进度追踪等方面的具体情况。此类报表通常采用驾驶舱形式呈现以便于企业实现全局性的事物监控与管理
建立分析体系
到此属于数据驱动的范畴，在仅关注单一业务维度的传统报表模式之外，则更加注重某一个体业务问题的数据深入分析。具体而言，则是通过数据深入分析来缩减供应链成本、结合市场环境进行精准策略制定等方法实现价值提升。在传统企业应用层面则涵盖智能制造体系构建、大数据营销模式创新、供应链效率优化提升、市场营销效果评估优化、新零售模式落地支持以及客户画像与标签化运营等多个方面。
数据部门应积极寻找业务机会，并为公司带来经济收益；从而更加注重业务发展与资源优化的平衡。
小总结
目前对此问题而言
工具上，需要一个具有开放性的报表/BI系统来支撑，需要满足的需求：
① 要能连接各系统数据，打通数据壁垒
② 能支撑底层的hadoop大数据平台架构，具有良好的数据处理性能
前端界面色彩鲜艳, 操作简单, 具备一定的数据处理能力。（直观且美观的界面, 既美观又实用, 得到业务的认可）
如若想要获取数据管理和分析的工具，建议您查阅一下FintechReport（finereport）的相关信息；与此同时，FineBI（FineBI）也是一个值得了解的好选择。
至于，传统企业里如何让老板、业务领导们觉得数据分析很重要？
为了实现快速的数据价值转化输出的目的, 其实就是要让管理层和业务部门认识到数据分析的重要性, 希望由业务部门和管理层主动参与到数据分析工作中去, 这个问题也引发了不少讨论, 部分内容可以参考链接中的信息, 希望能提供一些思路供参考