|
（本文作者：华为大数据架构师 陈睿）
6 {; W8 f* ^. c+ _, z信息化时代，数据为王，企业的竞争很大程度上取决于数据的竞争。数据仓库作为大数据集群的中枢系统，提供建立决策支持和执行信息系统工具的基础，用于衡量和评价企业是否正在向预定目标前行，对企业发展具有重要作用。 6 H2 p# g3 Q+ E+ Q9 b7 N& _9 o
海量数据 如何实现统一管理？ 8 \/ x8 ] C, x- b
计算机和网络技术的进步，促进各种功能强大、能收集管理和分发大量数据的硬件和软件平台不断涌现。在商业应用中，与产品和服务相关的交往经常会涉及繁琐的事务处理，这些事务不限于商业方面，也涉及政府、保健、保险、制造、财经、分销、教育等。由于数据量大、数据来源多样化，企业在构建管理信息系统时，不可避免地会遇上如何管理这些浩如烟海的数据，以及如何从中提取有用信息的问题。这时，构建企业数据仓库就显得尤为重要了。 & x1 h& F. I& ]: P" t
数据仓库的最大优点在于它能把企业网络中不同信息岛上的商业数据集中到一起，存储在一个单一的集成数据库中，并提供各种手段对数据进行统计、分析。比如：数据仓库在商业银行的应用范围包括存款分析、贷款分析、客户市场分析、相关金融业分析决策(证券、外汇买卖)、风险预测、效益分析等，数据仓库会为客户关系系统、管会系统，监管报送系统等下游的信息系统提供经标准化、集成后的历史数据。从上述案例可见，作为企业级的数据库应用，数据仓库连接了上游的交易系统和下游的信息系统，是企业大数据的中枢。那么如何建成企业数据仓库呢？ 3 K0 K- q2 _1 t* s( Y
数据仓库实现方式
; h$ Z9 O* m, g- V1 ]1 s% y
1 ~4 h4 U p( Z0 P目前在数据仓库技术的实际应用中，主要有以下两种实现方式：
" V5 e% `0 r: k$ C, p3 t
$ v8 p* S0 w4 d" M0 `& O - 在关系数据库上建立数据仓库(ROLAP)；
- 在多维数据库上建立数据仓库(MOLAP)。
* n3 x, ]' K, }5 D4 \, b0 y# s
" x; V) J' }# P1 `( R8 F, n( HMOLAP方案以多维方式来组织和存储数据；ROLAP方案则以二维关系表为核心表达多维概念。通过将多维结构划分为两类表：维表和事实表，使关系型结构能较好地适应多维数据的表示和存储。在多维数据模型的表达方面，多维矩阵比关系表更清晰且占用的存储更少，而通过关系表间的连接来查询数据的ROLAP系统，系统性能成为最大问题。MOLAP方案比ROLAP方案要简明，索引及数据聚合可以自动进行并自动管理，但灵活性稍差；ROLAP方案实现较为复杂，但灵活性相对较好，用户可以动态定义统计和计算方式，也能保护在已有关系数据库上的投资。
8 ?! T0 U/ U4 V由于两种方案各有优劣，因此在实际应用中，往往将MOLAP和ROLAP结合使用，即混合模型。利用关系数据库存储历史数据、细节数据或非数值型数据，发挥关系数据库技术成熟的优势，减少花费；而在多维数据库中存储当前数据和常用统计数据，以提高操作性能。 ' i/ }% s) y9 V
由于目前正在运行的OLTP系统中已积累了海量数据，如何从中提取出决策所需的有用信息就成为用户最迫切的需要。新建数据仓库虽然能从功能、性能各方面给出一个完整的解决方案，但需要投入大量的人力、物力，并且数据仓库的建设和分析数据的积累需要一定时间，无法及时满足用户对信息分析的迫切需要。因此在筹建数据仓库的前期，可以采用一些合适的表现工具，在原有OLTP系统上建立起一个逻辑的数据仓库系统。
4 d2 Q+ P2 J2 u+ SOLAP类数据仓库核心技术
% f7 {2 a" G l4 }) D9 R& UQ：OLAP类数据仓库需要哪些核心技术呢？
6 G, V' i! w1 ^! F% VA：主要有以下：分布式执行框架，VPP用户态TCP协议，支持>1000服务器，万级CPU核并行计算；多线程并行算法，实现核心算子内并行执行；众核(>64 cores)支持，NUMA架构优化；SIMD + 向量化引擎，一个指令执行一批数据的操作；支持X86，ARM指令；LLVM编译执行，将热点函数预编译成机器码，减少SQL执行指令数，提升性能。
4 p% u7 e0 {6 p6 s0 ^在数据处理方面：高准确性数据处理，总分对账等要求较高的应用场景；时效性要求较高，大数据量、复杂SQL、跨表join批处理任务；固定时段固定模式的统计分析报表类任务；大数据量、复杂查询条件下、低时延快速响应的交互查询类任务。 ) q- |' C$ x2 C/ i) L) h3 M& r
掌握以上核心技术，你便可以帮企业构建大数据的中枢——数据仓库，提高企业洞察运营趋势的能力、预测和计划的精确性，助力企业实现更大商业价值。
$ Y" U5 z5 a* E( m8 o) A9 P在华为大数据认证课程(HCIP Big Data)中，学员将学习到企业级的大型并行处理分布式数据仓库平台FusionInsight GaussDB200的数据库设计和开发、应用程序开发和类标准SQL等开发内容，以及数据库集群管理、 安全管理、并发控制、负载均衡管理和数据库调优及数据库性能监控等运维内容，助力构建企业数据仓库。
8 j0 e+ v- l9 v# N想获得数据仓库构建能力吗？HCIP-Big Data认证助你轻松掌握该技能，胜任数据仓库开发、大数据分析、数据库运维和DBA的相关岗位。
; G; R5 c, ^8 x! |' T/ [# K关于构建数据仓库相关知识及华为大数据认证，你有什么想问想说的？欢迎在下方评论区留言。 & k# H9 K3 g4 E; }! p. v. X$ A: r
' F9 h, X a* ` | 
所有IT类厂商认证考试题库下载
【新盟教育】2023最新华为HCIA全套视频合集【网工基础全覆盖】---国sir公开课合集
【新盟教育】网工小白必看的！2023最新版华为认证HCIA Datacom零基础全套实战课
原创_超融合自动化运维工具cvTools
重量级~~30多套JAVA就业班全套 视频教程（请尽快下载，链接失效后不补）
链接已失效【超过几百G】EVE 国内和国外镜像 全有了 百度群分享
某linux大佬，积累多年的电子书(约300本)
乾颐堂现任明教教主Python完整版
乾颐堂 教主技术进化论 2018-2019年 最新31-50期合集视频（各种最新技术杂谈视频）
Python学习视频 0起点视频 入门到项目实战篇 Python3.5.2视频教程 共847集 能学102天
约21套Python视频合集 核心基础视频教程（共310G,已压缩）
最新20180811录制 IT爱好者-清风羽毛 - 网络安全IPSec VPN实验指南视频教程
最新20180807录制EVE开机自启动虚拟路由器并桥接物理网卡充当思科路由器
