数据仓库实施需注意的四大问题
在实施数据仓库的过程中,还面临着很多影响数据仓库项目成败的关键因素,而这些因素实际上并不完全是技术层面的。这也是为什么数据仓库项目失败比例很高的主要原因。只有在项目中很好的解决这些问题,才能保证数据仓库项目的最终成功。下面分别介绍这些需要关注的问题:
1.采用何种实施方法
企业级数据仓库的实现通常有两种途径:一种是从建造某个部门特定的数据集市开始,逐步扩充数据仓库所包含的主题和范围,最后形成一个能够完全反应企业全貌的企业级数据仓库;另外一种则是从一开始就从企业的整体来考虑数据仓库的主题和实施。前一种方法是各个击破,投资少、周期短且易于见到成果,但由于该设计开始时是以特定的部门级主题为框架的,向其他的主题和部门扩充往往非常困难。而后一种方法恰恰相反:投资大、周期长,但是易于扩展。
以哪种方法进行实施,主要取决于各个行业和客户的实际情况。如电信和银行业,采用第二种方法比较可行,这是因为这两个行业业务发展变化快,为了能够适应将来的变化,整个数据仓库架构必须是可扩展的和易于维护的。如果只是基于部门级的需求去设计,将来肯定无法适应变化。如果重新设计,势必造成前期投入的浪费。对其他一些行业,如制造业和零售业,本着“急用先行”的原则,可以先从某一局部入手,慢慢扩展为数据仓库。
从技术上讲,以部门需求作为主要考虑因素建立的系统,它的数据量不会太大,会影响对将来数据膨胀风险的正确估计,当数据集市扩展到企业范围的时候,由于原有技术无法支撑新的数据规模,会造成数据装载和数据分析速度的降低,甚至达到不可用的地步。另外,企业级的数据仓库会涉及更多的额业务系统,只有充分研究各业务系统,才能了解如何对不同格式、不同标准、不同接口的数据进行集成。如果没有这方面的准备,当扩展到企业层面时,会面临很多技术问题,难以解决,而不得不对原有系统进行修改或重建。
当然,对于第二种方法,也不是说把摊子铺的越大越好。合理的做法是“统筹规划,分步实施”。根据业务需求,把业务的主要方面都涵盖进去,确定彼此之间的联系;对于次要的需求,可以预留一些接口,以备将来细化。否则,如果整个调研周期拖得太长,等进入实施阶段,业务又发生变化,不得不重新修改设计,同样会造成浪费。所以,先搭建好一个易于扩展且稳定的架构,在此基础上逐步实施,是一个兼顾长远发展与合理投入的最佳方式。
此外,分步实施还可以减少风险:前一阶段的经验教训可以为下一阶段提供有益的借鉴,从而使得数据仓库的建设不断完善,不断发展。
2.从业务需求出发,结合先进的实现技术
和其他的应用系统相比,数据仓库对于需求分析和系统设计等前期工作要求更高,其重要性也更加突出。可以说,分析和设计阶段决定了数据仓库最终的失败。因为需求不明确、设计不合理造成的根本性缺陷是以后实施阶段所无法弥补的。因此在分析和设计阶段,对相关的业务部门和技术部门要进行详细的调研,在用户和开发人员之间的迭代和反馈是必须和重要的,它决定了数据仓库最终的成功与否。
由于数据仓库是面向业务分析的,所以最主要的需求应该从业务部门获取和收集,因为数据仓库最终是要服务于业务部门的。需求抓的不准,导致将来将无法解决业务部门的问题,这个数据仓库项目就是失败的,技术再先进也没有用。这是衡量数据仓库成败与否的唯一尺度。
实施的过程中,最好能够把行业专家的经验,与企业现有的需求进行整合,以期得到一个更加全面的需求范围,有利于适应将来业务的变化和扩展。
从技术的角度来讲,必须建立一个可伸缩、可扩展、高性能的数据仓库平台,才能为将来不断的完善、不断发展打下一个良好的基础;同时,由于数据仓库项目要涉及多个业务系统,数据量非常庞大,所以本身的投入也是很大的,在保证系统高效稳定的前提下,尽量降低成本是非常重要的。
3.如何进行主题规划
正如前面所讲,建立数据仓库需要长远的规划,我们建议企业“自底向上”地建立数据仓库,并不意味着不需要在设计阶段的长远规划。采用逐步积累的方式建立数据仓库,其最大的问题是已有的主题是否有助于形成企业级的主题,数据加载模块时候能够重用等。数据仓库的长远规划,并不仅仅是技术部门的事情,应当把数据仓库的构建作为企业发展战略的一个重要组成部分。
数据仓库设计的第一步是主题的确定,从现在的情况看,主题的范围太大实现不了,太小没有意义,应该选择相对独立而且技术上可行的一些业务。例如客户分析、产品分析、收入分析和市场分析等。因为这些分析与企业当前的业务运行联系最紧密,通过它们,可以了解:
·哪个企业拥有哪些不同类型的客户?
·哪些是给我最大收益的客户?如何提升他们的价值?
·如何掌握新的竞争形势下客户的需求与行为?
·哪些业务最受欢迎,利润最高?
·业务的分布如何?
·快速成长的新的收入来源有哪些?
·应收账款、欠费情况如何?
·与其他同行竞争对手的结算金额占整个收入的比例?
·我的客户是否打算选择其他竞争对手?
·运营成本和收益?
·哪些市场活动是有成效的,收益多少?
在完成第一阶段的实施后,可以开始第二阶段的实施。第二阶段主要是从市场营销、资源管理、网络管理、客户服务等部分入手;第三阶段可继续扩展到财务、绩效等更高层次的、全局性的财务、运营情况分析。这时候,所有的重要信息都已连成一体,CEO可以了解有关成本、利润、市场营销还有客户发展趋势等多方面的企业宏观层面的决策信息,它们为定制战略决策提供了充分的依据。决策的制定再也不是单凭经验和感觉了。从而大大的提高了决策的质量,规避了风险。减少了决策失误造成的巨大损失。这也正是数据仓库高投资回报率的重要体现。
当然,在进行主体规划的时候,必须重点强调的是:技术框架和系统设计必须从整个企业的角度来考虑,即使刚开始实施的时候是面向某个部门的。以电信企业为例,在进行“客户”主题设计的时候,就必须考虑到同一用户还有可能是长途电话、移动电话的用户。因此在设计时如果同时考虑固定电话用户,就不仅要解决不同系统的互联问题,在不同系统中用户数据的集成也将是一个巨大的挑战。
4.领导层的参与和支持
数据仓库是面向业务主题的分析型应用。它既需要业务部门的全力配合,又需要先进可靠的技术手段及良好的项目管理过程来实现。它涉及众多的业务部门、系统开发部门、系统运维支撑部门等。在设计和实施阶段需要不同部门的沟通和协作,是一个负责的系统工程。只有领导层从战略的高度上认识到它的重要性,在项目实施过程中给与大力支持和配合,协调各部门资源,保证他们可以及时到位,全职投入才能取得项目的成功。所以数据仓库项目又通常被称为“一把手”工程。从这一点上看,建立一个企业级的数据仓库,主要的障碍不在于技术,而是不同部门之间组织、协调的问题。而高层领导的大力推动和支持,无疑是解决这一问题的最有效的途径。
数据分析咨询请扫描二维码
数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20在现代社会的快速变迁中,选择一个具有长期增长潜力的行业显得至关重要。了解未来发展前景好的行业不仅能帮助我们进行职业选择, ...
2024-11-20统计学专业的就业方向和前景非常广泛且充满机遇。随着大数据、人工智能等技术的快速发展,统计学的重要性进一步凸显,相关人才的 ...
2024-11-20