大数据解决方案的实施让很多的IT部门面临困境。大数据应用程序并不需要如支持团队做应用程序一样的基础架构。随着企业接受大数据,管理层会假设员工规模会减少。
而那些非必要的技术人员应该做什么呢?一个答案就是:将其转换为技术顾问,与业务部门进行协作。换句话说,就是给予他们面向客户的角色。
大数据之后信息技术的状态
大数据革命已然过去,这让信息技术(IT)企业不同程度的采用了新技术。有些完全接受了大数据存储和复杂分析的概念,并采用了最佳实践和成熟的项目管理方法。结果是:形成了关于产品,销售,订单及最重要的客户的分析宝库。
而其他的用户则没有如此幸运。可能他们所购买的特定供应商的解决方案并不包含完整的规划,或是可能中层管理人员并没有准备好为成功的解决方案投入必要的成熟资源。结果便是:半组织化的信息集合,少数分析解决方案,并且这种想法会在某天以某种方式让其付出代价。
与此同时,数据库管理员、系统程序员,以及其他技术专家和主题专家处在一个后大数据时代。软硬件安装及配置已经完成,概念验证和试点程序已交付给最先的内部客户。大多数软硬件混合大数据解决方案都不要求内部调优:分析查询执行非常快,而且业务分析师正对探索和调查寻找有用信息翘首以待。还剩下什么留给技术人员去做呢?
当前的基础架构团队
首先,我们来考虑多面手。新手DBA和系统程序员在这个类别起步,只是发展专业技能并在他们之后的职业生涯中加深知识。他们最好的角色往往是明确定义好的,标准化的流程。这些包括:
管理数据库备份和恢复流程;
监视并检测灾难恢复准备;
实施自我分析和自我调优流程(有时称之为自治);
SQL查询调优,包括Explains和访问路径分析;
数据库性能调优;
测试生产对象和数据迁移;
监视数据库日志以发现错误和问题。
在新环境中,很多这些流程是多余的或不必要的。鉴于大数据分析解决方案的速度,SQL查询调优在大多数情况下可能是不必要的。对于数据库性能调优同样如此,因为很多供应商的软硬件混合解决方案(有时称之为设备)是在没有任何内部性能调优的功能条件下交付的。这就使得辅助人员更加容易的完成工作。
结果就是:在后大数据时代的IT企业中不再需要多面手。
接下来,让我们考虑专家专门负责的处理复杂工作:
系统和网络性能调优;
软件安装和版本迁移;
为关键任务应用程序做首要技术支持;
协助和管理数据架构变更;
对潜在供应商工具执行基准测试。
随着IT企业接受大数据分析,需要专家做的事会更少,这意味着专家需求量会减少。
在后大数据时代的基础架构支持
IT专家和多面手必须将他们的注意力转移到内部用户上来,他们会面临许多的技术问题。以下是他们最为紧迫的一些问题。
大数据性能
随着大数据应用程序价值的增长,业务分析师对分析的使用会剧增。更多的查询会产生可操作的结果,生成常规报表。用户会要求时间跨度更大,地理区域更大的更多数据。最终,大量用户和查询会压垮你的大数据应用程序。
专家应该注意增加内部用户应用程序的知识。他们需要什么数据,他们什么时候需要,以及谁会使用这些结果?专家会在一些应用程序领域变为主题专家,作为内部顾问,以及会在诸如查询效率和类似数据集之类的高级分析方法提供问题咨询,进而提升他们的价值。
多面手可以在他们的环境中通过收集性能数据和使用统计信息来提供有价值的服务。这些数据可能会用于对查询类别进行优先级的划分。例如,当资源利用较低时,低优先级查询会推迟处理。
企业数据模型
随着存储了越来越多的数据,拥有一个有组织的数据字典和数据模型变得尤为重要。试问如果不知道拥有什么样的数据,又如何有效的进行查询呢?
专家,特别是数据库管理员,应该已经意识到数据建模概念并且应该拥有多重应用程序和系统的知识。现在可以利用这些知识来协助业务分析师进行最初的分析定义和查询构建。
多面手可以作为应用程序调查员来提供服务,给出数据元素的清单并进行分类和确认数据属性和来源。
大数据技术
大数据并不只是关于用户姓名,账号,以及存款等。虽然这些常见的业务数据可以包括在大数据解决方案中,但是还有更为有趣的数据元素和数据类型可以探索:
还有诸如大型对象(LOBs)之类的新型复杂数据类型
诸如可扩展标记语言(XML)的自我描述型数据正变为内部应用程序数据传输事实上的标准。很多文档和数据记录都以XML格式存储,因为它们可以通过多种跨平台应用程序进行读取。
多重结构数据在捕获用户网站行为的时候是很常见的。所谓的点击流为追踪网站访问者做了什么和他们访问了什么数据,以及他们的偏好数据提供了方法。
这些新数据类型中的有些会让业务分析师感到困惑。专家和多面手都可以为参考和回答问题以及为新数据类型的展示和如何对它们进行最佳利用等提供服务
对过渡进行管理
支持经理应该找到相对简便的方法为他们的员工在过渡上提供帮助。
一些多面手会在最初服务于特定的内部用户,以在数据需求定义上为他们提供服务。然后这可以扩展到更多的技术角色上来,包括分析执行或是结果分析等。甚至将多面手转移至业务线也是值得考虑的。
很多专家会继续处理技术相关的问题,诸如性能和调优。一些会在高级分析选项,方法和分析新数据类型等方面提供内部咨询。管理层必须让这些专家在工作中保持主动,否则就要承受他们流失去其他类似企业的风险。
总结
基础架构支持团队成功地经受了大数据的洗礼,并且最有可能负责了许多应用程序的成功实施。但是,这一结果就导致对于IT支持人员需求不可避免的减少。
专家和多面手必须通过学习内部业务线和让他们自己熟悉当前的业务数据需求来扩展他们的技能。假设一个面向用户的角色可能是他们仅有的长期职业生涯选择。
数据分析咨询请扫描二维码
数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21