大数据解决方案的实施让很多的IT部门面临困境。大数据应用程序并不需要如支持团队做应用程序一样的基础架构。随着企业接受大数据,管理层会假设员工规模会减少。
而那些非必要的技术人员应该做什么呢?一个答案就是:将其转换为技术顾问,与业务部门进行协作。换句话说,就是给予他们面向客户的角色。
大数据之后信息技术的状态
大数据革命已然过去,这让信息技术(IT)企业不同程度的采用了新技术。有些完全接受了大数据存储和复杂分析的概念,并采用了最佳实践和成熟的项目管理方法。结果是:形成了关于产品,销售,订单及最重要的客户的分析宝库。
而其他的用户则没有如此幸运。可能他们所购买的特定供应商的解决方案并不包含完整的规划,或是可能中层管理人员并没有准备好为成功的解决方案投入必要的成熟资源。结果便是:半组织化的信息集合,少数分析解决方案,并且这种想法会在某天以某种方式让其付出代价。
与此同时,数据库管理员、系统程序员,以及其他技术专家和主题专家处在一个后大数据时代。软硬件安装及配置已经完成,概念验证和试点程序已交付给最先的内部客户。大多数软硬件混合大数据解决方案都不要求内部调优:分析查询执行非常快,而且业务分析师正对探索和调查寻找有用信息翘首以待。还剩下什么留给技术人员去做呢?
当前的基础架构团队
首先,我们来考虑多面手。新手DBA和系统程序员在这个类别起步,只是发展专业技能并在他们之后的职业生涯中加深知识。他们最好的角色往往是明确定义好的,标准化的流程。这些包括:
管理数据库备份和恢复流程;
监视并检测灾难恢复准备;
实施自我分析和自我调优流程(有时称之为自治);
SQL查询调优,包括Explains和访问路径分析;
数据库性能调优;
测试生产对象和数据迁移;
监视数据库日志以发现错误和问题。
在新环境中,很多这些流程是多余的或不必要的。鉴于大数据分析解决方案的速度,SQL查询调优在大多数情况下可能是不必要的。对于数据库性能调优同样如此,因为很多供应商的软硬件混合解决方案(有时称之为设备)是在没有任何内部性能调优的功能条件下交付的。这就使得辅助人员更加容易的完成工作。
结果就是:在后大数据时代的IT企业中不再需要多面手。
接下来,让我们考虑专家专门负责的处理复杂工作:
系统和网络性能调优;
软件安装和版本迁移;
为关键任务应用程序做首要技术支持;
协助和管理数据架构变更;
对潜在供应商工具执行基准测试。
随着IT企业接受大数据分析,需要专家做的事会更少,这意味着专家需求量会减少。
在后大数据时代的基础架构支持
IT专家和多面手必须将他们的注意力转移到内部用户上来,他们会面临许多的技术问题。以下是他们最为紧迫的一些问题。
大数据性能
随着大数据应用程序价值的增长,业务分析师对分析的使用会剧增。更多的查询会产生可操作的结果,生成常规报表。用户会要求时间跨度更大,地理区域更大的更多数据。最终,大量用户和查询会压垮你的大数据应用程序。
专家应该注意增加内部用户应用程序的知识。他们需要什么数据,他们什么时候需要,以及谁会使用这些结果?专家会在一些应用程序领域变为主题专家,作为内部顾问,以及会在诸如查询效率和类似数据集之类的高级分析方法提供问题咨询,进而提升他们的价值。
多面手可以在他们的环境中通过收集性能数据和使用统计信息来提供有价值的服务。这些数据可能会用于对查询类别进行优先级的划分。例如,当资源利用较低时,低优先级查询会推迟处理。
企业数据模型
随着存储了越来越多的数据,拥有一个有组织的数据字典和数据模型变得尤为重要。试问如果不知道拥有什么样的数据,又如何有效的进行查询呢?
专家,特别是数据库管理员,应该已经意识到数据建模概念并且应该拥有多重应用程序和系统的知识。现在可以利用这些知识来协助业务分析师进行最初的分析定义和查询构建。
多面手可以作为应用程序调查员来提供服务,给出数据元素的清单并进行分类和确认数据属性和来源。
大数据技术
大数据并不只是关于用户姓名,账号,以及存款等。虽然这些常见的业务数据可以包括在大数据解决方案中,但是还有更为有趣的数据元素和数据类型可以探索:
还有诸如大型对象(LOBs)之类的新型复杂数据类型
诸如可扩展标记语言(XML)的自我描述型数据正变为内部应用程序数据传输事实上的标准。很多文档和数据记录都以XML格式存储,因为它们可以通过多种跨平台应用程序进行读取。
多重结构数据在捕获用户网站行为的时候是很常见的。所谓的点击流为追踪网站访问者做了什么和他们访问了什么数据,以及他们的偏好数据提供了方法。
这些新数据类型中的有些会让业务分析师感到困惑。专家和多面手都可以为参考和回答问题以及为新数据类型的展示和如何对它们进行最佳利用等提供服务
对过渡进行管理
支持经理应该找到相对简便的方法为他们的员工在过渡上提供帮助。
一些多面手会在最初服务于特定的内部用户,以在数据需求定义上为他们提供服务。然后这可以扩展到更多的技术角色上来,包括分析执行或是结果分析等。甚至将多面手转移至业务线也是值得考虑的。
很多专家会继续处理技术相关的问题,诸如性能和调优。一些会在高级分析选项,方法和分析新数据类型等方面提供内部咨询。管理层必须让这些专家在工作中保持主动,否则就要承受他们流失去其他类似企业的风险。
总结
基础架构支持团队成功地经受了大数据的洗礼,并且最有可能负责了许多应用程序的成功实施。但是,这一结果就导致对于IT支持人员需求不可避免的减少。
专家和多面手必须通过学习内部业务线和让他们自己熟悉当前的业务数据需求来扩展他们的技能。假设一个面向用户的角色可能是他们仅有的长期职业生涯选择。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28银行业正处于一个前所未有的数字化转型时期。在数字经济的驱动下,金融科技如大数据、人工智能、生物识别、物联网和云计算等技术 ...
2024-10-28数据分析可视化是一门艺术与科学相结合的技术,其主要目标是将复杂的数据变得更易于理解和分析。通过将数据以图表的形式呈现,我 ...
2024-10-28数据分析师在现代信息密集型的商业世界中扮演着至关重要的角色。他们通过专业的技能和敏锐的商业洞察力,帮助企业从大量数据中提 ...
2024-10-28