大数据时代与精准运维
随着科技的进步,我们正步入一个新的时代,新常态下,由重视数量到更注重质量,以创新做为推动力,互联网+、工业4.0、中国制造2025、以及大数据、云计算科技迸发出全新活力。
以人为本的智能时代就要到来:智能连接、智能服务、智能制造,“连接一切,充分感知”是这个时代的特征。
因此,利用这个时代的特定服务,企业家们精准掌舵,站在风口上的人,注定将是大时代的弄潮人。
一、什么是大数据
大数据,就是随着信息化技术的发展,特别是互联网技术的发展,积累下的大量的信息数据资产,这些资产具有四个特点:
第一,数据体量巨大。从TB级别,跃升到PB级别
第二数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等
第三,处理速度快,1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点是和传统的数据挖掘技术有着本质的不同
第四,只要合理利用数据并对其进行准确的分析,我们将会获得高价值回报
业界将这四个特点归纳为4个“V”, 亦即:
Volume(数据体量大)
Variety(数据类型繁多)
Velocity(处理速度快)
Value(价值密度低)
大数据分析最早来源于运维人的日志分析,但之后人们发现这些数据蕴涵着非常大的价值,并逐步发展到对各种业务数据的分析,
当前,大数据的处理分析正逐渐成为新一代信息技术融合应用的结点,大数据成为信息产业持续高速增长的新引擎,对它的有效利用亦将成为提高企业核心竞争力的关键因素。
另一方面,大数据时代科学研究的方法也将发生重大改变。
在大数据时代,可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据, 进行挖掘分析,揭示出其中蕴藏的规律、提出研究结论和对策。
二、精准运维及其与大数据的关系
什么是运维?
所谓运维,既可理解为信息系统的运行维护,又可理解为IT业务的运营及维护工作,两种理解都正确,只是适用的企业类型不一样:
前者是传统的理解,主要适用于一些大型传统企业和IT业界传统作业部分
后者的理解更活跃在一批IT服务的创新企业里,他们更需要企业的经营与用户的需求同步
什么是精准运维?
精准运维是一种IT服务方法,它是要让IT运维服务围绕被服务对象的业务来展开,进行同步心跳式的服务,而不是仅围绕信息系统本身(软硬件)来服务,这在书籍《IT运维之道》有阐述。
作为运行维护,精准运维是通过一系列方法掌握服务对象的信息系统特征以及该信息系统所服务的企业业务特征,找准目标,把握企业运行脉搏,从而精准地规划服务,同步应变,实现服务与业务的匹配。
作为运营维护,精准运维就是从业者以客户为导向,让业务与用户的要求心跳同步,并确保支撑业务的信息系统,随需应变。
两种理解作为精准运维没有本质的差异,就是第一人称还是第三人称而已。
精准运维本质是要保持用户的需求与业务心跳同步,以人为本,要达到的效果与四个因素有关,即人、软件、硬件与环境,具体关联如下图所示:
应用软件是指对业务的逻辑编程
支撑软件包括操作系统、中间件、开发工具、数据库等
硬件包括:客户端设备、服务器、网路设施
环境包括机房设施等
人员主要指开发和运营维护的企业员工。
从图上我们可以看到,前面的因素对后面的因素提出要求,而后面对前面产生影响。
用户或客户对系统的要求是通过对业务的要求来实现的,而用户对业务的要求又是动态的,还各有特色,如果后台准备不足,就可能导致满意度下降,甚至流失客户。
这个特性在互联网行业尤为突出:互联网企业更重视用户体验,信息系统本身的易用性差或稳定性低往往直接影响用户体验,进而对企业的用户群体规模产生致命的影响。
值得一提的是,互联网企业一般客户与用户是一致的,传统企业则不一定。
因此互联网企业对大数据的应用,是要建立在充分感知被服务对象的业务情况,并能预测业务情况的基础上的。
要掌握用户的对业务的动态要求,甚至预测和引导用户的行为,就需要大数据来帮忙,找出关联性,发现趋势并引领趋势,即大数据可以辅助实现精准运维,使其更加精、更加准。
三、为什么企业需要精准运维
在以人为本的时代,虽然客户是上帝,但“上帝”除了尽量满足还需要合理引导。我们说决定客户满意度的因素一般有三:
是客户或用户的欲望和要求,
是竞争对手的情况与态势,
是自身的水平与实力。
1和2均为外部因素,只有3是内部因素。
根据实践经验我们发现:满足、引导和控制外部并提升内部是提高满意度的最佳之法。
当然。内外密切相关,提升内部必须是围绕外部的,而只有对外部的情况准确掌握,才能做到对外部的满足、引导与控制。
所以,目前一切的智能活动都是基于“明白”这个概念出发的,明白客户(用户),明白对手,这样才能做到贴心服务。
这是一个以人为本的社会,如何明白人们的心思,那就是所谓的“察言观色”。
怎样察言观色呢?
道理很简单,因为人们在家庭和社会活动中留下许多痕迹,这些痕迹数据,就是企业来判断客户或者用户行为的依据,这些大数据加上合适的分析,能帮助我们随需应变。
现在互联网、移动互联网、物联网正在逐步成熟,一些巨型的传统企业或IT服务企业,如:腾讯、阿里、百度、京东、google、amazon、中国电网、银行等,具备了这样的分析条件。
正如我在《IT运维之道》中提到的:大部分IT系统在设计和开发阶段,受开发周期、运行效率和成本等因素的影响,都不可能做到无限柔性;要做到随需应变,就需要运维工作来帮忙。当然,这对运维工作本身也提出了较高的要求:
首先,运维不仅仅是运行维护而是运营维护, 需要全面、准确把握业务需求;
其次,运维工作需要精准,将业务需求和信息系统性能、功能等进行匹配度分析,为系统升级改造、优化完善提供依据和解决方案;
再次,要对运营过程中的大数据从业务角度进行精准分析,从而找到新的业务增长点或改进方向。
精准运维有助于我们的企业服务精准化、个性化、甚至引领潮流化,使企业强者恒强。
当前,互联网企业正处于争夺“入口”战的白热化阶段:
是互联网正在颠覆传统信息获取、生活消费以及商务方式的入口渠道
是面临众多互联网企业抢夺的现实,而且互联网企业扁平化程度越来越高
如何成为第一、稳住第一,都是CEO思考的课题。
质量、速度、成本是互联网企业产品的主要考量。
互联网企业的产品从策划、设计、研发、上线、运营都要考虑这三个问题。这里的质量是广义的质量,包含了用户的热度。
所以作为运营维护人一开始就要参加到整个周期中,并把控全局,才能真正与用户的需求心跳同步,精准运维。
经典案例分析:
2015年微信发红包,除夕摇一摇总次数110亿次,峰值1400万次/秒,8.1亿次每分钟,微信红包收发达10.1亿次!
惊人数字再次让人们好奇,2015年微信红包方式与去年用户与用户之间互发红包相比,摇红包的方式对业务量来说是一个极大的爆发,光是除夕10:30送出的一波红包就达到了1.2亿个,已经是2014年除夕夜峰值的4800倍之巨 (2014年峰值每分钟被拆开红包数量仅2.5W个) !
大量用户在同一时间摇红包,瞬间产生每秒千万级的请求,这个量级的请求如果不加以疏导处理直接到达后台,必定会导致后端服务过载甚至崩溃。
微信后台运维团队主要通过三大应对策略应对:有损服务,柔性可用,大系统小做。
我们在惊叹腾讯再次创造奇迹的同时,仔细想想,哪些可损、哪些可柔、哪些可小做?
微信摇红包是个业务,实现这个业务的是它的信息系统,就是说配什么样的员工、用什么样的硬件、怎样的应用更合理,需要什么样的环境,这些决策都需要基于预测用户的群体意识,决定保哪部分业务,对应的资源怎么调整,都与大数据有关。
四、企业怎样做好精准运维
1. 传统企业
传统企业运维的关注重点是在安全、权限管理等方面,以及旧IT资产利用率,如何利用好现有的IT资产是他们目前迫切需要解决的问题。
传统企业的内网,使用大量的小型机(IBM Power小型机、HP小型机、Sun小型机等)、高端网络和存储设备(Cisco、EMC、日立等),使用大量的商业数据库、ERP和中间件技术(IBM DB2、Oracle、SAP等)。
企业的核心业务运行于这些设备和软件之上,业务年限长、历史遗留问题多,数据安全、业务连续性等是这些企业的生命线。
在运维方面,传统企业往往通过购买厂商和集成商(即第三方)的服务来保证其IT业务的稳定性。
那么,传统企业如何做好精准运维呢?主要有三个关键点,具体如下:
企业高层要有战略高度,能够意识到业务的发展与信息系统的运行休戚相关,并重视精准运维在促进业务发展中的重要作用;
引入一个专业的运维团队(这个团队往往是第三方专业运维服务商),能够协助本企业搜集业务需求以及与信息系统密切相关的人、软件、硬件、环境等信息,并进行信息系统与业务的匹配度分析,进而提出对信息系统的优化建议;
企业根据上述优化建议进行综合评估,从成本效益角度选择部分或全部予以实施,并由专业运维团队来跟踪实施效果。
2.互联网企业
对于互联网企业的运维,如何快速有效地部署、如何保证可利用率、如何处理大并发访问等是他们的头等要事。
现代的互联网企业,大量使用PC服务器、普通硬盘盘阵和集群、先进的SSD技术、大量使用Linux、MySQL等开源软件。业务模式单一,软件技术、硬件设备更替迅速。
性能优化、部署灵活、提升IT硬件利用率是他们的工作重点,业务领先的互联网企业背后都有一个强大的IT运维技术团队,而这个运维技术团队往往是互联网企业内部的一个信息部门或运维部门。
对于互联网企业来说,要做好精准运维,主要关注以下几个方面:
企业高层要把握大生态环境,要时刻关注用户体验和发展趋势,并将其作为业务发展的一个重要任务来抓。
企业内部的专业技术团队要开展大数据分析,要掌握用户对业务的动态要求,并预测和引导用户的行为,通过大数据来辅助开展精确预测。同时,将预测结果转化为对信息系统的需求,包括人员、软件、硬件、环境需求等,从而提出性能提升和服务创新的优化建议。
根据内部专业技术团队的优化建议,进行系统性能的优化或新服务产品的设计,以精确匹配用户需求。
展望未来,“连接一切”将是一个时尚的词句,物物相连,人人相连,人物相连。
在这个巨大且复杂的网络中,以大数据、云计算为基础的智能感知世界,就在未来十年诞生,让我们张开双臂,拥抱未来,以大数据为基础,精准感知、精准运维。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13