数据工作的本质:从业务中来,到业务中去
数据工作就组成结构和流程来说还是比较简单的,因为这个工作本来就很年轻,分工还没有很细。总体来讲,我把数据工作看成相互连接的三部分:取数、理数、用数,这是一个闭环。用数的需求会驱动取数工作,并对取数工作提出具体操作性要求。
1.取数
取数工作解决的是数据源的问题,具体来讲是由下面的一系列工作组成:
设计并实现产品中取数的方法和规则
产品运行过程中,实时的或周期性的从产品端获取数据。
传输、接收、校验数据
格式化归档存储数据。
经过取数工作后,就形成了由业务运行产生的原始数据。原始数据是极其丰富的,有很多种分类方法,而从用户的观点来看可以大致分为两种。一种是用户意识到的主动提供的,如注册数据,发表的文字等;另一种是用户不容易意识到的被动提供的,如上网IP地址,操作动作(像PC上的鼠标移动,手机上的滑动)。
之所以用这个数据工作者不常用的维度来分类原始数据是想提醒产品经理在产品设计时也需要一点数据思维。能采用第二种方式得到数据,就不用第一种方式去麻烦用户。
2.理数
整理数据。这一步并不是必须的,尤其对初创企业来说,直接用原始数据是更经常的事。一方面因为初创时期的业务重点还不在于数据问题,另一方面也因为一些原始数据是结构化的,直接入数据库的,已经能用,比如用户注册数据。但随着数据的丰富和业务重点的变化,理数就变得越来越重要,因为大部分原始数据是无法直接用于分析和再产品化的,比如IP地址,比如文字。
理数标志性的工作就是对原始数据进行多层抽取、归纳、抽象的数据仓库建设。如果说取数是从用户中来,用数是到业务中去,那理数就是两者的桥梁,是将来自用户的数据原料转换为可供研究、分析或形成数据产品使用的数据零部件、半成品。这其中就会涉及数据挖掘工作。比如上面提到的IP地址,其本身并不能被直接使用,所以一般就会根据一个IP地址数据库将IP转换为地区名称。这就是将一个原始技术数据转为一个有意义的业务信息。
理数阶段的数据挖掘与用数阶段的数据挖掘并没有严格的区分,一般认为这个阶段的主要任务是将需求更普遍,应用更广泛的信息从原始数据中挖掘出来以减轻后面用数的工作量。比如像用户性别、年龄等基本属性的挖掘。尽管大部分互联网产品都会让用户填写这些字段,但用户填的叫原始数据。如果你直接使用原始数据,看上去是跳过了理数工作,但实际你是启用了一个理数的规则或模型,只不过输入和输出是一样的。这个模型的开发和应用成本为0,但机会成本是多少就要自己判断了。
当数据库、数据仓库准备好了零部件、半成品后,数据工作就要进入最眼花缭乱的用数阶段了。
3.用数
使用数据有2个方向,一是为企业内部工作提供决策支持,二是直接为用户提供独立数据产品或数据支持下的产品新功能。
说到决策支持可能最先想到的是BI。狭义的传统BI主要使用企业运行产生的内部数据,然后做些表单,柱状、条形、折线等各式样的图,比较无聊的。现代互联网化的决策支持,因为数据源的不同而变得有趣的多得多。
比如我们曾经给公司人力资源部的招聘提供过一个产品,就是根据招聘要求利用微博数据精准寻找候选人。当然找人只是第一步,评估人才能力,行为习惯,行业薪资水平等等数据工作都能发挥作用。甚至可以收集多方数据来做员工流失预警。所以互联网数据基础上的决策支持是可以支持到企业方方面面的工作,比如在互联网公司中,决策支持类的数据应用就会有:
产品优化决策
产品经理最主要的工作就是抓到用户需求点,然后设计出产品/服务来满足它。虽然说需求点的发现往往是经验性的定性的工作,但数据工作依然可以在两方面给予优化决策:
一是,给出市场中主流用户或某一分类用户的总体偏好和习惯,帮助产品经理加深对用户的理解。比如哪类用户在什么场景下喜欢听音频,在什么场景下喜欢看文字,在什么场景下打开视频的可能更高等等。这对于产品经理选择用户群的需求切入点至关重要。
二是,评估可能的市场规模和增长曲线。
新产品或新功能上线后,产品经理需要数据反馈来判断用户对自己设计的接受度。尽管PV、DAU等总体性指标是能反应用户对新产品/功能的态度,但因为是总体性的指标,它们的变化包含了太多的因素,比如推广力度、运营活动等等。所以要更精确的看产品,一般更好的选择是回访率、使用时长、频次、退出/跳出、转化等用户个体性指标的变化来衡量用户反馈。
除了事后的监测,有时还会使用AB测试来检验不同设计的效果,以便提前获知用户偏好,降低新产品/功能的市场风险。这里就会涉及到与取数工作的配合,AB测试进行部署时要根据需要选择一定条件的两组类似用户推送测试内容,在用户不知情的情况下看实际效果。
运营支持
互联网产品的运营工作主要包括用户运营、内容运营、活动运营和客户服务。在每一块上数据工作都能给予基础性的支持。
比如用户促活当中有一个重要工作就是防流失。这里就会碰到一个流失判断标准的问题。多长时间不来算流失?这个课题研究的关注点实际不是流失的那群用户,因为你从他们身上是取不出流失时点信息的,我们的关注点在那些很长时间没有来,但最终在自然状态(注:没有召回和活动影响)下又回来的非流失用户。从这群用户身上我们才能发现一个用户最多经历多长时间的沉寂后还有可能回来了,反过来长于这个时间就可以判断流失。在实际研究中,你会发现有用户在半年甚至更长时间后还会回来,这些从经验上来说肯定不是自然状态下回流的。于是判断是否自然状态又成为新问题,解决这个问题的一个数据来源是访问来源。
当然算出流失标准时间界限对防流失来说并没有什么直接的作用,这个标准实际的用途是筛出流失研究样本,通过样本数据来得出流失预警模型,通过用户还活跃时的行为变化来预测他们流失的概率,进而提供给用户运营来做下一步工作的决策。
市场推广反作弊
反作弊与作弊是一个工作对,基本上是处在道高一尺魔高一丈不断相互学习相互克制的状态中。所以随着作弊方法的不断更新,反作弊和识别虚假用户的方法也累计了很多种。大部分的方法都是基于人工或机器学习经验建立起的判别模型。这些方法判别效率高,实施成本低,使用广泛,但也有致命缺点。因为这些方法都属于有监督的方式,形成的经验来自历史数据,如果渠道作弊方法不变,这些反作弊识别手段就会保持较高的有效性。但问题是当你识别渠道作弊并且拒绝为其付费时,渠道立刻就知道你存在针对当前作弊方法的识别手段,他们就会进行作弊升级。同时他们还会要求你拿出他们作弊的证据,如果你告之了他们,就意味着你透露了识别方法,他们就能更容易的绕过你原有的反作弊方法,实现魔高一丈。最后你必须要想出无监督的方法来实现反作弊。
此外,销售、人力、战略决策等等都会是数据应用的舞台。
而除了作为配角的决策支持外,数据应用也有当主角的时候。比如百度搜索风云榜,微博热词等等数据产品。还有更常见的是在数据工作的直接支持下呈现给用户的“猜你喜欢”“相关商品”这些数据类产品。
从上面对数据工作的介绍中不知你是否体会到了数据工作“从业务中来,回业务中去”的本质或者说根本存在价值。如果你不是一个仅满足于完成数据内部技术处理工作的从业者,那你必须要对这个本质有清晰的认识。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12