数据产品经理的工作类型和能力要求
世界正在信息化,数据越来越多,基于数据开发的产品也越来越多,越来越多!
一般数据产品,都包括如下典型流程:
1.数据获取
2.数据转换
3.数据应用
数据产品经理的工作,如果按上面的数据流程来看,主要包括三种类型的工作,不同的数据PM工作偏向不同(以下分类也不是严格划分的)。
一.数据获取、清洗
要做数据产品,首先要有数据,数据来源,大概有2种方式:别人给、自己找。
别人给,当然好,但是要么得掏钱,要么会有使用限制。别人给的数据,数据质量也可能会是问题,乱码、缺字段是常有的事。
自己找,会比较麻烦,自己的系统,可以加码、埋点,地图的产品,会需要定期更新地图。数据不受自己掌控的话,看看能不能通过爬虫抓取(爬虫帮你圆大数据的梦),有很多基于爬虫的数据分析产品,用户分析、舆情分析、物价分析、量化投资等。
在数据获取和清洗环节,数据PM需要:
1.会将业务需求进行解读。
最终转化成不同的数据需求,数据PM首先要确定这些数据如何获取,确定最终的方案。
2.特别注意数据质量和数据稳定性。
上游数据质量就差的话,下游的每个环节都要浪费很多时间来处理。数据质量可以靠校验、对比,数据稳定性可以靠监控。数据的上游,需要勇于怀疑数据的质量,这是最容易出问题的环节,在这里,各种抽样、枚举、对比、假设,各种SQL、ES、Hive查询,善于对数据做各种图表分析。要比用户更早的发现问题,比工程师更快的排查问题原因。
3.评估数据的成本和收益。
数据是有成本的,量越大,质量越高,成本越高。所以,要合理的设计数据获取的策略:
走接口、FTP、还是硬盘邮寄;
数据多久更新一次,是否去重,如何去重;
热数据怎么存,存多久,冷数据怎么存;
虽然说数据越全,数据质量越高越好,但是一分钱一分货,最终的数据获取和清洗方案,需要综合考虑成本、收益、开发难度、开发排期(似乎每个产品都这样,不止是数据产品@@)。
经常需要谈数据合作,找数据找破头;
经常需要看API文档,接口查字段;
经常需要和人撕,别人的东西总是容易出问题的。
二.数据转换、数据服务
基础数据已经有了,开始要大干一场了,数据转换的环节,高端的说法,是ETL,我简单的理解为:拿到基础数据后,会根据不同的业务需求再做数据清洗,然后将数据导入各个数据转换或计算模型,并对更下游的应用提供数据服务。
这里的模型,不一定是用户画像、推荐这些,也可以是基础的筛选、排序、匹配、简单的逻辑计算。
为了让应用层拿到更高质量的数据,减少应用层的计算,这一层做有很多很多的小的计算模块,也经常做服务分层,分为基础数据服务层(业务弱相关层)、业务强相关层。
数据转换层,可以对外提供商用的计算、存储服务,还可以直接数据变现,比如ID匹配,或者直接卖数据。
在数据转换环节,数据PM特别需要和架构师深入沟通(或者工程师),数据PM的职责包括:
1.需要了解很多数据存储、计算的知识
MySQL、Hadoop、HBase、Spark、Redis、Kafka...很多很多,不需要都深入了解,但至少了解他们的功能、特点、差别,然后能更好的和工程师沟通,更好的。
2.全局设计能力
PM更了解业务,工程师更了解技术,两者协作,完成数据处理流程的设计或优化。但是,大公司,可能分了很多很多层,基础服务层,可能不需要PM,PM提需求就行。这部分比较虚,没什么经验的时候也没法做,做久了、思考深了,慢慢就会了(其实,这一层,和应用层的关联很大)。
3.成本收益评估、数据质量、服务稳定性
数据转换层,会消耗更多的计算资源,这里通常有着庞大的集群,所以,这里设计的好,能节省大量的资源,同样也要评估成本收益,要勇于拒绝应用层妙想天开的需求。
这一块的数据质量、服务稳定性,同样重要,对上要担心数据供应的问题,还需要对下游的数据应用负责,三明治的感觉,出问题的时候容易感觉鸭梨山大!
数据转换层,需要更强的逻辑分析能力,业务那边反应的问题,很可能是他们自己的问题,也可能是上游数据供应的问题,当然,更有可能是漫长的数据转换流程,有环节出了问题。这一层,除了要会各种SQL、ES、Hive查询,还需要熟练Excel或者SPSS,还需要熟练使用业务端的产品(故障复现很重要),还需要做好业务级指标的监控告警,最最重要的是,要提前想好各种情况的应急方案,是艰难的提供服务,还是提供有损服务,还是人工支持。
三.数据应用、数据展现
应用层,各个公司的数据应用层就丰富多彩千差万别了,有流量分析、广告分析、用户分析、销量分析、财务分析、传播分析、ERP...(额,本狗知道的有限)。但是,本狗认为用户画像、反作弊、广告投放策略、推荐、NLP等模型或策略类的产品,才算是数据PM,像BI类的产品,各种业务的指标维度,以及可视化展现(业务有多丰富,BI系统就有多么庞大),应该分类为是商业(数据分析)产品,这类的PM工作和具体的业务严重绑定,而且经常有很多定制化功能要做。
本环节的数据PM,能力偏向如下:
1.数学功底及数据分析能力
懂算法、建模、调参,是必不可少的,贝叶斯、隐马、协同过滤…捡起矩阵论、数理统计的课本,掏出机器学习、人工智能的经典,亲手撸起R、python、java,准备一大叠白纸推公式...
但是大公司,会有专门的算法工程师,PM只要能理解就行。数据分析能力也是必须的,这里更需要去解读数据,特别是异常的数据。
2.深度理解业务
用户画像、反作弊、广告投放策略、推荐、NLP这些,是和业务紧密关联的,比如广告、打车两个领域,都有反作弊。这些应用离钱更近,一点点的指标的改进,都能带来很多钱。
数据产品和商业产品、用户产品,差别很大,每天都是和数据打交道,需要深入了解各种数据分析方法、数据的存储计算。数据PM也需深入理解业务,否则就变成数据分析师或者数据科学家了。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11