数据分析的坑很大,一开始走上这条路,就要明确基本的方向,依托于核心的思想,不然只会越走越偏,最后觉得山太高水太深,不了了之。
1.数据与数据分析
数据其实就是对事物特征的定性指称以及量化描述,比如一个人的身份证号,年龄,收入,身高等就构成了一组数据:{id:001,age:45,income:10000,height:176}——如果把很多人的这些数据汇成表,便构成了“ 结构化 ”(也就是比较规整一致)的“ 数据空间 ”。
但是呢,有一些或者大部分的数据都不是规整的,也就是分布比较杂乱或者不是按照我们想要的那样分布的(比如一个网页中的文本数据分布),称之为“ 非结构化 ”的数据空间 。
数据分析的本质是什么?那就是——将这些结构化或者非结构化的数据, 映射 到指定格式的数据空间里面,然后进行分析—— 数据分析的基础就是数据空间的映射 。
这句话说的比较绕,但是却非常深刻,它告诉我们,数据分析的一个基础(在实践中也是最重要)的一件事情就是寻找合适的数据空间映射方案——某种程度上就是所谓的 数据清洗 。
2.对于一些工具的看法
沿袭上文,工具则可以分为两种,一是基础性的excel,spss,sas等数据分析软件以及许多数据库管理工具, 它们主要处理的是结构化的数据 ,也就是给你把数据弄成了表的规整数据(当然,这些数据很多时候也需要清洗,不过已经不涉及数据空间映射这个问题了);二是编程语言,包括python,R,Java,Ruby等, 这些语言工具主要是处理数据空间映射和清洗工作的 ,其中,比较常用的是python和R,前者由于其可扩充性,已经在大多数情况下优于后者了。
3.学习:从天而降
所谓“从天而降”指的是从一个比较高的地方下降来学习的方法,好比是拿着一张总体的地图去探索数据分析与挖掘的世界。推荐阅读:《 数据科学实战 》。
其次,请注意一点:python学习,对于 没有任何计算机基础 的人来说, 基本上是开头容易、越往后面越难! (python一开始的类似自然语言的结构很友好,但你到了函数与面向对象的学习的时候,还是必须明确引用变量的变化(也就是数据如何在内存中流动)以及作用域的动态变化等对入门者不友好的问题。)
在这种情况下,《head first python》根本不适合,不要用它学习python!
我的建议是,花时间学习一下计算机的基本原理,然后是C语言,Java等,然后再学python,不然你到后面完全是知其然而不知其所以然!
推荐阅读:《 计算机科学概论(第11版 》
以及:《 疯狂Java讲义 》(这本书虽然讲的是java,但对数据在内存中的流转也有讲,可以作为参考,理解程序的运行。)
最后才是:《 Python基础教程(第2版•修订版) 》
然后可以看看入门的统计学教材:《 深入浅出统计学 》(很快就能看完,我当时半天多一点就看完了。)
以及入门与深入理解数据库原理:《 MySQL必知必会 》+《 数据库系统概念 》
有了技术基础了,再看看《 R语言编程艺术 》
另外,入门者不要选择python3.x,选择python2.7吧。为啥?因为很多重要的模块比如pandas还有网上的许多资料现在还是最多支持到2.7的,你选3.X对于入门那是舍近求远。
最后,可以使用《 利用Python进行数据分析 》将所有知识串接起来,感受pandas以及scipy,numpy中的数据计算 是如何体现数据空间映射这个深刻概念的。
中阶主要是理论学习以及一些比较复杂的应用操作。
1.理论基础:书籍
良好的数学基础是进一步学习的支撑条件。
以下是推荐阅读的书目:
1.概率论与数理统计:《 概率论与数理统计 》,进一步学习概率与统计;
2.高等代数:《 高等代数简明教程(上册) 》,“数据空间的映射”的思想就来自于高等代数;
3.最优化:《 最优化理论与方法 》,参考书,中阶不要细读。
4.数据挖掘:《 数据挖掘导论 》,偏数学,《 数据挖掘 》,偏结构化的数据库;
5.信息检索领域入门:《 信息检索导论 》
6.统计学习理论快速俯瞰:《 统计学习方法 》
7.实战之于python:《 集体智慧编程 》+《 机器学习实战 》
8.实战之于Mahout平台:《 Mahout实战 》
2.实战:利用数据库与数据api,实战学习
(1)淘宝上以及很多百度提供的一些 数据库 : API Store_为开发者提供最全面的API服务 等,都可以下载到数据进行处理,有一些经典的研究数据库,主要是一些大学构建的,也可以用来训练模型;
(2).学习写 网络爬虫 ,基于python,爬取文本数据进行分析,其中,文本数据分析可能涉及到中文的自然语言处理,比较麻烦,有一些模块可以直接使用(比如jieba),如果觉得不理想,可以尝试爬取英文页面。另:写爬虫必须首先理解网页的数据空间,建议阅读:《 Head First HTML与CSS、XHTML(中文版) 》;
(3).苦练 清洗数据 的基本功——因为大多数数据工程师的主要工作都在于此,并且在清洗的过程中,深刻理解数据空间的映射。另,清洗数据必备技能:正则表达式。建议阅读:《 正则表达式必知必会 》;
(4). 混合编程 与 数据可视化 :可以尝试以python为主的混合编程(python+R)以及数据可视化,建议阅读《 ggplot2 》
1.回归
总的来说,数据挖掘、机器学习相关的工作,看着很新,其实只是很久之前的理论知识的应用罢了,在实战领域,并没有多少新的东西。
所以,从技术上讲,我们需要回归到那些最内核的东西。
什么是最内核的东西,那就是: 算法与数据结构 。
知乎上有一些言论,说算法与数据结构一般情况下程序员是用不到的,这句话对于一般的写系统的程序员确实受用,但是对机器学习、数据挖掘的程序员,却恰恰相反:我们的主要工作就是在搞算法和数据结构。
比如贝叶斯网络、人工神经网络,本质上其实还是基于图的算法的应用罢了。
推荐一本书,比《算法导论》好读:《 算法(第4版) 》
2.远行
所谓远行,就是从学习的象牙塔里面走出来,走向实用或者特殊领域,比如: 金融量化分析 。
传统的投资经理,做的专业投资,本质上根根结底是什么?那就是两个字: 分散 。
所谓分散,说大白话就是“把鸡蛋放在多个篮子里面”,但至于怎么放,放多少,都是非常复杂的,传统的手段包括建立 马科维兹模型 与 指数模型 来作为分散的参考模型。
机器学习也是可以来做分散的,并且,知名的文艺复兴技术公司做的“最大熵模型”比传统的那两大模型还要好,还能够持续跑赢大盘。
如果你对机器学习、数据挖掘相关理论有深刻理解的话,你会发现一个事实: 分散本质上就是在寻找有限条件下的最大组合熵! 最大熵模型之所以有效就是因为它使用了超级大的数据量作为基准,得到了相对于传统分散模型更高的熵。
这个要讲很多,确实也比较高阶,我就点到为止,将来再细谈。
3.优化
优化主要是对python执行效率的优化——要知道,很多时候,量化分析对时间的要求非常严格,差之毫厘,损失成百上千万。
这个时候,就需要了解如何优化python。
知道吗?python是用C写出来的, 如果你优化的好,你的python可能比C还要快!
优化问题本质上是一个局部最优与全局最优权衡的问题,有空细讲。
优化的另外一个问题是 数值计算 ,包括矩阵的分块计算、并行计算,MapReduce对大量数据的处理等,这也是比较复杂的,有空细讲。
4.万法归宗:信息论
数据处理的的最高境界,其实是对信息论的深刻理解。
算法优化,大量问题都是把指数问题变为对数问题,其实根本原理是信息论;
量化分析,买入卖出的博弈,每一次交易如何暴露出信息的?
投资组合,如何在限制条件内产生最大熵?
文本挖掘、数据压缩,隐马尔科夫链,如何用最少的信息映射原空间?
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10