机器学习实现与分析之四（广义线性模型） 指数分布族 首先需要提及下指数分布族，它是指一系列的分布，只要其概率密度函数可以写成下面这样的形式： 一般的很多分布（如高斯分布，泊松分布，二项 ...
2017-03-15
斯坦福机器学习实现与分析之二（线性回归） 回归问题提出 首先需要明确回归问题的根本目的在于预测。对于某个问题，一般我们不可能测量出每一种情况（工作量太大），故多是测量一组数据，基于此数据去预 ...
2017-03-15
梯度下降法分析 梯度下降法的基本思想是函数沿着其梯度方向增加最快，反之，沿着其梯度反方向减小最快。在前面的线性回归和逻辑回归中，都采用了梯度下降法来求解。梯度下降的迭代公式为： \\(\\begin{aligned} ...
2017-03-15
批量梯度下降与随机梯度下降 下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数，j是参数的个数。 ...
2017-03-15
从导数的物理意义理解梯度下降 机器学习中常会用随机梯度下降法求解一个目标函数L(Θ)的优化问题，并且常是最小化的一个优化问题： minL(Θ) 我们所追求的是目标函数能够快速收敛或到达一个极小值点。而随机梯 ...
2017-03-15
5个开源Python库，点亮你的机器学习之路 机器学习令人兴奋，但实际操作却很困难也很复杂。它涉及到很多手动提升，如集合工作流，设置数据源，以及在内部部署与云部署的资源之间切换等。 Python 是一款强大的 ...
2017-03-14
机器学习常用算法（LDA,CNN,LR）原理简述 1.LDA LDA是一种三层贝叶斯模型，三层分别为：文档层、主题层和词层。该模型基于如下假设： 1）整个文档集合中存在k个互相独立的主题； 2）每一个主题是词上的多项 ...
2017-03-14
机器学习中使用的神经网络 这一小节介绍随机梯度下降法（stochastic gradient descent）在神经网络中的使用，这里首先回顾了第三讲中介绍的线性神经网络的误差曲面(error surface)，如下图所示。线性神经网络对 ...
2017-03-14
一、概述 优点：在数据少的情况下仍然有效，可以处理多类别问题 缺点：对于输入数据的准备方式较为敏感 适用数据类型：标称型数据 二、原理 三、文档分类 A,B,C,D..为文档中单词。假设总词汇只有A,B,C,D四种。训练样 ...
2017-03-14
机器学习实战之SVD 1. 奇异值分解 SVD(singular value decomposition) 1.1 SVD评价 优点: 简化数据, 去除噪声和冗余信息, 提高算法的结果 缺点: 数据的转换可能难以理解 1.2 SVD应用 (1) 隐性语义索引(latent ...
2017-03-14
机器学习实战之PCA 1. 向量及其基变换 1.1 向量内积 (1)两个维数相同的向量的内积定义如下: 内积运算将两个向量映射为一个实数. (2) 内积的几何意义 假设A\\B是两个n维向量, n维向量可以等价表 ...
2017-03-14
机器学习实战之Apriori 1. 关联分析 1.1 定义 关联分析是一种在大规模数据上寻找物品间隐含关系的一种任务.这种关系有2种形式:频繁项集和关联规则. (1) 频繁项集(frequent item sets): 经常出现在一起的物品 ...
2017-03-14
SPSS中两种重复测量资料分析过程的比较 在SPSS中，有两个过程可以对重复测量资料进行分析：一种是一般线性模型的重复度量；一种是混合线性模型，对于同样的数据资料，使用两种过程分析出的内容不大一样，注意 ...
2017-03-13数据分析中的基本指标 1.平均数： 是描述一组数据集中趋势的指标，有很多种平均数，如：算数平均数，几何平均数，调和平均数，加权平均数，平方平均数，指数平均数等。 最常用的是算数平均数 平均数 ...
2017-03-13
数据分析中的变量分类 数据分析工作每天要面对各种各样的数据，每种数据都有其特定的含义、使用范围和分析方法，同一个数据在不同环境下的意义也不一样，因此我们想要选择正确的分析方法，得出正确 ...
2017-03-13R语言之数据处理 一、向量处理 1.选择和显示向量 data[1] data[3] data[1:3] data[-1]：除第一项以外的所有项 data[c(1,3,4,6)] data[data>3] data[data<5|data>7]：小于5或大于7的所有项 which(data == max ...
2017-03-13
离群值的判断与处理 我们在数据分析的时候，经常会碰到某些数据远远大于或小于其他数据，这些明显偏离的数据就是离群值，也叫奇异值、极端值。 离群值产生的原因大致有两点： 1.总体固有变异的极端表现，这 ...
2017-03-13
SPSS数据分析—多维偏好分析（MPA） 之前的主成分分析和因子分析中，收集的变量数据都是连续型数值，但有时会碰到分类数据的情况，我们知道最优尺度变换可以对分类变量进行量化处理，如果将这一方法和主 ...
2017-03-13
对应分析方法与对应图解读方法-—七种分析角度 对应分析是一种多元统计分析技术，主要分析定性数据Category Data方法，也是强有力的数据图示化技术，当然也是强有力的市场研究分析技术。 这里主要介绍大 ...
2017-03-13
均值、方差、标准差及协方差、协方差矩阵详解 一、统计学基本概念：均值、方差、标准差 统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式 ...
2017-03-12Python作为一门功能强大的编程语言，已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手，还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策，真的靠谱吗？ 最近几年，“数据驱动”成了商界最火的关键词之一，但靠数据就能走天下？其实不然！那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么？Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代，数据已然成为企业的生命线。无论是科技公司还是传统行业，数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前，数据信息不再仅仅是传递的媒介，它成为了驱动经济发展的新燃料。对于企业而言，数据指标体 ...
2025-01-07在职场中，当你遇到问题的时候，如果感到无从下手，或者抓不到重点，可能是因为你掌握的思维模型不够多。 一个好用的思维模型， ...
2025-01-06在现代企业中，数据分析师扮演着至关重要的角色。每天都有大量数据涌入，从社交媒体到交易平台，数据以空前的速度和规模生成。面 ...
2025-01-06在职场中，许多言辞并非表面意思那么简单，有时需要听懂背后的“潜台词”。尤其在数据分析的领域里，掌握常用术语就像掌握一门新 ...
2025-01-04在当今信息化社会，数据分析已成为各行各业的核心驱动力。它不仅仅是对数字进行整理与计算，而是在数据的海洋中探寻规律，从而指 ...
2025-01-03又到一年年终时，各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告，不仅能全面呈现你的工作价值， ...
2025-01-03在竞争激烈的商业世界中，竞品分析对于企业的发展至关重要。今天，我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-03在数据分析的江湖里，有两个阵营总是争论不休。一派信奉“大即是美”，认为数据越多越好；另一派坚守“小而精”，力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程，从数据收集到分析结果应用，每一步都是对信息的提炼与升华。可视化分析结果，以图表的形式展 ...
2025-01-02在当今的数字化时代，数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”，通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相，还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析，听起来好像是技术大咖的专属技能，但其实是一项人人都能学会的职场硬核能力！今天，我们来聊聊数据分析的核心流程，拆 ...
2024-12-31提到数据分析，你脑海里可能会浮现出一群“数字控”抱着电脑，在海量数据里疯狂敲代码的画面。但事实是，数据分析并没有你想象的 ...
2024-12-31关于数据分析师是否会成为失业高危职业，近年来的讨论层出不穷。在这个快速变化的时代，技术进步让人既兴奋又不安。今天，我们从 ...
2024-12-30数据分析师在现代企业中扮演着关键角色，他们的工作内容不仅丰富多样，还对企业的决策和发展起着重要的作用。正如一个经验丰富的 ...
2024-12-29数据分析师的能力要求 在当今的数据主导时代，数据分析师的角色变得尤为重要。他们不仅需要具备深厚的技术背景，还需要拥有业务 ...
2024-12-29
