统计学-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

对于随机梯度下降来说，我们只需要单次预测对应的平方误差：def error(x_i, y_i, beta):return y_i - predict(x_i, beta)def squared_error(x_i, y_i, beta):return error(x_i, y_i, beta) ** 2如果你熟悉微积分，可以通过下面的方式进行计算：def squared_error_

0.0000

0

2

0

关注作者

收藏

詹惠儿

python怎么符号化？

给定一个字符序列和一个定义的文档单元，标记化是将其切成碎片的任务，称为令牌，也许同时丢掉某些字符，如标点符号。以下是标记化的示例：这些令牌通常被宽泛地称为术语或单词，但有时制作类型/令牌很重要区别。一个代币是一些特定文档中的字符序列的实例，它们被组合在一起作为用于处理的有用语义单元。一个type是包含相同字符序列的所有标记的类。一个term是包含在IR系统字典中的（可能是规范化的）类型

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

梯度下降的python实现

假设我们（以某种方式）为参数 theta_0 设定了某个初始值，那么可以如下使用梯度下降法：def minimize_batch(target_fn, gradient_fn, theta_0, tolerance=0.000001):"""use gradient descent to find theta that minimizes target function"""step_si

0.0000

1

5

0

关注作者

收藏

啊啊啊啊啊吖

如果 f 是单变量函数，那么它在 x 点的导数衡量了当 x 发生变化时， f(x) 变化了多少。导数通过差商的极限来定义：def difference_quotient(f, x, h):return (f(x h) - f(x)) / h其中 h 趋近于 0。导数就是在点 (x, f (x)) 的切线的斜率，而差商就是通过点 (x, f (x)) 和点 (x h, f (x h)

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

梯度下降的思想

假设我们拥有某个函数 f，这个函数输入一个实数向量，输出一个实数。一个简单的例子如下：def sum_of_squares(v):"""computes the sum of squared elements in v"""return sum(v_i ** 2 for v_i in v)我们常常需要最大化（或最小化）这个函数。这意味着我们需要找出能计算出最大（或最小）可能值的输入

0.0000

0

5

0

关注作者

收藏

啊啊啊啊啊吖

R做回归分析怎么保存结果

> summary(lm.re)Call:lm(formula = height ~ age)Residuals: Min 1Q Median 3Q Max-0.27238 -0.24248 -0.02762 0.16014 0.47238Coefficients: Estimate Std. Error t v

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

【问题求助】grprep包做grouplasso回归

在用grpreg()包实现group lasso回归的时候，如何确定选择lamda时使用了哪种准则，或者我想使用不同准则（比如比较BIC和Cp准则哪个更接近真实模型）时，应该调整哪个参数？因为我觉得用法说明里面哪个参数不能选择信息准则……求知道的大神帮忙，多谢！下附grpreg()用法介绍：grpreg(X, y, group=1:ncol(X), penalty=c("grLasso

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

皮尔逊相关系数和余

在做聚类分析时，我发现用余弦相似度和皮尔逊相关系数作为相似性度量所得到聚类结果有一定差异。请问，这两者有什么区别1.如果数据密集（所有数据几乎都有属性值，属性值量级重要），就用欧几里德算法2.数据受级别膨胀影响（不同的用户使用不同的评分标准），就用皮尔逊相关系数算法3.数据稀疏性强，就考虑用夹角余弦相似度算法

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

R如何实现欧式距离等计算

如何计算每列间的距离，假如计算第一列与其他列之间的距离，并求出距离最小的那一组，在R中能否实现欧氏距离和马氏距离的计算？请求解答。在R中计算距离的函数为dist()，比较直接的用法是dist(x,method="euclidean")即为计算欧式距离，其余可选的参数还有"maximum", "manhattan", "canberra", "binary" ,"minkowski"，lz调整这个

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

R里两个样本的bootstrap

我的dataset有三列，第一列是treated，0表示是控制组，1表示是实验组，第二列是earn78，就是每个人的收入。然后我要看实验组和对照组的earn78值是不是不同。但是我run出来的boot.mean.diff的t是NA...不知道是不是我function的codes（估计是t

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

【问题求助】似然比检验在混合模型中怎么求

求问~~~在拟合混合模型中，得到的结果是输入summary（）后，得到了"Linear mixed-effects model fit by REMLData: zrxs.mixed AIC BIC logLik -342.2206 -296.9215 182.1103Random effects:Formula: ~1 | group

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

线性回归里的分段函数

为什么做分段函数在线性回归模型中，当X作为特征变量对因变量Y的影响趋势非线性，用普通的线性回归往往无法捕捉到。一种方法是可以使用特征变量的多项式作为预测变量，可以得到在X取值的空间全局皆非线性的拟合函数。但如果不希望得到全局的模型，希望每一段的变化斜率可以被表达出来，那么则可以使用分段函数。如何做分段函数这里，把X的取值范围分成一些区间，对每个区间拟合一个函数，相当于讲一个连续变量

0.0000

0

6

0

关注作者

收藏

dreamhappy2012

偏度（Skewness）

偏度用来刻画偏态的程度。偏态有两种情况：一种是如图1-6所示（左边）的左偏，该变量在负的方向部分严重拖尾；另一种是如图1-6所示（右边）的右偏，在正的方向部分严重拖尾。在实际经济和商业数据分析中，右偏是比较普遍的状态。比如，地区的居民收入、客户购买产品的数量、金额和保险理赔额。

0.0000

0

2

0

关注作者

收藏

詹惠儿

评估模型的常用指标

基尼系数基尼系数有时用于分类问题。基尼系数可以从AUC ROC数得出。基尼系数只是ROC曲线与诊断线之间的面积与上述三角形的面积之比。以下是使用的公式：基尼= 2 * AUC - 1基尼系数高于60％是一个很好的模型。对于手头的情况，我们得到基尼系数为92.7％。协调 - 不和谐比率对于任何分类预测问题，这也是最重要的指标之一。要理解这一点，我们假设我们有3名学生今年有可能通过。以下

0.0000

0

0

0

关注作者

收藏

詹惠儿

评估模型的均方根误差（RMSE）

RMSE是回归问题中最常用的评估指标。它遵循一个假设，即误差是无偏的并遵循正态分布。以下是RMSE需要考虑的要点：“平方根”的功效使该指标能够显示大量偏差。此度量标准的“平方”特性有助于提供更强大的结果，从而防止取消正负误差值。换句话说，该度量恰当地显示了错误术语的合理幅度。它避免使用绝对误差值，这在数学计算中是非常不希望的。当我们有更多样本时，使用RMSE重建误差分布被认为更可靠。R

0.0000

0

2

0

关注作者

收藏

詹惠儿

Roc要注意什么？

让我们以阈值= 0.5为例（参考混淆矩阵）。这是混淆矩阵：a如您所见，此阈值的灵敏度为99.6％，（1-特异性）为~60％。该坐标在我们的ROC曲线中成为点。为了将该曲线降低到单个数字，我们找到该曲线下的面积（AUC）。注意，整个正方形的面积是1 * 1 = 1.因此AUC本身是曲线下面的比率和总面积。对于手头的案例，我们将AUC ROC定为96.4％。以下是一些拇指规则：.90-1

0.0000

0

1

0

关注作者

收藏

詹惠儿

ROC曲线怎么使用？

ROC曲线下的面积（AUC - ROC）这又是业界常用的指标之一。使用ROC曲线的最大优点是它与响应者的比例变化无关。在以下部分中，此声明将更加清晰。让我们首先尝试了解什么是ROC（接收器工作特性）曲线。如果我们看下面的混淆矩阵，我们观察到对于概率模型，我们得到每个度量的不同值。因此，对于每种敏感性，我们得到不同的特异性。两者的变化如下： ROC曲线是灵敏度和（1-

0.0000

0

1

0

关注作者

收藏

詹惠儿

Kolomogorov Smirnov图表

KS或Kolmogorov-Smirnov图表测量分类模型的性能。更准确地说，KS是衡量正负分布之间分离程度的指标。如果分数将人口分成两个独立的组，其中一组包含所有正数而另一组包含所有负数，则KS为100。另一方面，如果模型不能区分正面和负面，那么就好像模型从总体中随机选择案例。KS将为0.在大多数分类模型中，KS将介于0和100之间，并且值越高，模型在分离正面和负面情况时越好。对于手头的情况

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

基于代价函数的分类器决策控制

我们可以基于该代价矩阵计算其总代价：TP*0 FN*1 FP*1 TN*0。接下来我们考虑下面的第二张表，基于该代价矩阵的分类代价的计算公式为： TP*(-5) FN*1 FP*50 TN*0。采用第二张表作为代价矩阵时，两种分类错误的代价是不一样的。类似地，这两种正确分类所得到的收益也不一样。如果在构建分类器时，知道了这些代价值，那么就可以选择付出最小代价的分类器。在分类算法中，我们有

0.0000

0

2

0

关注作者

收藏

詹惠儿

如何区分增益和提升图表（二）

在第一个十分位数中我们可以达到的最大升力是多少？从本文的第一个表中，我们知道响应者的总数是3850.第一个十分位数将包含543个观测值。因此，第一个十分位数的最大升力可能是543 / 3850~14.1％。因此，我们对此模型非常接近完美。现在让我们绘制升力曲线。提升曲线是总升力与％人口之间的关系曲线。请注意，对于随机模型，它始终保持100％不变。以下是手头案例的情节：您还可以使用十

0.0000

0

7

0

关注作者

收藏

<1…444546…55>

CDA考试动态

CDA报考指南