以下使用scikit-learn中数据集进行分享。
如果选用随机森林作为最终的模型,那么找出它的最佳参数可能有1000多种组合的可能,你可以使用使用穷尽的网格搜索(Exhaustive Grid Seaarch)方法,但时间成本将会很高(运行很久...),或者使用随机搜索(Randomized Search)方法,仅分析超参数集合中的子集合。
该例子以手写数据集为例,使用支持向量机的方法对数据进行建模,然后调用scikit-learn中validation_surve方法将模型交叉验证的结果进行可视化。需要注意的是,在使用validation_curve方法时,只能验证一个超参数与模型训练集和验证集得分的关系(即二维的可视化),而不能实现多参数与得分间关系的可视化。以下搜索的参数是gamma,需要给定参数范围,用param_range进行传递,评分策略用scoring参数进行传递。其代码示例如下所示:
print(__doc__) import matplotlib.pyplot as plt import numpy as np from sklearn.datasets import load_digits from sklearn.svm import SVC from sklearn.model_selection import validation_curve X, y = load_digits(return_X_y=True) param_range = np.logspace(-6, -1, 5) train_scores, test_scores = validation_curve( SVC(), X, y, param_name="gamma", param_range=param_range, scoring="accuracy", n_jobs=1) train_scores_mean = np.mean(train_scores, axis=1) train_scores_std = np.std(train_scores, axis=1) test_scores_mean = np.mean(test_scores, axis=1) test_scores_std = np.std(test_scores, axis=1) plt.title("Validation Curve with SVM") plt.xlabel(r"$\gamma$") plt.ylabel("Score") plt.ylim(0.0, 1.1) lw = 2 plt.semilogx(param_range, train_scores_mean, label="Training score", color="darkorange", lw=lw) plt.fill_between(param_range, train_scores_mean - train_scores_std, train_scores_mean + train_scores_std, alpha=0.2, color="darkorange", lw=lw) plt.semilogx(param_range, test_scores_mean, label="Cross-validation score", color="navy", lw=lw) plt.fill_between(param_range, test_scores_mean - test_scores_std, test_scores_mean + test_scores_std, alpha=0.2, color="navy", lw=lw) plt.legend(loc="best") plt.show();
代码中:
X, y = load_digits(return_X_y=True) # 等价于 digits = load_digits() X_digits = digits.data y_digits = digits.target
以下是支持向量机的验证曲线,调节的超参数gamma共有5个值,每一个点的分数是五折交叉验证(cv=5)的均值。
当想看模型多个超参数与模型评分之间的关系时,使用scikit-learn中validation curve就难以实现,因此可以考虑绘制三维坐标图。
主要用plotly的库绘制3D Scatter(3d散点图)。以下的例子使用scikit-learn中的莺尾花的数据集(iris)。以下例子选用随机森林模型(RandomForestRegressor),利用scikit-learn中的GridSearchCV方法调试最佳超参(tuning hyper-parameters),分别设置超参数"n_estimators","max_features","min_samples_split"的参数范围,详见代码如下:
import numpy as np from sklearn.model_selection import validation_curve from sklearn.datasets import load_iris from sklearn.ensemble import RandomForestRegressor from plotly.offline import iplot from plotly.graph_objs as go model = RandomForestRegressor(n_jobs=-1, random_state=2, verbose=2) grid = {'n_estimators': [10,110,200], 'max_features': [0.05, 0.07, 0.09, 0.11, 0.13], 'min_samples_split': [2, 3, 5, 8]} rf_gridsearch = GridSearchCV(estimator=model, param_grid=grid, n_jobs=4, cv=5, verbose=2, return_train_score=True) rf_gridsearch.fit(X, y) # and after some hours... df_gridsearch = pd.DataFrame(rf_gridsearch.cv_results_) trace = go.Scatter3d( x=df_gridsearch['param_max_features'], y=df_gridsearch['param_n_estimators'], z=df_gridsearch['param_min_samples_split'], mode='markers', marker=dict( # size=df_gridsearch.mean_fit_time ** (1 / 3), size = 10, color=df_gridsearch.mean_test_score, opacity=0.99, colorscale='Viridis', colorbar=dict(title = 'Test score'), line=dict(color='rgb(140, 140, 170)'), ), text=df_gridsearch.Text, hoverinfo='text' ) data = [trace] layout = go.Layout( title='3D visualization of the grid search results', margin=dict( l=30, r=30, b=30, t=30 ), scene = dict( xaxis = dict( title='max_features', nticks=10 ), yaxis = dict( title='n_estimators', ), zaxis = dict( title='min_samples_split', ), ), ) fig = go.Figure(data=data, layout=layout) iplot(fig)
其运行结果如果,是一个三维散点图(3D Scatter)。
可以看到颜色越浅,分数越高。n_estimators(子估计器)越多,分数越高,max_features的变化对模型分数的影响较小,在图中看不到变化,min_samples_split的个数并不是越高越好,但与模型分数并不呈单调关系,在min_samples_split取2时(此时,其它条件不变),模型分数最高。
除了使用scikit-learn中validation curve绘制超参数与得分的可视化,还可以利用seaborn库中heatmap方法来实现两个超参数之间的关系图,如下代码示例:
import seaborn as sns title = '''Maximum R2 score on test set VS max_features, min_samples_split''' sns.heatmap(max_scores.mean_test_score, annot=True, fmt='.4g'); plt.title(title); plt.savefig("heatmap_test.png", dpi = 300);
import seaborn as sns title = '''Maximum R2 score on train set VS max_features, min_samples_split''' sns.heatmap(max_scores.mean_train_score, annot=True, fmt='.4g'); plt.title(title); plt.savefig("heatmap_train.png", dpi = 300);
max_features和min_samples与模型得分关系的可视化如下图所示(分别为网格搜索中测试集和训练集的得分):
由于一般人很难迅速的在大量数据中找到隐藏的关系,因此,可以考虑绘图,将数据关系以图表的形式,清晰的显现出来。
综上,当关注单个超参数的学习曲线时,可以使用scikit-learn中validation curve,找到拐点,作为模型的最佳参数。
当关注两个超参数的共同变化对模型分数的影响时,可以使用seaborn库中的heatmap方法,制作“热图”,以找到超参数协同变化对分数影响的趋势。
当关注三个参数的协同变化与模型得分的关系时,可以使用poltly库中的iplot和go方法,绘制3d散点图(3D Scatter),将其协同变化对模型分数的影响展现在高维图中。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10推荐学习书籍 《CDA一级教材》在线电子版正式上线CDA网校,为你提供系统、实用、前沿的学习资源,助你轻松迈入数据分析的大门! ...
2025-03-07在数据驱动决策的时代,掌握多样的数据分析方法,就如同拥有了开启宝藏的多把钥匙,能帮助我们从海量数据中挖掘出关键信息,本 ...
2025-03-06