利用稀疏logistics回归进行特征选择

Linear models 使用 L1 正则化的线性模型会得到稀疏解：他们的许多系数为 0。当目标是降低使用另一个分类器的数据集的维度，它们可以与 feature_selection.SelectFromModel 一起使用来选择非零系数。特别的，可以用于此目的的稀疏评估器有用于回归的 linear_model.Lasso , 以及用于分类的 linear_model.LogisticRegression 和 svm.LinearSVC

>>>>>> from sklearn.svm import LinearSVC 
>>> from sklearn.datasets import load_iris 
>>> from sklearn.feature_selection import SelectFromModel 
>>> iris = load_iris() 
>>> X, y = iris.data, iris.target 
>>> X.shape (150, 4)
 >>> lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y)
 >>> model = SelectFromModel(lsvc, prefit=True) 
>>> X_new = model.transform(X)
 >>> X_new.shape (150, 3)

在 SVM 和逻辑回归中，参数 C 是用来控制稀疏性的：小的 C 会导致少的特征被选择。使用 Lasso，alpha 的值越大，越少的特征会被选择。