PyTorch是一种流行的深度学习框架,它提供了许多方便的工具来处理数据集并构建模型。在深度学习中,我们通常需要对训练数据进行交叉验证,以评估模型的性能和确定超参数的最佳值。本文将介绍如何使用PyTorch实现10折交叉验证。
首先,我们需要加载数据集。假设我们有一个包含1000个样本的训练集,每个样本有10个特征和一个标签。我们可以使用PyTorch的Dataset和DataLoader类来加载和处理数据集。下面是一个示例代码片段:
import torch
from torch.utils.data import Dataset, DataLoader
class MyDataset(Dataset):
def __init__(self, data):
self.data = data
def __len__(self):
return len(self.data)
def __getitem__(self, idx):
x = torch.tensor(self.data[idx][:10], dtype=torch.float32)
y = torch.tensor(self.data[idx][10], dtype=torch.long)
return x, y
data = [[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 0],
[2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 1],
...
[1000, 999, 998, 997, 996, 995, 994, 993, 992, 991, 9]]
dataset = MyDataset(data)
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)
在这里,我们定义了一个名为MyDataset的自定义数据集类,它从数据列表中返回一个样本。每个样本分别由10个特征和1个标签组成。然后,我们使用Dataset和DataLoader类将数据集加载到内存中,并将其分成大小为32的批次。我们也可以选择在每个时期迭代时随机打乱数据集(shuffle=True)。
接下来,我们需要将训练集划分为10个不同的子集。我们可以使用Scikit-learn的StratifiedKFold类来将数据集划分为k个连续的折叠,并确保每个折叠中的类别比例与整个数据集相同。下面是一个示例代码片段:
from sklearn.model_selection import StratifiedKFold
kfold = StratifiedKFold(n_splits=10)
X = torch.stack([x for x, y in dataset])
y = torch.tensor([y for x, y in dataset])
for fold, (train_index, val_index) in enumerate(kfold.split(X, y)):
train_dataset = torch.utils.data.Subset(dataset, train_index)
val_dataset = torch.utils.data.Subset(dataset, val_index)
train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)
val_dataloader = DataLoader(val_dataset, batch_size=32, shuffle=False)
# Train and evaluate model on this fold
# ...
在这里,我们使用StratifiedKFold类将数据集划分为10个连续的折叠。然后,我们使用Subset类从原始数据集中选择训练集和验证集。最后,我们使用DataLoader类将每个子集分成批次,并分别对其进行训练和评估。
在每个折叠上训练和评估模型时,我们需要编写适当的代码。以下是一个简单的示例模型和训练代码:
import torch.nn as nn
import torch.optim as optim
class MyModel(nn.Module):
def __init__(self):
super(MyModel, self).__init__()
self.fc1 = nn.Linear(10, 64)
self.fc2 = nn.Linear(64, 2)
def forward(self, x):
x = self.fc1(x)
x = nn.functional.relu(x
) x = self.fc2(x) return x
model = MyModel() criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001)
for epoch in range(10): for i, (inputs, labels) in enumerate(train_dataloader): optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
# Evaluate on validation set
with torch.no_grad():
total_correct = 0
total_samples = 0
for inputs, labels in val_dataloader:
outputs = model(inputs)
_, predicted = torch.max(outputs, 1)
total_correct += (predicted == labels).sum().item()
total_samples += labels.size(0)
accuracy = total_correct / total_samples
print(f"Fold {fold + 1}, Epoch {epoch + 1}: Validation accuracy={accuracy}")
在这里,我们定义了一个名为MyModel的简单模型,并使用Adam优化器和交叉熵损失函数进行训练。对于每个时期和每个批次,我们计算输出、损失和梯度,并更新模型参数。然后,我们使用no_grad()上下文管理器在验证集上进行评估,并计算准确性。
4. 汇总结果
最后,我们需要将10个折叠的结果合并以获得最终结果。可以使用numpy来跟踪每个折叠的测试损失和准确性,并计算平均值和标准差。以下是一个示例代码片段:
```python
import numpy as np
test_losses = []
test_accuracies = []
for fold, (train_index, test_index) in enumerate(kfold.split(X, y)):
test_dataset = torch.utils.data.Subset(dataset, test_index)
test_dataloader = DataLoader(test_dataset, batch_size=32, shuffle=False)
# Evaluate on test set
with torch.no_grad():
total_correct = 0
total_loss = 0
total_samples = 0
for inputs, labels in test_dataloader:
outputs = model(inputs)
loss = criterion(outputs, labels)
_, predicted = torch.max(outputs, 1)
total_correct += (predicted == labels).sum().item()
total_loss += loss.item() * labels.size(0)
total_samples += labels.size(0)
loss = total_loss / total_samples
accuracy = total_correct / total_samples
test_losses.append(loss)
test_accuracies.append(accuracy)
mean_test_loss = np.mean(test_losses)
std_test_loss = np.std(test_losses)
mean_test_accuracy = np.mean(test_accuracies)
std_test_accuracy = np.std(test_accuracies)
print(f"Final results: Test loss={mean_test_loss} ± {std_test_loss}, Test accuracy={mean_test_accuracy} ± {std_test_accuracy}")
在这里,我们使用Subset类创建测试集,并在每个折叠上评估模型。然后,我们使用numpy计算测试损失和准确性的平均值和标准差,并将它们打印出来。
总之,使用PyTorch实现10折交叉验证相对简单,只需使用Dataset、DataLoader、StratifiedKFold和Subset类即可。重点是编写适当的模型和训练代码,并汇总所有10个折叠的结果。这种方法可以帮助我们更好地评估模型的性能并确定超参数的最佳值。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31