PyTorch 入门指南
学习 PyTorch
图像和视频
音频
后端
强化学习
在生产环境中部署 PyTorch 模型
Profiling PyTorch
代码变换与FX
前端API
扩展 PyTorch
模型优化
并行和分布式训练
边缘端的 ExecuTorch
推荐系统
多模态

基础知识 || 快速入门 || 张量 || 数据集和数据加载器 || 转换 || 构建模型 || 自动求导 || 优化 || 保存和加载模型

数据转换

数据并不总是以训练机器学习算法所需的最终处理形式呈现。我们使用transforms来对数据进行一些操作,使其适合训练。

所有 TorchVision 数据集都有两个参数:transform 用于修改特征,target_transform 用于修改标签。这两个参数接受包含转换逻辑的可调用对象。torchvision.transforms 模块提供了几种常用的转换操作。

FashionMNIST 数据集的特征是 PIL 图像格式,标签是整数。对于训练,我们需要将特征转换为归一化的张量,标签转换为 one-hot 编码的张量。为了实现这些转换,我们使用 ToTensorLambda

importtorch
fromtorchvisionimport datasets
fromtorchvision.transformsimport ToTensor, Lambda

ds = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor(),
    target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
)
  0%|          | 0.00/26.4M [00:00<?, ?B/s]
  0%|          | 65.5k/26.4M [00:00<01:12, 363kB/s]
  1%|          | 197k/26.4M [00:00<00:34, 765kB/s]
  2%|1         | 492k/26.4M [00:00<00:20, 1.28MB/s]
  6%|6         | 1.67M/26.4M [00:00<00:05, 4.40MB/s]
 15%|#4        | 3.83M/26.4M [00:00<00:02, 7.99MB/s]
 34%|###4      | 9.04M/26.4M [00:00<00:00, 19.3MB/s]
 49%|####9     | 13.0M/26.4M [00:00<00:00, 24.3MB/s]
 61%|######1   | 16.2M/26.4M [00:01<00:00, 23.2MB/s]
 79%|#######8  | 20.7M/26.4M [00:01<00:00, 29.1MB/s]
 93%|#########2| 24.4M/26.4M [00:01<00:00, 31.2MB/s]
100%|##########| 26.4M/26.4M [00:01<00:00, 19.4MB/s]

  0%|          | 0.00/29.5k [00:00<?, ?B/s]
100%|##########| 29.5k/29.5k [00:00<00:00, 329kB/s]

  0%|          | 0.00/4.42M [00:00<?, ?B/s]
  1%|1         | 65.5k/4.42M [00:00<00:12, 361kB/s]
  5%|5         | 229k/4.42M [00:00<00:06, 681kB/s]
 20%|##        | 885k/4.42M [00:00<00:01, 2.04MB/s]
 64%|######3   | 2.82M/4.42M [00:00<00:00, 6.65MB/s]
100%|##########| 4.42M/4.42M [00:00<00:00, 6.08MB/s]

  0%|          | 0.00/5.15k [00:00<?, ?B/s]
100%|##########| 5.15k/5.15k [00:00<00:00, 34.4MB/s]

ToTensor()

ToTensor 将 PIL 图像或 NumPy ndarray 转换为 FloatTensor,并将图像的像素强度值缩放到范围 [0., 1.] 内。

Lambda 变换

Lambda 变换允许应用任何用户自定义的 lambda 函数。在这里,我们定义了一个函数,将整数转换为 one-hot 编码的张量。它首先创建一个大小为 10 的零张量(数据集中标签的数量),然后调用 scatter_,该函数将 value=1 赋值给由标签 y 指定的索引。

target_transform = Lambda(lambda y: torch.zeros(
    10, dtype=torch.float).scatter_(dim=0, index=torch.tensor(y), value=1))
本页目录