基础知识 || 快速入门 || 张量 || 数据集与数据加载器 || 变换 || 构建模型 || 自动求导 || 优化 || 保存与加载模型
张量
张量是一种专门的数据结构,与数组和矩阵非常相似。在 PyTorch 中,我们使用张量来编码模型的输入和输出,以及模型的参数。
张量与 NumPy 的 ndarrays 类似,不同之处在于张量可以在 GPU 或其他硬件加速器上运行。实际上,张量和 NumPy 数组通常可以共享相同的内存,从而无需复制数据(参见 与 NumPy 的桥接)。张量还针对自动微分进行了优化(我们将在 Autograd 部分中详细介绍)。如果您熟悉 ndarrays,那么您将很容易上手张量 API。如果不熟悉,请继续阅读!
初始化张量
张量可以通过多种方式进行初始化。请查看以下示例:
直接从数据创建
张量可以直接从数据创建。数据类型会自动推断。
从 NumPy 数组创建
张量可以从 NumPy 数组创建(反之亦然——参见 与 NumPy 的桥接)。
从另一个张量创建:
新张量将保留参数张量的属性(形状、数据类型),除非显式覆盖。
使用随机或常量值:
shape
是一个表示张量维度的元组。在以下函数中,它决定了输出张量的维度。
张量的属性
张量属性描述了它们的形状、数据类型以及存储的设备。
张量操作
超过 1200 种张量操作,包括算术、线性代数、矩阵操作(转置、索引、切片)、采样等,在这里有全面描述。
这些操作中的每一个都可以在 CPU 和加速器(如 CUDA、MPS、MTIA 或 XPU)上运行。如果您使用 Colab,可以通过转到 Runtime > Change runtime type > GPU 来分配加速器。
默认情况下,张量是在 CPU 上创建的。我们需要在确认加速器可用后,使用 .to
方法显式地将张量移动到加速器。请注意,跨设备复制大型张量在时间和内存方面可能会非常昂贵!
尝试一些列表中的操作。如果您熟悉 NumPy API,您会发现 Tensor API 使用起来非常轻松。
类似 NumPy 的标准索引和切片操作:
连接张量 您可以使用 torch.cat
沿指定维度连接一系列张量。另请参阅 torch.stack,这是一个与 torch.cat
有细微差别的张量连接操作符。
算术运算
单元素张量 如果您有一个单元素张量,例如将张量的所有值聚合为一个值,您可以使用 item()
将其转换为 Python 数值:
原地操作 将结果存储到操作数中的操作称为原地操作。它们以 _
后缀表示。例如:x.copy_(y)
、x.t_()
将会改变 x
。
原地操作可以节省一些内存,但由于会立即丢失历史记录,在计算导数时可能会出现问题。因此,不建议使用原地操作。
与 NumPy 的桥梁
CPU 上的张量和 NumPy 数组可以共享它们的基础内存位置,修改其中一个会改变另一个。
将 Tensor 转换为 NumPy 数组
张量的变化会反映在 NumPy 数组中。
NumPy 数组转换为 Tensor
NumPy 数组的变化会反映在张量中。