本文深入解析了PyTorch中Tensor的维度处理方式，涵盖了Tensor创建时size参数的用法，以及torch.Tensor.sum()和torch.Tensor.softmax()等方法中axis参数的行为。通过详细的示例和解释，帮助读者理解PyTorch Tensor在维度上的操作逻辑，从而更有效地利用PyTorch进行深度学习模型的开发和训练。
Tensor 创建
在 PyTorch 中创建 Tensor 时，size 参数用于指定 Tensor 的形状。size 参数接受一个元组，元组中的每个元素代表一个维度的大小。需要注意的是，size 参数指定维度时，是从最后一个元素到第一个元素，即最后一个元素代表列数，倒数第二个元素代表行数，以此类推。
import torch # 可以简写： tensor1 = torch.ones((2, 3)) tensor2 = torch.ones(2, 3) # 不能简写： tensor3 = torch.randint(10, (2, 3)) print(tensor1.shape) # 输出: torch.Size([2, 3]) print(tensor2.shape) # 输出: torch.Size([2, 3]) print(tensor3.shape) # 输出: torch.Size([2, 3])
以下是一些 size 参数的示例及其对应的 Tensor 描述：
- (2,): 长度为 2 的行向量，没有第二个维度。
- (2, 1): 矩阵，看起来像列向量，但实际上是二维的。
- (1, 2): 矩阵，看起来像行向量，但实际上是二维的。
- (3, 2): 矩阵。
- (4, 3, 2): 三维 Tensor（"3D 矩阵"）。
Tensor 聚合
pytorch.Tensor 类中的许多方法需要一个 axis 参数（通常为 int 或 list of int）。该参数指定了操作沿哪个轴进行。对于由 1 组成的 Tensor（使用 torch.ones(size) 创建），torch.sum(axis=axis) 操作的行为如下：
| size | axis | output shape | output |
|---|---|---|---|
| (2,) | -1 或 0 | [] | tensor(2.) |
| (2,1) | -1 或 1 | [2] | tensor([1., 1.]) |
| (1,2) | -1 或 1 | [1] | tensor([2.]) |
| (3,2) | -1 或 1 | [3] | tensor([2., 2., 2.]) |
| (4,3,2) | -1 或 2 | [4,3] | tensor([[2., 2., 2.],[2., 2., 2.],[2., 2., 2.],[2., 2., 2.]]) |
从上表可以看出，torch.sum(axis=-1) 总是执行以下两项操作：
- 沿列轴求和所有元素。 对于行向量（一维 Tensor），结果是一个数字，它是向量中所有元素的总和；对于只有一列的矩阵，由于只有一行，因此总和等于矩阵的原始值；对于只有一行的矩阵，结果是一个大小为 1 的一维向量，其唯一元素是矩阵中所有元素的总和；对于更高维度的矩阵和 Tensor，求和发生在“每行”，当你考虑到 Tensor 的标准显示时。
- 降低维度并“移动”每个轴。 最后一个轴消失，其位置由倒数第二个轴占据，倒数第二个轴的位置由倒数第三个轴占据，依此类推。这可能会令人困惑，因为 PyTorch 似乎“旋转”了结果矩阵，但这种行为是因为 Tensor 中的最后一个维度始终是列数并如此显示。
对于 axis 参数的其他指定，行为类似。
Tensor 变换
在 Tensor 变换中，原始 Tensor 的形状被保留，但其值被更改。以 torch.softmax() 为例：softmax 变换这些值，使其总和等于 1。softmax transforms the values so that their sum equals one。dim 参数允许你选择沿哪个轴的元素总和等于 1：
import torch # 对于 dim=-1，沿列的总和等于 1： tensor4 = torch.randn((2, 2, 2)).softmax(dim=-1) print(tensor4) # 对于 dim=-2，沿行的总和等于 1： tensor5 = torch.randn((2, 2, 2)).softmax(dim=-2) print(tensor5)
注意事项：
- 理解 size 参数的顺序对于正确创建 Tensor 至关重要。
- axis 参数指定了操作沿哪个轴进行，理解其行为对于正确进行 Tensor 聚合和变换至关重要。
- Tensor 的维度处理是 PyTorch 中一个重要的概念，熟练掌握可以帮助你更有效地利用 PyTorch 进行深度学习模型的开发和训练。
总结：
本文详细介绍了 PyTorch 中 Tensor 的维度处理方式，包括 Tensor 的创建、聚合和变换。通过学习本文，你应该能够更好地理解 PyTorch Tensor 在维度上的操作逻辑，从而更有效地利用 PyTorch 进行深度学习模型的开发和训练。
