【深度学习笔记】计算机视觉——图像增广

图像增广

sec_alexnet���到过大型数据集是成功应用深度神经网络的先决条件。

图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。

此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。

例如，我们可以以不同的方式裁剪图像，使感兴趣的对象出现在不同的位置，减少模型对于对象出现位置的依赖。

我们还可以调整亮度、颜色等因素来降低模型对颜色的敏感度。

可以说，图像增广技术对于AlexNet的成功是必不可少的。本节将讨论这项广泛应用于计算机视觉的技术。

%matplotlib inlineimport torchimport torchvisionfrom torch import nnfrom d2l import torch as d2l

常用的图像增广方法

在对常用图像增广方法的探索时，我们将使用下面这个尺寸为 400 × 500 400\times 500 400×500的图像作为示例。

d2l.set_figsize()img = d2l.Image.open('../img/cat1.jpg')d2l.plt.imshow(img);

​

​

大多数图像增广方法都具有一定的随机性。为了便于观察图像增广的效果，我们下面定义辅助函数apply。

此函数在输入图像img上多次运行图像增广方法aug并显示所有结果。

def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):    Y = [aug(img) for _ in range(num_rows * num_cols)]    d2l.show_images(Y, num_rows, num_cols, scale=scale)

翻转和裁剪

[左右翻转图像]通常不会改变对象的类别。这是最早且最广泛使用的图像增广方法之一。

接下来，我们使用transforms模块来创建RandomFlipLeftRight实例，这样就各有50%的几率使图像向左或向右翻转。

apply(img, torchvision.transforms.RandomHorizontalFlip())

​

​

[上下翻转图像]不如左右图像翻转那样常用。但是，至少对于这个示例图像，上下翻转不会妨碍识别。接下来，我们创建一个RandomFlipTopBottom实例，使图像各有50%的几率向上或向下翻转。

apply(img, torchvision.transforms.RandomVerticalFlip())

​

​

在我们使用的示例图像中，猫位于图像的中间，但并非所有图像都是这样。

在 sec_pooling中，我们解释了汇聚层可以降低卷积层对目标位置的敏感性。

另外，我们可以通过对图像进行随机裁剪，使物体以不同的比例出现在图像的不同位置。

这也可以降低模型对目标位置的敏感性。

下面的代码将[随机裁剪]一个面积为原始面积10%到100%的区域，该区域的宽高比从0.5～2之间随机取值。

然后，区域的宽度和高度都被缩放到200像素。

在本节中（除非另有说明）， a a a和 b b b之间的随机数指的是在区间 [ a , b ] [a, b] [a,b]中通过均匀采样获得的连续值。

shape_aug = torchvision.transforms.RandomResizedCrop(    (200, 200), scale=(0.1, 1), ratio=(0.5, 2))apply(img, shape_aug)

​

​

改变颜色

另一种增广方法是改变颜色。

我们可以改变图像颜色的四个方面：亮度、对比度、饱和度和色调。

在下面的示例中，我们[随机更改图像的亮度]，随机值为原始图像的50%（ 1 − 0.5 1-0.5 1−0.5）到150%（ 1 + 0.5 1+0.5 1+0.5）之间。

apply(img, torchvision.transforms.ColorJitter(    brightness=0.5, contrast=0, saturation=0, hue=0))

​

​

同样，我们可以[随机更改图像的色调]。

apply(img, torchvision.transforms.ColorJitter(    brightness=0, contrast=0, saturation=0, hue=0.5))

​

​

我们还可以创建一个RandomColorJitter实例，并设置如何同时[随机更改图像的亮度（brightness）、对比度（contrast）、饱和度（saturation）和色调（hue）]。

color_aug = torchvision.transforms.ColorJitter(    brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)apply(img, color_aug)

​

​

[结合多种图像增广方法]

在实践中，我们将结合多种图像增广方法。比如，我们可以通过使用一个Compose实例来综合上面定义的不同的图像增广方法，并将它们应用到每个图像。

augs = torchvision.transforms.Compose([    torchvision.transforms.RandomHorizontalFlip(), color_aug, shape_aug])apply(img, augs)

​

​

[使用图像增广进行训练]

让我们使用图像增广来训练模型。

这里，我们使用CIFAR-10数据集，而不是我们之前使用的Fashion-MNIST数据集。

这是因为Fashion-MNIST数据集中对象的位置和大小已被规范化，而CIFAR-10数据集中对象的颜色和大小差异更明显。

CIFAR-10数据集中的前32个训练图像如下所示。

all_images = torchvision.datasets.CIFAR10(train=True, root="../data",                                          download=True)d2l.show_images([all_images[i][0] for i in range(32)], 4, 8, scale=0.8);

Downloading https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz to ../data/cifar-10-python.tar.gz  0%|          | 0/170498071 [00:00