《零基础实践深度学习》 Numpy 线性代数 应用举例 张量表示

1.7.3 线性代数

���性代数（如矩阵乘法、矩阵分解、行列式以及其他方阵数学等）是任何数组库的重要组成部分，NumPy中实现了线性代数中常用的各种操作，并形成了numpy.linalg线性代数相关的模块。本节主要介绍如下函数：

• diag ：以一维数组的形式返回方阵的对角线（或非对角线）元素，或将一维数组转换为方阵（非对角线元素为0）。
• dot ：矩阵乘法。
• trace ：计算对角线元素的和。
• det ：计算矩阵行列式。
• eig ：计算方阵的特征值和特征向量。
• inv ：计算方阵的逆。

  In [130]

  # 矩阵相乘a = np.arange(12)b = a.reshape([3, 4])c = a.reshape([4, 3])# 矩阵b的第二维大小，必须等于矩阵c的第一维大小d = b.dot(c) # 等价于 np.dot(b, c)print('a: \n{}'.format(a))print('b: \n{}'.format(b))print('c: \n{}'.format(c))print('d: \n{}'.format(d))

  a:

  [ 0 1 2 3 4 5 6 7 8 9 10 11]

  b:

  [[ 0 1 2 3]

  [ 4 5 6 7]

  [ 8 9 10 11]]

  c:

  [[ 0 1 2]

  [ 3 4 5]

  [ 6 7 8]

  [ 9 10 11]]

  d:

  [[ 42 48 54]

  [114 136 158]

  [186 224 262]]

  In [131]

  # numpy.linalg  中有一组标准的矩阵分解运算以及诸如求逆和行列式之类的东西# np.linalg.diag 以一维数组的形式返回方阵的对角线（或非对角线）元素，# 或将一维数组转换为方阵（非对角线元素为0）e = np.diag(d)f = np.diag(e)print('d: \n{}'.format(d))print('e: \n{}'.format(e))print('f: \n{}'.format(f))

  d:

  [[ 42 48 54]

  [114 136 158]

  [186 224 262]]

  e:

  [ 42 136 262]

  f:

  [[ 42 0 0]

  [ 0 136 0]

  [ 0 0 262]]

  In [132]

  # trace, 计算对角线元素的和g = np.trace(d)g

  In [133]

  # det，计算行列式h = np.linalg.det(d)h

  1.3642420526593978e-11

  In [134]

  # eig，计算特征值和特征向量i = np.linalg.eig(d)i

  (array([ 4.36702561e+02, 3.29743887e+00, -2.00728619e-14]),

  array([[ 0.17716392, 0.77712552, 0.40824829],

  [ 0.5095763 , 0.07620532, -0.81649658],

  [ 0.84198868, -0.62471488, 0.40824829]]))

  In [135]

  # inv，计算方阵的逆tmp = np.random.rand(3, 3)j = np.linalg.inv(tmp)j

  array([[ -5.81993172, 15.83159278, -11.18756558],

  [ 3.67058369, -6.46065502, 4.50665723],

  [ 2.11102657, -5.91510414, 5.31932688]])

  1.7.4 NumPy保存和导入文件

  1.7.4.1 文件读写

  NumPy可以方便的进行文件读写，如下面这种格式的文本文件：

  In [4]

  # 使用np.fromfile从文本文件'housing.data'读入数据# 这里要设置参数sep = ' '，表示使用空白字符来分隔数据# 空格或者回车都属于空白字符，读入的数据被转化成1维数组d = np.fromfile('./work/housing.data', sep = ' ')d

  array([6.320e-03, 1.800e+01, 2.310e+00, ..., 3.969e+02, 7.880e+00,

  1.190e+01])

  1.7.4.2 文件保存

  NumPy提供了save和load接口，直接将数组保存成文件(保存为.npy格式)，或者从.npy文件中读取数组。

  In [137]

  # 产生随机数组aa = np.random.rand(3,3)np.save('a.npy', a)# 从磁盘文件'a.npy'读入数组b = np.load('a.npy')# 检查a和b的数值是否一样check = (a == b).all()check

  1.7.5 NumPy应用举例

  1.7.5.1 计算激活函数Sigmoid和ReLU

  使用ndarray数组可以很方便的构建数学函数，并利用其底层的矢量计算能力快速实现计算。下面以神经网络中比较常用激活函数Sigmoid和ReLU为例，使用Numpy计算激活函数Sigmoid和ReLU的值，并使用matplotlib画出图形，代码实现如下。

  In [138]

  # ReLU和Sigmoid激活函数示意图import numpy as np%matplotlib inlineimport matplotlib.pyplot as pltimport matplotlib.patches as patches#设置图片大小plt.figure(figsize=(8, 3))# x是1维数组，数组大小是从-10. 到10.的实数，每隔0.1取一个点x = np.arange(-10, 10, 0.1)# 计算 Sigmoid函数s = 1.0 / (1 + np.exp(- x))# 计算ReLU函数y = np.clip(x, a_min = 0., a_max = None)########################################################## 以下部分为画图程序# 设置两个子图窗口，将Sigmoid的函数图像画在左边f = plt.subplot(121)# 画出函数曲线plt.plot(x, s, color='r')# 添加文字说明plt.text(-5., 0.9, r'$y=\sigma(x)$', fontsize=13)# 设置坐标轴格式currentAxis=plt.gca()currentAxis.xaxis.set_label_text('x', fontsize=15)currentAxis.yaxis.set_label_text('y', fontsize=15)# 将ReLU的函数图像画在右边f = plt.subplot(122)# 画出函数曲线plt.plot(x, y, color='g')# 添加文字说明plt.text(-3.0, 9, r'$y=ReLU(x)$', fontsize=13)# 设置坐标轴格式currentAxis=plt.gca()currentAxis.xaxis.set_label_text('x', fontsize=15)currentAxis.yaxis.set_label_text('y', fontsize=15)plt.show()

  1.7.5.2 图片翻转和裁剪

  图片是由像素点构成的矩阵，其数值可以用ndarray来表示。将上述介绍的操作用在图像数据对应的ndarray上，可以很轻松的实现图片的翻转、裁剪和亮度调整，代码实现如下。

  In [1]

  # 导入需要的包import numpy as npimport matplotlib.pyplot as pltfrom PIL import Image# 读入图片image = Image.open('./work/pic1.jpg')image = np.array(image)# 查看数据形状，其形状是[H, W, 3]，# 其中H代表高度， W是宽度，3代表RGB三个通道image.shape

  (404, 640, 3)

  In [2]

  # 原始图片plt.imshow(image)

  In [3]

  # 垂直方向翻转# 这里使用数组切片的方式来完成，# 相当于将图片最后一行挪到第一行，# 倒数第二行挪到第二行，..., # 第一行挪到倒数第一行# 对于行指标，使用::-1来表示切片，# 负数步长表示以最后一个元素为起点，向左走寻找下一个点# 对于列指标和RGB通道，仅使用:表示该维度不改变image2 = image[::-1, :, :]plt.imshow(image2)

  In [4]

  # 水平方向翻转image3 = image[:, ::-1, :]plt.imshow(image3)

  # 保存图片im3 = Image.fromarray(image3)im3.save('im3.jpg')

  #  高度方向裁剪H, W = image.shape[0], image.shape[1]# 注意此处用整除，H_start必须为整数H1 = H // 2 H2 = Himage4 = image[H1:H2, :, :]plt.imshow(image4)

  #  宽度方向裁剪W1 = W//6W2 = W//3 * 2image5 = image[:, W1:W2, :]plt.imshow(image5)

  # 两个方向同时裁剪image5 = image[H1:H2, \               W1:W2, :]plt.imshow(image5)

  # 调整亮度image6 = image * 0.5plt.imshow(image6.astype('uint8'))

  # 调整亮度image7 = image * 2.0# 由于图片的RGB像素值必须在0-255之间，# 此处使用np.clip进行数值裁剪image7 = np.clip(image7, \        a_min=None, a_max=255.)plt.imshow(image7.astype('uint8'))

  #高度方向每隔一行取像素点image8 = image[::2, :, :]plt.imshow(image8)

  #宽度方向每隔一列取像素点image9 = image[:, ::2, :]plt.imshow(image9)

  #间隔行列采样，图像尺寸会减半，清晰度变差image10 = image[::2, ::2, :]plt.imshow(image10)image10.shape

  1.7.6 飞桨的张量表示

  飞桨使用张量（Tensor）表示数据。Tensor可以理解为多维数组，具有任意的维度，如一维、二维、三维等。不同Tensor可以有不同的数据类型 (dtype) 和形状 (shape)，同一Tensor的中所有元素的数据类型均相同。Tensor是类似于Numpy数组（ndarray）的概念。飞桨的Tensor高度兼容Numpy数组，在基础数据结构和方法上，增加了很多适用于深度学习任务的参数和方法，如：反向计算梯度，指定运行硬件等。

  如下述代码声明了两个张量类型的向量xx和yy，指定CPU为计算运行硬件，要自动反向求导。两个向量除了可以与Numpy类似的做相乘的操作之外，还可以直接获取到每个变量的导数值。

  import paddlex = paddle.to_tensor([1.0, 2.0, 3.0], dtype='float32', place=paddle.CPUPlace(), stop_gradient=False)y = paddle.to_tensor([4.0, 5.0, 6.0], dtype='float32', place=paddle.CPUPlace(), stop_gradient=False)z = x * yz.backward()print("tensor's grad is: {}".format(x.grad))

  此外，飞桨的张量还可以实现与Numpy的数组转换，代码实现如下。

  In [ ]

  import paddleimport numpy as nptensor_to_convert = paddle.to_tensor([1.,2.])#通过 Tensor.numpy() 方法，将张量转化为 Numpy数组tensor_to_convert.numpy()#通过paddle.to_tensor() 方法，将 Numpy数组 转化为张量tensor_temp = paddle.to_tensor(np.array([1.0, 2.0]))

  虽然飞桨的张量可以与Numpy的数组互相转换，但实践时频繁地转换会导致无效的性能消耗。目前飞桨Tensor支持的操作已经超过NumPy，推荐读者在使用飞桨完成深度学习任务时，优先使用Tensor完成各种数据处理和组网操作。更多飞桨张量的介绍，可以参考“飞桨官网文档-Tensor介绍”。

  作业1-7：使用NumPy计算tanh激活函数

  tanh是神经网络中常用的一种激活函数，其定义如下：

  请参照讲义中Sigmoid激活函数的计算程序，用NumPy实现tanh函数的计算，并画出其函数曲线。

  提交方式：请用NumPy写出计算程序，并画出tanh函数曲线图，xx的取值范围设置为[-10., 10.]。

  作业1-8： 统计随机生成矩阵中有多少个元素大于0？

  假设使用np.random.randn生成了随机数构成的矩阵：

      p = np.random.randn(10, 10)

  请写一段程序统计其中有多少个元素大于0？

  提示：可以试下使用q=(p>0)q = (p > 0)，观察qq是什么的数据类型和元素的取值。

  提交方式：提交计算的代码，能够直接运行输出统计出来的结果。