李沐动手学习深度学习——4.1练习

1. 计算pReLU激活函数的导数。

pReLUindex.php/tags-41973.html" >���活函数公式根据课本有如下：

p R e L U ( x ) = max ⁡ ( 0 , x ) + α min ⁡ ( 0 , x ) \mathrm{pReLU}(x) =\max(0, x)+\alpha \min(0,x) pReLU(x)=max(0,x)+αmin(0,x)

对应的函数图像为:

对应的导数计算为：

d p R e L U d x = { 1 , x ≥ 1 α , x