目录

• • • 一．梯度（Gradient）的理解：
    • 二．激活函数（Activation Function）及其梯度：
    • 三．损失（Loss）函数及其梯度
    • 四．单输出感知机及其梯度
    • 五．多输出感知机及其梯度

• 导数：一维函数沿x轴的变动率；
  偏微分：二维函数沿各个方向的变动率；
  梯度：三维及以上函数沿各个方向的变动率，当函数沿某一方向的值突然变动很大时，它在这个方向的此数梯度就会大；

• 公式：θt+1 = θt - a * ?θt
  使用tensorflow计算梯度：
  With tf.GradientTape() as tape:
  [w_grad] = tape.gradient(loss,[w])

#MSE Gradient x = tf.random.normal([2,4]) #输入：2个simple:[b,4] w = tf.random.normal([4,3]) #把4维降到3维==>最终分为3类 b = tf.zeros([3]) y = tf.constant([2,0])with tf.GradientTape() as tape: tape.watch([w,b]) prob = tf.nn.softmax(x@w+b,axis=1) loss = tf.reduce_mean(tf.losses.MSE(tf.one_hot(y,depth=3),prob))grads = tape.gradient(loss,[w,b]) print(grads[0]) # tf.Tensor( # [[-0.053691040.07968411 -0.02599307] #[-0.0535683-0.01830230.0718706 ] #[-0.07898090.028222490.05075841] #[ 0.08340039 -0.03885455 -0.04454585]], shape=(4, 3), dtype=float32)

• 常用Softmax回归将神经网络前向传播得到的结果变成概率分布，softmax常用于多分类过程中，它将多个神经元的输出，归一化到( 0, 1) 区间内，因此Softmax的输出可以看成概率，从而来进行多分类。以下为Softmax的公式：
  
  文章图片
  

#Crossentropy Gradient x = tf.random.normal([2,4]) #输入：2个样本:[b,4] w = tf.random.normal([4,3]) #把4维降到3维==>最终分为3类 b = tf.zeros([3]) y = tf.constant([2,0])with tf.GradientTape() as tape: tape.watch([w,b]) logits = x@w+b loss = tf.reduce_mean(tf.losses.categorical_crossentropy(tf.one_hot(y,depth=3),logits,from_logits=True))grads = tape.gradient(loss,[w,b]) print(grads) # [, ] print(grads[0]) # tf.Tensor([-0.444272550.6398322-0.1955596 ], shape=(3,), dtype=float32)

• Loss = 1/2 (O10 - t)2，对其j层求导：(O0 - t) O0 (1 - O0)xj0；

#单输出感知机梯度 x = tf.random.normal([1,3]) w = tf.ones([3,1]) b = tf.ones([1]) y = tf.constant([1])with tf.GradientTape() as tape: tape.watch([w,b]) logits = tf.sigmoid(x@w+b) loss = tf.reduce_mean(tf.losses.MSE(y,logits))#本身输出已经在0~1，所以不需要再one_hot encodinggrads = tape.gradient(loss,[w,b]) print(grads) # [, ]

• Loss = 1/2 Σ(O1i - ti)2；对其j层求导：(Ok - tk) Ok (1 - Ok)xj0；

#多输出感知机梯度 x = tf.random.normal([2,4]) w = tf.ones([4,3]) b = tf.ones([3]) y = tf.constant([2,0])with tf.GradientTape() as tape: tape.watch([w,b]) prob = tf.nn.softmax(x@w+b,axis=1) loss = tf.reduce_mean(tf.losses.MSE(tf.one_hot(y,depth=3),prob))grads = tape.gradient(loss,[w,b]) print(grads[0])