8wDlpd.png
8wDFp9.png
8wDEOx.png
8wDMfH.png
8wDKte.png

如何列出 TensorFlow GradientTape 记录的操作

Ubuntu Learner 2月前

22 0

我想打印出 GradientTape 在前向传递过程中记录的所有步骤。作为一个简单的示例,我创建了以下代码,在单个上实现单个训练步骤...

我想打印出 GradientTape 前向传递过程中记录的所有步骤。

作为一个简单的例子,我创建了下面的代码,在单个神经元上实现单个训练步骤。

import tensorflow as tf

@tf.function
def one_training_step(X, y, loss_fn, activation_fn):
    with tf.GradientTape() as tape:
        y_ = activation_fn(X @ w + b)
        loss_value = loss_fn(y_true=y, y_pred=y_)
    grads = tape.gradient(loss_value, [w, b])
    print(f"Watched: {tape.watched_variables()}")
    print(f"Grads: {grads}")

X = tf.constant([[1.0]], dtype=float, name='X')
y = tf.constant([[1.0]], dtype=float, name='y')
w = tf.Variable([[2.0]], dtype=float, name='w')
b = tf.Variable([[3.0]], dtype=float, name='b')
activation_fn = tf.keras.activations.get('sigmoid')
loss_fn = tf.keras.losses.BinaryCrossentropy(from_logits=False)
one_training_step(X, y, loss_fn, activation_fn)

输出如下:

Watched: (<tf.Variable 'w:0' shape=(1, 1) dtype=float32>, <tf.Variable 'b:0' shape=(1, 1) dtype=float32>)
Grads: [<tf.Tensor 'gradient_tape/matmul/MatMul:0' shape=(1, 1) dtype=float32>, <tf.Tensor 'AddN:0' shape=(1, 1) dtype=float32>]

这似乎表明 w 是矩阵乘法,b 是加法。

但是其他可微分计算——激活函数和损失——发生了什么?

我想获取梯度带在前向传递过程中记录的所有步骤的列表。这很重要,因为我正在研究自定义神经网络(例如具有递归连接的神经网络),并且我想弄清楚应用了哪些计算来产生梯度。

帖子版权声明 1、本帖标题:如何列出 TensorFlow GradientTape 记录的操作
    本站网址:http://xjnalaquan.com/
2、本网站的资源部分来源于网络,如有侵权,请联系站长进行删除处理。
3、会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。
4、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
5、站长邮箱:yeweds@126.com 除非注明,本帖由Ubuntu Learner在本站《tensorflow》版块原创发布, 转载请注明出处!
最新回复 (0)
返回
作者最近主题: