我想打印出 GradientTape 在前向传递过程中记录的所有步骤。作为一个简单的示例，我创建了以下代码，在单个上实现单个训练步骤...

我想打印出 GradientTape 前向传递过程中记录的所有步骤。

作为一个简单的例子，我创建了下面的代码，在单个神经元上实现单个训练步骤。

import tensorflow as tf

@tf.function
def one_training_step(X, y, loss_fn, activation_fn):
    with tf.GradientTape() as tape:
        y_ = activation_fn(X @ w + b)
        loss_value = loss_fn(y_true=y, y_pred=y_)
    grads = tape.gradient(loss_value, [w, b])
    print(f"Watched: {tape.watched_variables()}")
    print(f"Grads: {grads}")

X = tf.constant([[1.0]], dtype=float, name='X')
y = tf.constant([[1.0]], dtype=float, name='y')
w = tf.Variable([[2.0]], dtype=float, name='w')
b = tf.Variable([[3.0]], dtype=float, name='b')
activation_fn = tf.keras.activations.get('sigmoid')
loss_fn = tf.keras.losses.BinaryCrossentropy(from_logits=False)
one_training_step(X, y, loss_fn, activation_fn)

输出如下：

Watched: (<tf.Variable 'w:0' shape=(1, 1) dtype=float32>, <tf.Variable 'b:0' shape=(1, 1) dtype=float32>)
Grads: [<tf.Tensor 'gradient_tape/matmul/MatMul:0' shape=(1, 1) dtype=float32>, <tf.Tensor 'AddN:0' shape=(1, 1) dtype=float32>]

这似乎表明 w 是矩阵乘法，b 是加法。

但是其他可微分计算——激活函数和损失——发生了什么？

我想获取梯度带在前向传递过程中记录的所有步骤的列表。这很重要，因为我正在研究自定义神经网络（例如具有递归连接的神经网络），并且我想弄清楚应用了哪些计算来产生梯度。