Trung tâm cá nhân
cuốn sách gpt4 ai đã làm

python - tf.zeros() 是否返回 tf.get_variable()？

In lại Tác giả: Walker 123 更新时间：2023-11-28 17:07:53 32 4
mua khóa gpt4 Nike

试图了解 keras 优化器中的 SGD 优化代码 (source code). hiện hữu get_updates 模块中，我们有:

# momentum
shapes = [K.int_shape(p) for p in params]
moments = [K.zeros(shape) for shape in shapes]
self.weights = [self.iterations] + moments
for p, g, m in zip(params, grads, moments):
    v = self.momentum * m - lr * g # velocity
    self.updates.append(K.update(m, v))

TRONG K = keras.backend。现在，由于 moments 被设置为零张量列表，而 m 是该列表的迭代，为什么 m 不总是求值到 v = self.momentum * m - lr * g?

行中的零张量

现在我为 tensorflow ( source code ) 查找了 keras.backend.zeros 的代码，keras.backend.zeros 返回了 tf.zeros ，它显然返回一个恒定的零张量。 (编辑:或者返回一个 tf.Variable 如果指定了形状则用 tf.zeros 初始化。)

我的直觉是它会返回类似 tf.get_variable() 的东西，初始化器为零，因此张量不会每次都被覆盖。相反，名为 m 的张量只会通过 K.update() 不断更新。

tf.zeros() 是否真的像 tf.get_variable() 那样使用零初始化？还有什么我想念的吗？

biên tập:所以即使指定了形状，上面链接的源代码似乎仍然返回一个新的张量变量，而不是重用现有的变量(即使用 get_variable() )，这似乎很难，因为没有指定名称。仍然对为什么返回现有变量而不是新的零张量变量感到困惑。

câu trả lời hay nhất

我认为您错过了正确的 K.zeros 函数。这是 keras 2.1 ( keras/backend/tensorflow_backend.py ) 中的源代码:

def zeros(shape, dtype=None, name=None):
    """Instantiates an all-zeros variable and returns it.

    # Arguments
        shape: Tuple of integers, shape of returned Keras variable
        dtype: String, data type of returned Keras variable
        name: String, name of returned Keras variable

    # Returns
        A variable (including Keras metadata), filled with `0.0`.

    # Example
    ```python
        >>> from keras import backend as K
        >>> kvar = K.zeros((3,4))
        >>> K.eval(kvar)
        array([[ 0., 0., 0., 0.],
               [ 0., 0., 0., 0.],
               [ 0., 0., 0., 0.]], dtype=float32)
    ```
    """
    if dtype is None:
        dtype = floatx()
    tf_dtype = tf.as_dtype(dtype)
    return variable(tf.constant_initializer(0., dtype=tf_dtype)(shape),
                    dtype, name)

如您所见，它实际上返回的是用零初始化的变量，而不是常数零张量。 tài liệu声明相同:

Instantiates an all-zeros variable and returns it.

biên tập:后续问题的答案。

这实际上是一个很好的观察:你是对的，随后调用 Optimizer.get_updates(loss, params) 将创建新变量，分配 self.updates 的新 操作和self.weights của新 权重。从某种意义上说，get_updates 方法是优化器构造函数的一部分。

但是它是这样工作的:这个方法在每个模型实例中被调用 một lần。它返回在不同批处理的循环中多次应用的更新操作列表，但操作本身保持不变。这是 Model 类 ( keras/engine/training.py ) 的相关代码:

def _make_train_function(self):
    ...
    if self.train_function is None:
        ...
        with K.name_scope('training'):
            with K.name_scope(self.optimizer.__class__.__name__):
                training_updates = self.optimizer.get_updates(
                    params=self._collected_trainable_weights,
                    loss=self.total_loss)
            updates = self.updates + training_updates + self.metrics_updates
            # Gets loss and metrics. Updates weights at each call.
            self.train_function = K.function(inputs,
                                             [self.total_loss] + self.metrics_tensors,
                                             updates=updates,
                                             name='train_function',
                                             **self._function_kwargs)

self.optimizer.get_updates(...) 仅被调用一次以构建 train_function.

随意检查其他优化器并检查它们是否都在 get_updates() 方法内准备权重和更新操作。

关于python - tf.zeros() 是否返回 tf.get_variable()？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49862270/

32 4 0
Đề xuất bài viết: css - 百分比高度在任何浏览器中都不起作用(使用 Bootstrap )
Đề xuất bài viết: javascript - 在html之间传递变量(php)
Đề xuất bài viết: javascript - 如何清除在组件生命周期中创建的 setTimeout？
Đề xuất bài viết: javascript - 无法从 android webview 内的网页进行语音通话
Walker 123
Hồ sơ

Tôi là một lập trình viên xuất sắc, rất giỏi!

Nhận phiếu giảm giá taxi Didi miễn phí
Phiếu giảm giá taxi Didi
Các bài viết phổ biến trên toàn bộ trang web
Chứng chỉ ICP Bắc Kinh số 000000
Hợp tác quảng cáo: 1813099741@qq.com 6ren.com
Xem sitemap của VNExpress