喀拉斯拉丹

[中文| 英文]

RAdam在 Keras 和 TensorFlow 中的非官方实现。

安装

pip install keras-rectified-adam

外部链接

• 张量流/插件：RectifiedAdam

用法

import keras
import numpy as np
from keras_radam import RAdam

# Build toy model with RAdam optimizer
model = keras.models.Sequential()
model.add(keras.layers.Dense(input_shape=(17,), units=3))
model.compile(RAdam(), loss='mse')

# Generate toy data
x = np.random.standard_normal((4096 * 30, 17))
w = np.random.standard_normal((17, 3))
y = np.dot(x, w)

# Fit
model.fit(x, y, epochs=5)

没有 Keras 的 TensorFlow

from keras_radam.training import RAdamOptimizer

RAdamOptimizer(learning_rate=1e-3)

使用热身

from keras_radam import RAdam

RAdam(total_steps=10000, warmup_proportion=0.1, min_lr=1e-5)

问答

关于正确性

优化器在 500 步后产生与官方优化器相似的损失和权重。

使用tf.keras或tf-2.0

添加TF_KERAS=1到环境变量以使用tensorflow.python.keras.

使用theano后端

添加KERAS_BACKEND=theano到环境变量以启用theano后端。