如何在tensorflow中对定制数据进行正式实现的预培训后保存BERT模型？

Question

通过从bert的bert_base_uncased实现运行run_pretraining.py，我对自定义数据的官场模型进行了精调。并且像往常一样保存了多个model.ckpt文件。

但是我想将这个模型保存为一个.pb文件(也是资产和变量)，以便将它作为一个pytorch模型加载，并在以后的任务中使用它。问题是我做不到，也找不到任何有用的资源。

我必须用火把来完成我接下来要做的任务。因此，我的问题可能有两种可能的解决办法：

1. 如何在使用正式实现对.pb进行微调之后保存一个bert文件？或者我已经有了model.ckpt，如何将其转换为.pb
2. 怎样用火把训练伯特，让我得到我想要的？

任何帮助都将不胜感激。

Answer 1

BERT模型实现的示例代码，以及以后以.pb格式保存模型的示例代码。

# Bert layers
text_input = tf.keras.layers.Input(shape=(), dtype=tf.string, name='text')
preprocessed_text = bert_preprocess(text_input)
outputs = bert_encoder(preprocessed_text)

# Neural network layers
l = tf.keras.layers.Dropout(0.1, name="dropout")(outputs['pooled_output'])
l = tf.keras.layers.Dense(1, activation='sigmoid', name="output")(l)

# Use inputs and outputs to construct a final model
model = tf.keras.Model(inputs=[text_input], outputs = [l])

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics='accuracy') 

model.fit(X_train, y_train, epochs=10)

# Save the entire model as a SavedModel.
!mkdir -p saved_model
model.save('saved_model/my_model')

# my_model directory
ls saved_model

# Contains an assets folder, saved_model.pb, and variables folder.
ls saved_model/my_model