Python Keras NLP模型到Tensorflowjs的转换

Question

我正在努力学习更多关于Tensorflowjs的知识，但不幸的是，我的Keras NLP模型被转换成了Tensorflowjs。

这就是我想要转换的：

from keras.models import load_model

from keras.preprocessing.sequence import pad_sequences

import pickle

list_classes = ["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]

model = load_model('Keras_Model/m.hdf5')
with open('Keras_Model/tokenizer.pkl', 'rb') as handler:
    tokenizer = pickle.load(handler)

list_sentences_train = ["I need help Stackoverflow"]

list_tokenized_train = tokenizer.texts_to_sequences(list_sentences_train)
maxlen = 200
X_t = pad_sequences(list_tokenized_train, maxlen=maxlen)


pred = model.predict(X_t)[0]

Tensorflowjs侧：

import tf = require('@tensorflow/tfjs-node')

async function processModel(){
  const model = await tf.loadLayersModel('Server_Model/model.json');
}

如何让Tokenizer运行并做出正确的预测？

Answer 1

实际上，我在Android上对文本进行分类时也遇到了同样的问题。我已经准备好了模型( tflite )，但是我如何才能像Python中的Keras那样对句子进行标记化呢？

我找到了一个简单的解决方案，我已经讨论过here (适用于安卓)。

JSON简单的想法是将keras.preprocessing.text.Tokenizer词汇表转换为

文件。这个JSON文件可以用任何编程语言进行解析，包括JavaScript。

Tokenizer包含一个名为word_index的对象。

index = tokenizer.word_index

word_index对象是一个字典，可以像这样转换成JSON，

import json 
with open( 'word_dict.json' , 'w' ) as file:    
    json.dump( tokenizer.word_index , file )

JSON文件包含成对的单词和索引。您可以像本link中提到的那样在JavaScript中解析它。