对于像这样读取CTF格式的文件的读取器,
query = StreamDef(field='S0', shape=vocab_size, is_sparse=True),
intent = StreamDef(field='S1', shape=num_intents, is_sparse=True),
slot_labels = StreamDef(field='S2', shape=num_labels, is_sparse=True)如果是令牌,我如何转义特殊字符,如"|“?我收到了中间一行的警告,其中令牌本身是"|“
48155 |S0196:1 |# - |S2 0:1 |#无
48155 |S0 18217:1 |# | |S2 0:1 |#无
48155 |S03152:1 |# Cindy |S2 0:1 |# None
我可以在创建CFT文件时删除它们,但我想知道我们如何处理这个问题。谢谢
发布于 2017-03-16 16:50:40
管道可以通过附加散列符号进行转义:|# this is a CTF comment with an escaped pipe: '|#'
发布于 2017-04-15 00:43:43
您还可以将管道映射到语料库中未出现的其他单词或字符。我通常将管道替换为。
https://stackoverflow.com/questions/42775771
复制相似问题