基于Bert进行实体识别任务微调
所需要的pip包
pandas
numpy
sklearn
pytorch
transformers: https://github.com/...torch import cuda
device = 'cuda' if cuda.is_available() else 'cpu'
print(device)
cuda
数据处理
比赛数据下载地址:商品标题实体识别...-14': 4,
'I-14': 5,
'B-5': 6,
'I-5': 7,
'B-7': 8,
'I-7': 9,
'B-11': 10,
'I-11': 11,
'B-13': 12...I-8': 15,
'O': 16,
'B-16': 17,
'I-16': 18,
'B-29': 19,
'I-29': 20,
'B-9': 21,
'I-9': 22,
'B-12...': 23,
'I-12': 24,
'B-18': 25,
'I-18': 26,
'B-1': 27,
'I-1': 28,
'B-3': 29,
'I-3': 30,
'B-22'