首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏毛利学Python

    【小白学习PyTorch教程】十五、通过PyTorch来创建一个文本分类的Bert模型

    笔者介今天绍一个python库 --- simpletransformers,可以很好的解决高级预训练语言模型使用困难的问题。 simpletransformers使得高级预训练模型(BERT、RoBERTa、XLNet、XLM、DistilBERT、ALBERT、CamemBERT、XLM-RoBERTa、FlauBERT)的训练 from simpletransformers.classification import ClassificationModel # 模型参数 model_args = { "reprocess_input_data 1.4970421879083518} CPU times: user 19min 1s, sys: 4.95 s, total: 19min 6s Wall time: 20min 14s 关于simpletransformers 的官方文档:https://simpletransformers.ai/docs Github链接:https://github.com/ThilinaRajapakse/simpletransformers

    1.2K30编辑于 2022-08-18
  • 来自专栏AI科技大本营的专栏

    Simple Transformer:用BERT、RoBERTa、XLNet、XLM和DistilBERT进行多类文本分类

    GitHub repo: https://github.com/ThilinaRajapakse/simpletransformers 安装 1、从这里(https://www.anaconda.com pip install simpletransformers 用法 让我们看看如何对AGNews数据集执行多类分类。 对于用Simple Transformers简单二分类,参考这里。 你只需为列的文本和标签命名,SimpleTransformers就会处理数据。或者你也可以遵循以下约定: • 第一列包含文本,类型为str。 • 第二列包含标签,类型为int。 (可以在存储库 https://github.com/ThilinaRajapakse/simpletransformers 的utils.py文件中找到InputFeature类) 你还可以包括在评估中要使用的其他指标 Simple Transformers 库:https://github.com/ThilinaRajapakse/simpletransformers 原文链接:https://medium.com

    5.3K20发布于 2019-10-31
  • 来自专栏机器学习AI算法工程

    对话短文本语义匹配-冠军代码

    Pretrained-Language-Model 下载并解压, 解压到文件夹 data, 文件夹结构如下: 预训练模型md5 环境准备 torch==1.7.0 transformers=4.3.0.rc1 simpletransformers

    1.2K30发布于 2021-10-14
  • 来自专栏机器学习初学者精选文章

    【NLP】使用Google的T5提取文本特征

    from simpletransformers.t5 import T5Modelmodel_args = { "max_seq_length": 196, "train_batch_size 这些更改符合Simpletransformers库接口,用于微调t5,其中主要的附加要求是指定一个“前缀”,用于帮助进行多任务训练(注意:在本例中,我们将重点放在单个任务上,因此前缀不必使用,但是,我们无论如何都会定义它 扩展Featuretools框架非常简单,可以使用Hugging Face transformers和Simpletransformers库。再加上几行代码,精确度就提高了,代码的复杂度也保持不变。

    1.9K30发布于 2021-07-29
  • 来自专栏磐创AI技术团队的专栏

    低资源语言的机器翻译

    有关更多信息,请访问GitHub Repo:https://github.com/ThilinaRajapakse/simpletransformers。 pip install simpletransformers ! 2021.5.0 import logging import pandas as pd from sklearn.model_selection import train_test_split from simpletransformers.seq2seq

    1.5K40发布于 2021-10-27
  • 来自专栏DeepHub IMBA

    5分钟NLP:快速实现NER的3个预训练库总结

    from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from simpletransformers.ner

    2.1K40编辑于 2022-03-12
  • 来自专栏机器学习AI算法工程

    小布助手对话短文本语义匹配

    huawei-noah/Pretrained-Language-Model 下载并解压, 解压到文件夹 data, 文件夹结构如下 环境准备 torch==1.7.0 transformers=4.3.0.rc1 simpletransformers

    1.6K40编辑于 2022-09-06
  • 来自专栏机器学习与统计学

    梳理十年Kaggle竞赛,看自然语言处理的变迁史

    simple-transformers-introducing-the-easiest-bert-roberta-xlnet-and-xlm-library-58bf8c59b2a3 simple-transformer库的github: https://github.com/ThilinaRajapakse/simpletransformers

    73820发布于 2019-12-06
  • 来自专栏大数据文摘

    从词袋到transfomer,梳理十年Kaggle竞赛,看自然语言处理的变迁史

    simple-transformers-introducing-the-easiest-bert-roberta-xlnet-and-xlm-library-58bf8c59b2a3 simple-transformer库的github: https://github.com/ThilinaRajapakse/simpletransformers

    69200发布于 2019-11-13
  • 来自专栏机器学习算法与Python学习

    从词袋到transfomer,梳理十年Kaggle竞赛,看自然语言处理的变迁史

    simple-transformers-introducing-the-easiest-bert-roberta-xlnet-and-xlm-library-58bf8c59b2a3 simple-transformer库的github: https://github.com/ThilinaRajapakse/simpletransformers

    53910发布于 2019-12-03
  • 来自专栏CDA数据分析师

    梳理十年Kaggle竞赛,看自然语言处理的变迁史

    simple-transformers-introducing-the-easiest-bert-roberta-xlnet-and-xlm-library-58bf8c59b2a3 simple-transformer库的github: https://github.com/ThilinaRajapakse/simpletransformers

    99640发布于 2019-11-27
  • 来自专栏新智元

    星标破10万!Auto-GPT之后,Transformer越新里程碑

    关键词:医疗成像,训练,评估 simpletransformers Simple Transformers让您快速训练和评估Transformer模型。初始化、训练和评估模型只需要3行代码。

    84660编辑于 2023-05-22
  • 来自专栏自然语言处理

    中移集成-首届OneCity编程大赛复盘

    index=None) 5.2 模型训练 思想很简单:多模型融合,分类问题本质就是要减少模型差异化 import re import numpy as np import pandas as pd from simpletransformers.classification

    74210发布于 2021-01-08
  • 来自专栏机器之心

    Transformer预训练模型已经变革NLP领域,一文概览当前现状

    SimpleTransformers、HappyTransformer、AdaptNLP 等则构建于 Transformer 软件库之上,可让用户仅使用少量代码就实现更轻松的训练和评估。

    1.5K60发布于 2021-10-26
领券