八月8月2日:发布spacy-transformers库,通过新开发的接口库连接spaCy与Hugging Face的实现,支持在spaCy中使用BERT、GPT-2、XLNet等大型Transformer 9月4日:spacy-transformers v0.4.0发布,增加了对Hugging Face DistilBERT的支持,并提供了预打包的DistilBERT模型。 10月12-15日:在印度PyCon大会上,团队成员演示了如何通过spacy-transformers在spaCy中使用BERT等大型Transformer模型,并发表了题为《让他们写代码》的主旨演讲。 11月8日:在慕尼黑的Hacking Machine Learning聚会上,联合创始人分享了关于spacy-transformers的内容。
spacy-transformers包利用Thinc的这种互操作性,使Huggingface PyTorch Transformer模型可在spaCy流水线中使用。 Studio M1 Ultra16P/4E483470在苹果芯片GPU上试用spaCy Transformer流水线对苹果芯片GPU的支持已在Thinc 8.1.0、spaCy 3.4.2及更高版本以及spacy-transformers 要使用对苹果芯片GPU的支持,请首先确保已安装PyTorch 1.13或更高版本:pip install spacy "torch>=1.13.0"然后,您可以安装想要使用的Transformer模型,这也会安装spacy-transformers
在这篇文章中,我们将介绍新的封装库 spacy-transformers。它提供了对多种模型的一致且易于使用的接口,这些模型可以提取特征来驱动您的NLP流程。 更新(2019年10月):spacy-transformers 包之前名为 spacy-pytorch-transformers。 spacy-transformers 包提供了自定义流程组件,使这个过程变得特别容易。我们提供了一个用于文本分类的示例组件。开发用于其他任务的类似组件应该相当直接。 spacy-transformers 在内部处理这个问题,并且要求流程中有一个句子边界检测组件。我们推荐使用spaCy内置的 sentencizer 组件。 spacy-transformers 在 GitHub 上spaCy 在 GitHub 上FINISHED
spaCy利用该库创建了spacy-transformers,这是一种用于文本处理的工业级库。 ?
通过 spacy-transformers 提供。新的和改进的管道组件 API现在定义、配置、重用、训练和分析管道组件变得更加容易和方便。
它通过其第三方软件包spacy-transformers为Transformers模型提供支持。
spaCy利用该库创建了spacy-transformers,这是一种用于文本处理的工业级库。 ?
spaCy 发布了新的库 (https://explosion.ai/blog/spacy-transformers),支持把 Tranformer 语言模型结合到他们自己的库中,从而能够在 spaCy
https://explosion.ai/blog/spacy-transformers https://towardsdatascience.com/fastai-with-transformers-bert-roberta-xlnet-xlm-distilbert