- 综合排序
- 最热优先
- 最新优先
- 来自专栏汇智网教程
spaCy 2.1 中文模型下载
中文版预训练模型包括词性标注、依存分析和命名实体识别，由汇智网提供 1、模型下载安装与使用 下载后解压到一个目录即可，例如假设解压到目录 /models/zh_spacy，目录结构如下： /spacy/ for token in doc: print(token.text) spaCy2.1中文预训练模型下载地址：http://sc.hubwiz.com/codebag/zh-spacy-model / 2、使用词向量 spaCy中文模型采用了中文维基语料预训练的300维词向量，共352217个词条。 将 BB 努力 RB 参与 VV 中国 NNP 的 DEC 三峡工程 NN 建设 NN 4、使用依存分析 spaCy中文依存分析模型采用 5、使用命名实体识别 spaCy中文NER模型采用ontonotes 5.0数据集训练。
4.6K20发布于 2019-07-28 - 来自专栏Soul Joy Hub
中文文本纠错模型
中文文本纠错任务是一项NLP基础任务，其输入是一个可能含有语法错误的中文句子，输出是一个正确的中文句子。语法错误类型很多，有多字、少字、错别字等，目前最常见的错误类型是错别字。 1. ://github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 ，可支持 BERT 类模型为 backbone。 在通常 BERT 模型上进行了魔改，追加了一个全连接层作为错误检测即 detection， 与 SoftMaskedBERT 模型不同点在于，本项目中的 MacBERT 中，只是利用 detection spm=1001.2014.3001.5502 ErnieCSC PaddleNLP模型库实现了百度在ACL 2021上提出结合拼音特征的Softmask策略的中文错别字纠错的下游任务网络，并提供预训练模型
1.9K40编辑于 2022-05-10 - 来自专栏梦里茶室
【Chromium中文文档】进程模型
这个文档描述了Chromium支持的不同线程模型，包括它的渲染器进程，以及现有模型实现的问题。 概述 网页内容已经发展到包含大量在浏览器内运行的活跃代码的地步，使得许多网站更像应用程序而非文档。 Chromium支持四种不同的进程模型，允许开发者实验，也有最适合大部分用户的默认模式。 支持的模型 Chromium支持四种不同的模型，它们影响浏览器分配页面给渲染进程的行为。 这些模型的区别在于他们是否影响内容的源，是否影响标签页间的关系，或者两者都会影响。这个章节在更深的细节上讨论每种模型，并在这个文档的后面描述当前Chromium的实现的一些问题。 正如每个网站实例一个进程的模型那样，不同网站的页面不会共享命运（不会同生共死。。）。 更少的内存占用。这个模型比上一个模型和每个标签一个进程的模型可能创建更少的并行进程。 Chromium也支持一种简单的模型，将一个渲染器进程分配给每组脚本相关的标签页。这个模型可以使用 --process-per-tab命令行开关来选中。
2.1K100发布于 2017-12-29 - 来自专栏CreateAMind
keras中文-快速开始Sequential模型
快速开始Sequential模型 Sequential是多个网络层的线性堆叠 可以通过向Sequential模型传递一个layer的list来构造该模型： 也可以通过.add()方法一个个的将layer 加入模型中： ---- 指定输入数据的shape 模型需要知道输入数据的shape，因此，Sequential的第一层需要接受一个关于输入数据shape的参数，后面的各个层则可以自动的推导出中间数据的 ，对于不能通过Sequential和Merge组合生成的复杂模型，可以参考泛型模型API ---- 编译 在训练模型之前，我们需要通过compile来对学习过程进行配置。 训练模型一般使用fit函数，该函数的详情见这里。下面是一些例子。 用于序列分类的栈式LSTM 在该模型中，我们将三个LSTM堆叠在一起，是该模型能够学习更高层次的时域特征表示。
1.1K40发布于 2018-07-25 - 来自专栏机器学习AI算法工程
中文文档版式分析模型
传统的文档版式分析模型往往难以准确区分文档中的段落和其他布局元素，这限制了文档信息的进一步处理和利用，而深度学习和模式识别技术的发展为文档版式分析带来了新的机遇，通过训练数据集，可以提高模型对文档结构的理解能力 ，但高质量的标注数据集是训练有效模型的基础。 当前，在版式分析领域，据我们了解，在论文场景中，以往的开源数据集如：CDLA（A Chinese document layout analysis），缺乏对段落信息的标注；在研报场景中的版式分析模型还相对空缺 因此，为了解决这一问题，我们通过人工标注的方式对论文文档进行细粒度标签改造以及数据优化，并构建起研报场景细粒度版式分析数据集，最好利用这些标注数据集，训练了多个全新的中文文档版式分析模型，在封闭测试集上表现优异 本次开源，我们优先开源了面向论文和研报两个场景的版面分析轻量化模型权重及相应的标签体系，旨在能够识别文档中的段落边界等信息，并准确区分文本、图像、表格、公式等其他元素，最终推动产业发展。
59810编辑于 2024-06-21 - 来自专栏雨过天晴
原 SyntaxNet 中文模型的使用
下载Chinese模型文件 tensorflow 官网 2. 解压 Chinese.zip 到 syntaxnet 模型主目录 unzip Chinese.zip 3. syntaxnet 目录下运行： MODEL_DIRECTORY=/opt/tensorflow 链接 AI人工智能系列随笔：syntaxnet 初探（1） github:tensorflow/models docker:tensorflow/syntaxnet 语言模型下载 [知乎评论]https
1.2K10发布于 2018-06-04 大模型评测体系介绍及中文大模型表现
基准测试能验证大模型效果，促进大模型能力的持续提升，指导厂家的选型、推广大模型的行业应用，提升大模型的安全合规性。 自动化评估会计算特定指标完成模型输出和标准答案的对比。人工评估的方式对评测人员的资质或者评测方法有一定的要求。较为前沿的，有通过大模型作为裁判，对其它模型进行评估的研究。 关于大模型评测，国家也发布了标准GB/T45288.2—2025 人工智能 大模型第2部分:评测指标与方法，读者可以参考。 另外，中文大模型谁家最强呢？ 根据SuperCLUE发布的报告，最值得关注的中文大模型有： SuperCLUE将其和国外大模型的评测结果一起，进行了四象限分类，大家可以参考下： SuperCLUE测试报告很详尽，读者可发送“SuperCLUE 》（发送“大模型测试”可得） 3.SuperCLUE《中文大模型基准测评2025年3月报告》（发送“SuperCLUE”可得）
2.6K20编辑于 2025-05-30- 来自专栏数据派THU
中文对话大模型BELLE全面开源！
来源：高能AI本文约1000字，建议阅读5分钟模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。 中文对话大模型开源社区迎来了一名浓眉大眼的新成员！ 最新项目BELLE（BE Large Language model Engine）基于BLOOM和LLAMA针对中文做了优化，模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。 但是这样的技术不应该只被掌握在一家公司手中，因此BELLE项目应运而生了，他们的初衷是为了促进中文对话大模型开源社区的发展。为此，他们在三个方面做了初步的尝试，并已经开源了他们的研究成果。 ，有助于模型在各种中文场景中的表现。 总结 可以说BELLE的出现，大大促进了中文开源对话模型的发展，基于他们开源的数据和模型，更多的人可以尝试这些模型，更多的研究工作可以更快捷的展开。
97220编辑于 2023-04-05 - 来自专栏NLP/KG
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力 图片 以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model 然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。 为了促进大模型在中文NLP社区的开放研究，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型。 这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。 同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。详细内容请参考技术报告(Cui, Yang, and Yao, 2023)。 下图是中文Alpaca-Plus-7B模型在本地CPU量化部署后的实际体验速度和效果。
2.8K00编辑于 2023-07-29 - 来自专栏自然语言处理
ERNIE 3.0 Titan：最强中文预训练模型
https://arxiv.org/abs/2112.12731 论文作者：作者：Shuohuan Wang, Yu Sun, Yang Xiang, Haifeng Wang 论文简介 本文介绍了一个中文大语言模型 作者提出了名为ERNIE 3.0的统一框架，用于预训练大规模知识增强模型，并训练了一个具有 100 亿个参数的模型。 ERNIE 3.0 在各种 NLP 任务上的表现优于最先进的模型。 为了减少计算开销和碳排放，作者为 ERNIE 3.0 Titan 提出了一个在线蒸馏框架，其中教师模型将同时教授学生和自我训练。ERNIE 3.0 Titan是迄今为止最大的中文密集预训练模型。 然后，要求预先训练的模型重新组织这些排列的片段。 其中包括文本分类任务，信息抽取以及主题模型和阅读理解等等。
1.3K40编辑于 2022-01-06 - 来自专栏siri的开发之路
开源中文类LLaMA大语言模型汇总
近日笔者在调研开源中文大模型时发现LLaMA可以说是今年最受欢迎的大语言模型之一，LLaMA的开源带动了大语言模型社区的兴起，许多模型例如Vicuna、Alpaca等应运而生。 然而，由于LLaMA是英文原生模型，对中文的支持较弱，因此训练中文模型需要额外的训练和对齐。本文介绍了笔者在调研过程中整理的一些具有代表性的基于LLaMA中文开源模型，供读者对比这些方案的异同。 为了在中文上使用LLaMA强大的语言能力，许多研究者提出了相应的解决方案。本文主要盘点中文LLaMA模型，供读者对比这些工作的异同，从而选择更加合适的模型。 该项目提供以LLaMA、BLOOM为底座的多种中文模型以及对应训练数据。 ，使模型具备中文能力。
2.6K52编辑于 2023-09-24 - 来自专栏机器学习AI算法工程
高质量中文预训练模型汇总
向AI转型的程序员都关注了这个号 机器学习AI算法工程 公众号：datayx 在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型 Mengzi-BERT ChineseBERT TaCL MC-BERT 二郎神 PERT MobileBERT GAU-α 全部链接 获取方式： 关注微信公众号 datayx 然后回复 中文训练 《神经网络与深度学习》最新2018版中英PDF+源码 将机器学习模型部署为REST API FashionAI服装属性标签图像识别Top1-5方案分享 重要开源！ 特征工程(二) :文本数据的展开、过滤和分块 特征工程(三):特征缩放,从词袋到 TF-IDF 特征工程(四): 类别特征 特征工程(五): PCA 降维 特征工程(六): 非线性特征提取和模型堆叠 Machine Learning Yearning 中文翻译稿 蚂蚁金服2018秋招-算法工程师（共四面）通过 全球AI挑战-场景分类的比赛源码(多模型融合) 斯坦福CS230官方指南：CNN、RNN
2.9K10编辑于 2022-06-02 - 来自专栏朴素人工智能
pytorch中文语言模型bert预训练代码
大部分中文语言模型都是在tensorflow上训练的，一个常见例子是中文roberta项目。 可以参考 https://github.com/brightmart/roberta_zh 使用pytorch进行中文bert语言模型预训练的例子比较少。 主要有三个常见的中文bert语言模型 bert-base-chinese roberta-wwm-ext ernie 1 bert-base-chinese (https://huggingface.co /bert-base-chinese) 这是最常见的中文bert语言模型，基于中文维基百科相关语料进行预训练。 这就解释了huggingface的模型库的中文roberta示例代码为什么跑不通。https://huggingface.co/models?
4.6K10发布于 2020-07-24 - 来自专栏机器学习AI算法工程
【开源】度小满中文金融对话大模型
本次开源的XuanYuan-6B系列模型包含基座模型XuanYuan-6B，经指令微调和强化对齐的chat模型XuanYuan-6B-Chat，以及chat模型的量化版本XuanYuan-6B-Chat 金融一直是轩辕大模型重点关注的领域和主要应用目标，因此我们首先在金融场景评测了XuanYuan-6B模型。 除金融外，我们也注重轩辕大模型的通用能力，因此我们也在多个主流评测集上进行了模型评测，观察轩辕大模型在知识、逻辑、代码等通用能力上的表现。评测结果如下表所示。 在中文相关场景下，XuanYuan-6B甚至可超越更大尺寸的LLaMA2-70B模型。 值得注意的是，在上述所有评测中，XuanYuan-6B均进行了考试场景增强，具体细节可见我们的技术报告。 另外榜单结果也不代表模型在真实场景中的实际能力。为进一步验证模型的实际能力，我们对模型进行了人工评测。
71410编辑于 2024-04-18 - 来自专栏又见苍岚
使用原神语音训练中文 VITS 模型
做了大量准备工作之后，本文记录使用原神语音训练中文 VITS 模型的流程。 monotonic_alignpython setup.py build_ext --inplace 生成语音标注 根据 原神——提瓦特大陆语音分类识别 筛选的音频，使用 科大讯飞语音识别 结果，运用 Python 识别中文生成带声调的拼音 label_result_str_list, 'gt_label/' + role_name + '_gt_1.0.txt', overwrite=True) pass 注意： 在语音识别结果中会有阿拉伯数字，需要想办法转成中文 /data/waves 音频生成 我用云堇的音频文件训练了 VITS 模型，训练好后可以尝试输出，10000 个 Iter 后输出了一个模型，迫不及待试了一下。 核心文件为 vits_infer.py，该文件需要配置配置文件和模型路径，之后会根据配置加载语音生成模型，将 vits_infer_item.txt 中的中文转为语音，这里贴几段示例： 123 遥望星空作文独自坐在乡间的小丘上
4.1K21编辑于 2023-07-20 - 来自专栏siri的开发之路
TencentPretrain框架实战之训练中文领域模型
前情提要：LLaMA 是由 Facebook Research 发布的开源大规模语言模型，包含7B、13B、33B、65B等模型量级，不论是在英文还是中文场景，都吸引了大量开发者和研究人员基于LLaMA 在上一篇文章中，笔者简要总结了目前开源的中文LLaMA模型，本篇是以比较过后选择的TencentPretrain框架作为基座，使用开源语料训练和部署中文LLaMA领域模型的过程TencentPretrain 将模型的分布从通用模型转移到领域模型：将模型的语言习惯迁移到垂直领域，避免领域术语和通用词汇产生的歧义以开源的法律领域模型 Lawyer LLaMA 为例，为了提高LLaMA模型在法律问题上的表现，该工作使用多种语料混合训练模型 由于LLaMA模型是英文预训练模型，在中文化过程中已经经过一次迁移学习，因此在领域化时进一步对之前学习过的数据进行回放，避免发生灾难性遗忘（模型失去通用预训练阶段学习到的知识）法律语料库。 这一阶段的训练可以在TencentPretrain中使用现成的代码来完成：首先下载基础模型和训练框架，可以使用已经在中文上训练过的Chinese-LLaMA，以7B模型为例：git clone http
1K00编辑于 2023-09-26 - 来自专栏机器之心
RoBERTa中文预训练模型，你离中文任务的「SOTA」只差个它
参与：思源、一鸣 有了中文文本和实现模型后，我们还差个什么？还差了中文预训练语言模型提升效果呀。 对于中文领域的预训练语言模型，我们最常用的就是 BERT 了，这并不是说它的效果最好，而是最为方便。 昨天，国内开发者 brightmart 开源了最新的 RoBERTa 中文预训练语言模型，开发社区又有新的中文模型可以用了。 ，并逐渐开源更大的 RoBERTa 中文预训练模型。 那么一般我们常用的中文预训练语言模型又有什么呢？ 现在，也许常用的中文预训练语言模型又要再新增一项，中文 RoBERTa。
1.9K10发布于 2019-09-08 - 来自专栏自然语言处理(NLP)论文速递
以中文为中心！复旦 & 北大 | 从头训练中文大模型：CT-LLM
然而，今天给大家分享的这篇文章旨在从头开始训练中文大模型，在训练过程中「主要纳入中文文本数据」，最终作者得到了一个2B规模的中文Tiny LLM（CT-LLM）。 结果表明，该模型在中文任务上表现出色，且通过SFT也能很好的支持英文。 目前，关于非英语大模型的探索仍然是一个未知的领域。 「泛化不确定性」 随着对于精通双语或多语功能的模型的需求日益增长，特别是能够适应中文语言应用的模型。 「中文数据集缺乏」 预训练数据对于开发语言模型至关重要，它为模型学习和理解人类语言提供了基础。 基于以上考虑，「本文作者挑战以英语为中心的主流模型训练范式，考虑以中文为基础的预训练模型是否可以激活对其它语言的能力」。
1.2K10编辑于 2024-04-12 - 来自专栏机器学习AI算法工程
知识蒸馏，中文文本分类，教师模型BERT，学生模型biLSTM
这时候，模型压缩的重要性就体现出来了，如果一个小模型能够替代大模型，而这个小模型的效果又和大模型差不多，何乐而不为。 知识蒸馏的过程分为2个阶段: 1.原始模型训练: 训练"Teacher模型", 它的特点是模型相对复杂，可以由多个分别训练的模型集成而成。 2.精简模型训练: 训练"Student模型", 它是参数量较小、模型结构相对简单的单模型。 （注：这时候的输入数据可以与训练大模型时的输入不一致，但需要保证与训练小模型时的输入一致） 3. 训练小模型 小模型的训练包含两部分。 Student模型的输入句向量由句中每一个词向量求和取平均得到，词向量为预训练好的300维中文向量，训练数据集为Wikipedia_zh中文维基百科。
1.2K20编辑于 2022-02-28 - 来自专栏数据派THU
横扫13项中文NLP记录，中文字型深度学习模型Glyce问世！
本文介绍了由香侬科技提出的中文字型的深度学习模型Glyph，其中13项打破纪录。 [ 导读 ]香侬科技近期提出 Glyce，首次在深度学习的框架下使用中文字形信息（Glyph），横扫 13 项中文自然语言任务记录，其中包括：(1) 字级别语言模型 (2) 词级别语言模型 (3) 中文分词 图2：Glyce提出运用不同历史时期的中文字符表示 提出符合中文字形的Tianzige（田字格）-CNN架构 Glyce 提出了一些修改 CNN 内部架构的意见，让模型更适合处理中文字形。 文中提到这个模型非常符合中文的田字格模式，而田字格结构其实非常符合中文文字的书写顺序。 ? 总结 提出的 Glyce 的中文字符级表示模型，通过使用不同历史时期的字符图像，丰富了中文字向量和词向量的语意信息。
1.3K40发布于 2019-05-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号