- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI科技大本营的专栏
中文预训练ALBERT模型来了：小模型登顶GLUE，Base版模型小10倍、速度快1倍
作者 | 徐亮（实在智能算法专家) 来源 | AINLP（ID：nlpjob） 谷歌ALBERT论文刚刚出炉一周，中文预训练ALBERT模型来了，感兴趣的同学可以直接尝鲜试用。 海量中文语料上预训练ALBERT模型：参数更少，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准。 ，参数量59M, 层数24，10月6号 4、albert_xxlarge，参数量233M, 层数12，10月7号（效果最佳的模型） 训练语料/训练配置 Training Data & Configuration 30g中文语料，超过100亿汉字，包括多个百科、新闻、互动社区。 注：BERT-wwm-ext来自于这里；XLNet来自于这里; RoBERTa-zh-base，指12层RoBERTa中文模型 问题匹配语任务：LCQMC(Sentence Pair Matching)
4K00发布于 2019-10-10 - 来自专栏汇智网教程
spaCy 2.1 中文模型下载
中文版预训练模型包括词性标注、依存分析和命名实体识别，由汇智网提供 1、模型下载安装与使用 下载后解压到一个目录即可，例如假设解压到目录 /models/zh_spacy，目录结构如下： /spacy/ for token in doc: print(token.text) spaCy2.1中文预训练模型下载地址：http://sc.hubwiz.com/codebag/zh-spacy-model / 2、使用词向量 spaCy中文模型采用了中文维基语料预训练的300维词向量，共352217个词条。 将 BB 努力 RB 参与 VV 中国 NNP 的 DEC 三峡工程 NN 建设 NN 4、使用依存分析 spaCy中文依存分析模型采用 5、使用命名实体识别 spaCy中文NER模型采用ontonotes 5.0数据集训练。
4.6K20发布于 2019-07-28 - 来自专栏Soul Joy Hub
中文文本纠错模型
中文文本纠错任务是一项NLP基础任务，其输入是一个可能含有语法错误的中文句子，输出是一个正确的中文句子。语法错误类型很多，有多字、少字、错别字等，目前最常见的错误类型是错别字。 1. ://github.com/shibing624/pycorrector/blob/master/pycorrector/macbert/README.md 本项目是 MacBERT 改变网络结构的中文文本纠错模型 ，可支持 BERT 类模型为 backbone。 在通常 BERT 模型上进行了魔改，追加了一个全连接层作为错误检测即 detection， 与 SoftMaskedBERT 模型不同点在于，本项目中的 MacBERT 中，只是利用 detection spm=1001.2014.3001.5502 ErnieCSC PaddleNLP模型库实现了百度在ACL 2021上提出结合拼音特征的Softmask策略的中文错别字纠错的下游任务网络，并提供预训练模型
1.9K40编辑于 2022-05-10 - 来自专栏全栈程序员必看
debian10 中文乱码_ue中文乱码解决方案
系统版本：Debian 6.0.2 Squeeze 产生乱码原因：系统没有中文字体 解决方案： 1、从win下拷贝后缀为ttf的字体库到/usr/share/fonts/truetype/，我这里拷贝
2.1K30编辑于 2022-11-02 - 来自专栏Python研究者
10个中文成语，10种Python新手错误
Python语言与大多数编程语言不相同，它的语句后面不需要加分号结尾。有些 Python 新手具有编写其它语言的丰富经验，一时还适应不过来，经常习惯性的加上“分号”：
37220编辑于 2022-10-27 - 来自专栏Reck Zhang
Java 10 - 内存模型
内存模型 主存储器与工作存储器 主存储器 方法区(Method Area) 方法区用于存储类的信息, 常量, 静态变量, 即时编译器编译后的代码. 栈(Java Virtual Machine Stacks) 代表着Java方法执行的内存模型, 每个方法执行时都会创建一个栈帧来存储方法的变量表, 操作数栈, 动态链接方法, 返回值, 返回地址等信息
37820发布于 2021-08-11 - 来自专栏Python与算法之美
10，模型的优化
搜索超参数空间以优化超参数需要明确以下方面： 估计器 超参数空间 交叉验证方案 打分函数 搜寻或采样方法（网格搜索法或随机搜索法） 优化模型的常见方法包括 网格搜索法，随机搜索法，模型特定交叉验证， 三， 模型特定交叉验证 一些特定的模型，sklearn构建了一些内部含有交叉验证优化机制的估计器。 它们主要是在linear_model模块。 四， 信息准则优化 模型选择主要由两个思路。 解释性框架：好的模型应该是最能解释现有数据的模型。可以用似然函数来度量模型对数据集描述能力。 预测性框架：好的模型应该是最能预测结果的模型。 通常模型参数越多越复杂，越容易出现过拟合。 所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 AIC(赤池信息准则)和BIC(贝叶斯信息准则)对模型的选择提供了一种判据。 AIC信息准则选择AIC最大的模型。 BIC信息准则选择BIC最大的模型。
77421发布于 2020-07-17 - 来自专栏梦里茶室
【Chromium中文文档】进程模型
这个文档描述了Chromium支持的不同线程模型，包括它的渲染器进程，以及现有模型实现的问题。 概述 网页内容已经发展到包含大量在浏览器内运行的活跃代码的地步，使得许多网站更像应用程序而非文档。 Chromium支持四种不同的进程模型，允许开发者实验，也有最适合大部分用户的默认模式。 支持的模型 Chromium支持四种不同的模型，它们影响浏览器分配页面给渲染进程的行为。 这些模型的区别在于他们是否影响内容的源，是否影响标签页间的关系，或者两者都会影响。这个章节在更深的细节上讨论每种模型，并在这个文档的后面描述当前Chromium的实现的一些问题。 正如每个网站实例一个进程的模型那样，不同网站的页面不会共享命运（不会同生共死。。）。 更少的内存占用。这个模型比上一个模型和每个标签一个进程的模型可能创建更少的并行进程。 Chromium也支持一种简单的模型，将一个渲染器进程分配给每组脚本相关的标签页。这个模型可以使用 --process-per-tab命令行开关来选中。
2.1K100发布于 2017-12-29 - 来自专栏CreateAMind
keras中文-快速开始Sequential模型
快速开始Sequential模型 Sequential是多个网络层的线性堆叠 可以通过向Sequential模型传递一个layer的list来构造该模型： 也可以通过.add()方法一个个的将layer 加入模型中： ---- 指定输入数据的shape 模型需要知道输入数据的shape，因此，Sequential的第一层需要接受一个关于输入数据shape的参数，后面的各个层则可以自动的推导出中间数据的 ，对于不能通过Sequential和Merge组合生成的复杂模型，可以参考泛型模型API ---- 编译 在训练模型之前，我们需要通过compile来对学习过程进行配置。 ---- 例子 这里是一些帮助你开始的例子 在Keras代码包的examples文件夹中，你将找到使用真实数据的示例模型： CIFAR10 小图片分类：使用CNN和实时数据提升 IMDB 电影评论观点分类 用于序列分类的栈式LSTM 在该模型中，我们将三个LSTM堆叠在一起，是该模型能够学习更高层次的时域特征表示。
1.1K40发布于 2018-07-25 - 来自专栏雨过天晴
原 SyntaxNet 中文模型的使用
下载Chinese模型文件 tensorflow 官网 2. 解压 Chinese.zip 到 syntaxnet 模型主目录 unzip Chinese.zip 3. syntaxnet 目录下运行： MODEL_DIRECTORY=/opt/tensorflow 链接 AI人工智能系列随笔：syntaxnet 初探（1） github:tensorflow/models docker:tensorflow/syntaxnet 语言模型下载 [知乎评论]https
1.2K10发布于 2018-06-04 - 来自专栏机器学习AI算法工程
中文文档版式分析模型
传统的文档版式分析模型往往难以准确区分文档中的段落和其他布局元素，这限制了文档信息的进一步处理和利用，而深度学习和模式识别技术的发展为文档版式分析带来了新的机遇，通过训练数据集，可以提高模型对文档结构的理解能力 ，但高质量的标注数据集是训练有效模型的基础。 当前，在版式分析领域，据我们了解，在论文场景中，以往的开源数据集如：CDLA（A Chinese document layout analysis），缺乏对段落信息的标注；在研报场景中的版式分析模型还相对空缺 因此，为了解决这一问题，我们通过人工标注的方式对论文文档进行细粒度标签改造以及数据优化，并构建起研报场景细粒度版式分析数据集，最好利用这些标注数据集，训练了多个全新的中文文档版式分析模型，在封闭测试集上表现优异 本次开源，我们优先开源了面向论文和研报两个场景的版面分析轻量化模型权重及相应的标签体系，旨在能够识别文档中的段落边界等信息，并准确区分文本、图像、表格、公式等其他元素，最终推动产业发展。
61210编辑于 2024-06-21 大模型评测体系介绍及中文大模型表现
基准测试能验证大模型效果，促进大模型能力的持续提升，指导厂家的选型、推广大模型的行业应用，提升大模型的安全合规性。 自动化评估会计算特定指标完成模型输出和标准答案的对比。人工评估的方式对评测人员的资质或者评测方法有一定的要求。较为前沿的，有通过大模型作为裁判，对其它模型进行评估的研究。 关于大模型评测，国家也发布了标准GB/T45288.2—2025 人工智能 大模型第2部分:评测指标与方法，读者可以参考。 另外，中文大模型谁家最强呢？ 根据SuperCLUE发布的报告，最值得关注的中文大模型有： SuperCLUE将其和国外大模型的评测结果一起，进行了四象限分类，大家可以参考下： SuperCLUE测试报告很详尽，读者可发送“SuperCLUE 》（发送“大模型测试”可得） 3.SuperCLUE《中文大模型基准测评2025年3月报告》（发送“SuperCLUE”可得）
2.8K20编辑于 2025-05-30- 来自专栏全栈程序员必看
Django（10）ORM模型介绍
所以我们采用ORM模型 ORM模型介绍 orm全称Object Relational Mapping，中文叫做对象关系映射，通过ORM我们可以通过类的方式去操作数据库，而不用再写原生的SQL语句。 通过把表映射成类，把行作实例，把字段作为属性，ORM在执行对象操作的时候最终还是会把对应的操作转换为数据库原生语句 ORM的优点 易用性：使用ORM做数据库的开发可以有效的减少重复SQL语句的概率，写出来的模型也更加直观 ORM的实现过程 （1）配置目标数据库，在setting.py中设置配置属性 （2）构建虚拟对象数据库，在App的model.py文件中以类的形式定义模型 （3）通过模型在目标数据库中创建对象的数据表 （4）在视图函数中使用模型来实现目标数据库的读写操作 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/166174.html原文链接：https://javaforall.cn
36620编辑于 2022-09-20 - 来自专栏数据派THU
中文对话大模型BELLE全面开源！
来源：高能AI本文约1000字，建议阅读5分钟模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。 中文对话大模型开源社区迎来了一名浓眉大眼的新成员！ 最新项目BELLE（BE Large Language model Engine）基于BLOOM和LLAMA针对中文做了优化，模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。 但是这样的技术不应该只被掌握在一家公司手中，因此BELLE项目应运而生了，他们的初衷是为了促进中文对话大模型开源社区的发展。为此，他们在三个方面做了初步的尝试，并已经开源了他们的研究成果。 ，有助于模型在各种中文场景中的表现。 总结 可以说BELLE的出现，大大促进了中文开源对话模型的发展，基于他们开源的数据和模型，更多的人可以尝试这些模型，更多的研究工作可以更快捷的展开。
98220编辑于 2023-04-05 - 来自专栏用户8224071的专栏
win10系统Xbox设置中文的方法
win10Xbox是win10系统自带的游戏平台，很很多用户都很喜欢用它来玩游戏，很多用户刚安装他的时候页面都是英文版的，那么win10系统Xbox怎么设置中文呢，就此问题，下面就一起来看看win10系统 Xbox设置中文的方法。 win10系统Xbox设置中文的方法： 1、打开“xbox”页面都是英文状态 2、点击“开始”选择“设置” 3、点击“时间和语言” 4、点击左侧任务栏的“区域和语言” 5、此时系统默认的是英文 6、点击上面的箭头 7、将下面的中文并设着为首选 8、重新打开xbox即可完成设置 转：win10系统 win10系统Xbox设置中文的方法（xtzjcz.com）
7.3K20发布于 2021-03-26 - 来自专栏NLP/KG
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力 图片 以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model 然而，由于大语言模型的训练和部署都极为昂贵，为构建透明且开放的学术研究造成了一定的阻碍。 为了促进大模型在中文NLP社区的开放研究，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型。 这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。 同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。详细内容请参考技术报告(Cui, Yang, and Yao, 2023)。 下图是中文Alpaca-Plus-7B模型在本地CPU量化部署后的实际体验速度和效果。
2.8K00编辑于 2023-07-29 - 来自专栏自然语言处理
ERNIE 3.0 Titan：最强中文预训练模型
https://arxiv.org/abs/2112.12731 论文作者：作者：Shuohuan Wang, Yu Sun, Yang Xiang, Haifeng Wang 论文简介 本文介绍了一个中文大语言模型 作者提出了名为ERNIE 3.0的统一框架，用于预训练大规模知识增强模型，并训练了一个具有 100 亿个参数的模型。 ERNIE 3.0 在各种 NLP 任务上的表现优于最先进的模型。 为了减少计算开销和碳排放，作者为 ERNIE 3.0 Titan 提出了一个在线蒸馏框架，其中教师模型将同时教授学生和自我训练。ERNIE 3.0 Titan是迄今为止最大的中文密集预训练模型。 然后，要求预先训练的模型重新组织这些排列的片段。 其中包括文本分类任务，信息抽取以及主题模型和阅读理解等等。
1.3K40编辑于 2022-01-06 - 来自专栏机器学习AI算法工程
高质量中文预训练模型汇总
向AI转型的程序员都关注了这个号 机器学习AI算法工程 公众号：datayx 在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型 Mengzi-BERT ChineseBERT TaCL MC-BERT 二郎神 PERT MobileBERT GAU-α 全部链接 获取方式： 关注微信公众号 datayx 然后回复 中文训练 《神经网络与深度学习》最新2018版中英PDF+源码 将机器学习模型部署为REST API FashionAI服装属性标签图像识别Top1-5方案分享 重要开源！ 特征工程(二) :文本数据的展开、过滤和分块 特征工程(三):特征缩放,从词袋到 TF-IDF 特征工程(四): 类别特征 特征工程(五): PCA 降维 特征工程(六): 非线性特征提取和模型堆叠 Machine Learning Yearning 中文翻译稿 蚂蚁金服2018秋招-算法工程师（共四面）通过 全球AI挑战-场景分类的比赛源码(多模型融合) 斯坦福CS230官方指南：CNN、RNN
2.9K10编辑于 2022-06-02 - 来自专栏朴素人工智能
pytorch中文语言模型bert预训练代码
大部分中文语言模型都是在tensorflow上训练的，一个常见例子是中文roberta项目。 可以参考 https://github.com/brightmart/roberta_zh 使用pytorch进行中文bert语言模型预训练的例子比较少。 主要有三个常见的中文bert语言模型 bert-base-chinese roberta-wwm-ext ernie 1 bert-base-chinese (https://huggingface.co /bert-base-chinese) 这是最常见的中文bert语言模型，基于中文维基百科相关语料进行预训练。 这就解释了huggingface的模型库的中文roberta示例代码为什么跑不通。https://huggingface.co/models?
4.7K10发布于 2020-07-24 - 来自专栏siri的开发之路
开源中文类LLaMA大语言模型汇总
近日笔者在调研开源中文大模型时发现LLaMA可以说是今年最受欢迎的大语言模型之一，LLaMA的开源带动了大语言模型社区的兴起，许多模型例如Vicuna、Alpaca等应运而生。 然而，由于LLaMA是英文原生模型，对中文的支持较弱，因此训练中文模型需要额外的训练和对齐。本文介绍了笔者在调研过程中整理的一些具有代表性的基于LLaMA中文开源模型，供读者对比这些方案的异同。 为了在中文上使用LLaMA强大的语言能力，许多研究者提出了相应的解决方案。本文主要盘点中文LLaMA模型，供读者对比这些工作的异同，从而选择更加合适的模型。 该项目提供以LLaMA、BLOOM为底座的多种中文模型以及对应训练数据。 ，使模型具备中文能力。
2.6K52编辑于 2023-09-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号