- 综合排序
- 最热优先
- 最新优先
- 来自专栏CreateAMind
CRF++代码分析
本文按照调用顺序抽丝剥茧地分析了CRF++的代码，详细注释了主要函数，并指出了代码与理论公式的对应关系。 正则化 为了防止过拟合，CRF++采用了L1或L2正则化： if (orthant){ // L1 for (size_t k = 0; k < feature_index->size(); 是一个常数，在CRF++中其平方被称作cost-factor， ? 控制着惩罚因子的强度。可见要最小化目标函数，正则化项 ? 也必须尽量小才行。模型参数的平方和小，其复杂度就低，于是就不容易过拟合。 CRF++直接将这些参数送入一个LBFGS模块中： if (lbfgs.optimize(feature_index->size(), &alpha[0], thread[0].obj, &thread
2.2K50发布于 2018-07-20 - 来自专栏hadoop学习笔记
Hanlp分词之CRF中文词法分析详解
segmenter.train("data/test/pku98/199801.txt", CWS_MODEL_PATH); 输出为HanLP私有的二进制模型，有兴趣的话还可以通过命令导出为兼容CRF java -cp hanlp.jar com.hankcs.hanlp.model.crf.crfpp.crf_learn -T cws.bin cws.txt 与CRF++兼容 由于C++的运行效率和内存效率优于 Java，所以推荐直接利用CRF++执行大规模训练。 ++的crf_learn执行训练： crf_learn cws-template.txt cws-corpus.tsv cws -t ·此处必须使用-t命令CRF++输出文本格式的模型cws.txt · HanLP只兼容CRF++的文本模型，不兼容二进制 将cws.txt格式的模型传入CRFSegmenter或CRFLexicalAnalyzer的构造函数即可创建分词器，同时HanLP会自动创建二进制缓存
1.7K30发布于 2019-02-18 - 来自专栏自然语言处理
实体识别(2) -命名实体识别实践CRF
++实现NER CRF++简介 CRF++是著名的条件随机场的开源工具，也是目前综合性能最佳的CRF工具，采用C++语言编写而成。 官网地址：http://taku910.github.io/crfpp/ 安装 CRF++的安装可分为Windows环境和Linux环境下的安装。 关于Linux环境下的安装，可以参考文章：CRFPP/CRF++编译安装与部署 。 在Windows中CRF++不需要安装，下载解压CRF++0.58文件即可以使用 训练语料创建 在训练之前需要将标注数据转化为CRF++训练格式文件： 分两列，第一列是字符，第二例是对应的标签，中间用 /10795413.html 利用crf++进行实体识别 https://www.jianshu.com/p/f5868fdd96d2
2K20编辑于 2022-03-30 - 来自专栏hadoop学习笔记
基于CRF序列标注的中文依存句法分析器的Java实现
在生产中经常使用的训练工具是CRF++，关于CRF++的使用以及模型格式请参阅《CRF++模型格式说明》。
84730发布于 2019-01-16 - 来自专栏hadoop学习笔记
开源自然语言处理工具包hanlp中CRF分词实现详解
[gerative-discriminative.png] CRF训练 这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。
89310发布于 2019-02-27 - 来自专栏hadoop学习笔记
Hanlp中使用纯JAVA实现CRF分词
图1.JPG CRF训练 这类耗时的任务，还是交给了用C++实现的CRF++。关于CRF++输出的CRF模型，请参考《CRF++模型格式说明》。 CRF解码 解码采用维特比算法实现。
1.2K00发布于 2018-10-19 - 来自专栏机器学习技术分享
HanLP《自然语言处理入门》笔记--6.条件随机场与序列标注
条件随机场与序列标注 6.1 机器学习的模型谱系 6.2 条件随机场 6.3 条件随机场工具包 6.4 HanLP中的CRF++ API 6.5 GitHub 笔记转载于GitHub项目：https:/ 6.3 条件随机场工具包 谈到条件随机场工具包，最著名的就是 CRF++，有各大平台的安装方法，HanLP已经集成了。 CRF++ 语料格式 CRF++ 接受纯文本语料，约定为一种空格或制表符分隔的表格格式。 如下所示: 商 s 中 B 品 p 中 E 和 h 中 S 服 f 中 B 务 w 中 E A a 英 B K k 英 M B b 英 M 4 s 数 M 8 b 数 E 6.4 HanLP中的CRF
75710发布于 2020-02-18 - 来自专栏云时之间
NLP入门-学习路径
20:层次化马尔科夫模型和马尔科夫网络 21:HTK软件 22:什么是熵 23:最大熵模型 24:实现最大熵模型的软件 25:最大熵马尔科夫模型 26:条件随机场模型 27:最大熵与CRF应用 28:CRF
76090发布于 2018-04-11 - 来自专栏机器学习AI算法工程
基于深度学习算法的NLP集成工具
Textrank 文本分类 Textcnn (WIP) 可调用 Web Restful API 计划中: 句法分析 Parsing 算法实现 分词: 线性链条件随机场 Linear Chain CRF, 基于CRF
68810发布于 2019-10-28 - 来自专栏目标检测和深度学习
本周 Github 精选：13 款炼丹利器，有开源工具包也有超大数据集
▲ 效果展示 项目链接 https://github.com/sksq96/pytorch-summary NCRF++ #基于PyTorch的Neural版本CRF++ ? 本项目是基于 PyTorch 的神经网络序列标注开源库，包含了几种最先进的神经网络序列标注模型（LSTMCRF, CNNCRF 等），算是神经网络版的 CRF++。
1.3K40发布于 2018-07-20 - 来自专栏hadoop学习笔记
中文自然语言处理工具hanlp隐马角色标注详解
目前HanLP内置的训练接口是针对一阶HMM-NGram设计的，另外附带了通用的语料加载工具，可以通过少量代码导出供其他训练工具使用的特定格式（如CRF++）。
1.7K00发布于 2019-02-13 - 来自专栏海天一树
某公司自然语言处理算法笔试题
1 请列出几种文本特征提取算法 答：文档频率、信息增益、互信息、X^2统计、TF-IDF 2 简述几种自然语言处理开源工具包 答：LingPipe、FudanNLP、OpenNLP、CRF++、Standord
87870发布于 2018-04-17 - 来自专栏全栈程序员必看
object object_无监督命名实体识别
图2：一种线性链条件随机场 crf++学习模块：crf++提供的一个基于CRF条件随机域学习策略的学习方法。 训练语料：关于中文命名实体识别的训练语料，网上有一些公开的语料库（eg：人民日报语料库），将其处理为crf++能识别的格式，加入自己的标签即可。 特征选取函数：告诉crf机器学习过程中需要考虑训练语料中的哪些特征（如上下文，词性特征等） model：crf++将学习结果以一定格式保存到model文件中。 crf++测试模块：用于测试crf学习的效果，使用学习部分生成model去预测测试语料中的标签。 如何提升系统的准确率和召回率 训练语料的质量和数量 特征的选取 调整crf++的参数 在召回的基础上，进行二次crf学习，可以提高准确率 2.2 LSTM+CRF：BiLSTM-CRF
1K20编辑于 2022-11-01 - 来自专栏达观数据
达观数据基于Deep Learning的中文分词尝试（上篇）
图2：不同概率模型之间的关系及演化图 在实际应用中有很多工具包可以使用，比如CRF++，CRFsuite，SGD，Wapiti 等，其中CRF++的准确度较高。 在分词中使用CRF++时，主要的工作是特征模板的配置。CRF++支持unigram，bigram两种特征，分别以U和B开头。 特征模板可以支持多种特征，CRF++会根据特征模板提取特征函数，用于模型的建立和使用。特征模板的设计对分词效果及训练时间影响较大，需要分析尝试找到适用的特征模板。
1.4K140发布于 2018-03-30 - 来自专栏数据派THU
精选 Github 近期13款开源工具包！（附数据集、链接）
▲ 效果展示 项目链接 https://github.com/sksq96/pytorch-summary 06 NCRF++ #基于PyTorch的Neural版本CRF++ 本项目是基于 PyTorch 的神经网络序列标注开源库，包含了几种最先进的神经网络序列标注模型（LSTMCRF, CNNCRF 等），算是神经网络版的 CRF++。
1.4K80发布于 2018-07-30 - 来自专栏机器学习之禅
基于CRF的命名实体识别系统原理及实例剖析
经常听到一些朋友说用CRF（conditional random field algorithm）做命名实体识别，但绝大多数都是调用CRF++包，然后自己只是构造一些特征，然后就是几个命令行执行下而已，
85410编辑于 2022-07-11 - 来自专栏机器学习AI算法工程
基于libsvm的中文文本分类原型
2.分词 Bamboo分词，这是基于CRF++的分词模块，既然是研究统计学习，分词也得用基于统计的不是，如果还是用一字典来分词，那就太out啦。 因为咱主要目的是研究分类，不是分词，就不要去搞分词的训练了，如果想训练可以看我的另外一篇博客：CRF++中文分词指南 。
1.7K80发布于 2018-03-13 - 来自专栏自然语言处理
实体识别(1) -实体识别任务简介
badge=latest CRF++是基于C++开发、可自定义特征集、基于LBFGS快速训练等等高效特征的CRF开源工具包。
1.3K20编辑于 2023-08-25 - 来自专栏数据派THU
万字长文详解文本抽取：从算法理论到实践（附“达观杯”官方baseline实现解析及答疑）
下图是我们是用CRF++、CRFPP做的特征模板。大家可以看到，图里有U00到U08，最后还有一个字母“B”，B说明它会学习标签间的转移。 首先需要引入相关的库： import codecs import os 整个代码分成以下5个部分： # 0 install crf++ https://taku910.github.io/crfpp/ 这些都处理好了之后，我们就可以用我们安装的CRF++工具去调用这个命令训练。 第四步：CRF++生成预测结果 # 4 crf test crf_test ="crf_test -m dg_model dg_test.txt -o dg_result.txt 达观数据工程师：Baseline非常简单，如果装了CRF++工具，能够马上跑出来，大概能有0.85的F1。大家如果选到更好的特征模板，就能把CRF调到一个更高的分数。
1.7K40发布于 2019-08-12 - 来自专栏深度学习自然语言处理
杨杰博士莅临我校，并做了报告：Recent Advances in Sequence Labeling
NCRF++：神经网络序列标注（github 699 stars） 基本信息： 神经网络版本的CRF++，支持n-best 输出 不需要额外的code，只需要用config文件即可。
1.2K10发布于 2019-11-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号