- 综合排序
- 最热优先
- 最新优先
- 来自专栏Hank’s Blog
3-5 处理缺失值
> x <- c(1,NA,2,NA,3) > is.na(x) [1] FALSE TRUE FALSE TRUE FALSE > x[!is.na(x)] #找出不是缺失值 [1] 1 2 3 > x <- c(1,NA,2,NA,3) > y <- c("a","b",NA,"c",NA) > z <- complete.cases(x,y) #都不是缺失值的元素 > x[z] [1] 1 > y[z] [1] "a" > library(datasets) #import dat
50110发布于 2020-09-16 - 来自专栏机器学习与python集中营
【语料库】中文公开聊天语料库
该库搜集了包含 chatterbot 豆瓣多轮 PTT八卦语料 青云语料 电视剧对白语料 贴吧论坛回帖语料 微博语料 小黄鸡语料 共8个公开闲聊常用语料和短信，白鹭时代问答等语料。 并对8个常见语料的数据进行了统一化规整和处理，达到直接可以粗略使用的目的。 使用该项目，即可对所有的聊天语料进行一次性的处理和统一下载，不需要到处自己去搜集下载和分别处理各种不同的格式。 给出的语料原链接是为了说明该语料的原始出处是在哪里 环境 python3 处理过程 将各个来源的语料按照其原格式进行提取，提取后进行繁体字转换，然后统一变成一轮一轮的对话。 数据来源及说明 语料名称 语料数量 语料来源说明 语料特点 语料样例 是否已分词 chatterbot 560 开源项目 按类型分类，质量较高 Q:你会开心的 A:幸福不是真正的可预测的情绪。 否 xiaohuangji（小黄鸡语料） 45W 原人人网项目语料 有一些不雅对话，少量噪音 Q:你谈过恋爱么 A:谈过，哎，别提了，伤心..。
9.9K50发布于 2019-05-29 - 来自专栏NetCore 从壹开始
3-5 安装CICD管理平台：Jenkins
大家这里可以先安装gitlab工具，我就省事了，直接用gitee做源代码管理平台了。
34821编辑于 2023-01-09 - 来自专栏明天依旧可好的专栏
原始语料库
第一步： 判断数据中是否存在重复数据 创建python文件– 代码框架 ''' author: kzb time: 2018-12-10 ''' import pandas as pd import os,csv dataPath = os.path.join("音译原始数据.csv") def import_data(dataPath): ''' 导入文件中的数据 return:dataFrame ''' pass def find_En_Cn_excess(dataFrame
1K30发布于 2019-01-22 - 来自专栏机器学习AI算法工程
文本分类中语料库的获取——搜狗语料库
这次主要总结搜过语料库的获取，因为老师要求20万数据，而我自己只爬了2万多，所以用到了搜狗的语料库.
3.3K80发布于 2018-03-14 AI语料库智慧教学平台：用AI技术解锁语料教学新生态
传统语料教学中“资源零散难筛选、用法讲解不直观、练习反馈不及时”是长期痛点——教师要花大量时间整理语料、学生面对海量素材不知如何下手，很难实现“精准学、高效练”。 而AI语料库智慧教学平台的出现，凭借前沿AI技术，把“智能语料导师”搬进课堂，让语料教学更精准、互动、可落地，彻底重构语言学习逻辑。核心技术之一是NLP语义检索与解析技术，这是平台的“语料导航大脑”。 、语法规则，甚至标注语用禁忌。 不同于普通语料库的关键词匹配，平台的AI模型经过多语种、多场景语料训练，能理解“同义替换”“场景延伸”需求，比如搜索“道歉表达”会自动关联日常、商务、学术等不同语境的语料。 AI语料库智慧教学平台用NLP、大数据分析等核心技术，让语料资源“活”了起来，破解了传统语料教学的效率低、匹配差、互动弱等问题。
45210编辑于 2025-10-29- 来自专栏叽叽西
lagou 爪哇 3-5 spring cloud (下) 笔记
8080 # sentinel dashboard/console port: 8719 # sentinel会在该端⼝启动http server，那么这样 的话，控制台定义的⼀些限流等规则才能发送传递过来 ， #如果8719端⼝被占⽤，那么会依次+1 简单配置流控规则 这里顺便对 Sentinel 进行数据持久化改造【可选操作】 lagou-service-email-degrade-rules [ -- Sentinel⽀持采⽤ Nacos 作为规则配置数据源，引⼊该适配依赖 --> <dependency> <groupId>com.alibaba.csp</groupId> dependency> spring: cloud: sentinel: datasource: # 此处的flow为⾃定义数据源名 flow: # 流控规则 flow-rules groupId: DEFAULT_GROUP data-type: json # 类型来⾃RuleType类 流控规则
86320编辑于 2022-05-17 语料智能·知识无界：AI 多功能语料库检索平台重塑语言研究新范式
语言研究进入智能检索新时代在全球化和数字人文研究蓬勃发展的背景下，传统语料库检索系统面临检索维度单一、多模态语料支持不足、深层语义关联缺失等核心挑战。 AI 多功能语料库检索平台通过融合大语言模型、多模态理解和知识图谱技术，构建了智能化、多维化、深度化的语料检索与分析体系，实现了从"关键词匹配"到"语义理解"的研究范式革新。 -检索-分析"四层技术架构：多模态语料处理引擎实现文本、语音、图像的统一表征学习；深度语义检索模型支持基于意图理解的智能检索；知识图谱关联系统构建语料间的语义网络；可视化分析平台提供丰富的语料数据洞察能力 数据安全与版权保护体系针对语料资源的版权敏感性，建立全方位保护机制：访问权限控制实现分级分权的语料访问；数字水印技术保护语料版权；操作日志审计追踪所有检索行为；数据脱敏处理在保护隐私的前提下开放研究。 、不断进化的新一代语料库研究基础设施。
46710编辑于 2025-10-30- 来自专栏JasonhavenDai
人民日报标注语料库（PFR）1.标记说明2.格式说明3.例子4.生语料库和熟语料库5.其他语料库汇总
PFR语料库是对人民日报1998年上半年的纯文本语料进行了词语切分和词性标注制作而成的，严格按照人民日报的日期、版序、文章顺序编排的。 ，文件中每一行代表一自然段或者一个标题，一篇文章有若干个自然段，因此在语料中一篇文章是由多行组成的。 语料中除了词性标记以外，还有“短语标记”，这种情况一般出现在机构团体名称、成语等情况中。 /w 4.生语料库和熟语料库 语料库中存放的是在语言的实际使用中真实出现过的语言材料，语料库是以电子计算机为载体承载语言知识的基础资源，真实语料需要经过加工 、分析和处理之后才能成为可用的语料库 生语料库是指收集之后未加工的预料库 相对而言，熟语料库就是经过加工的 5.其他语料库汇总 http://blog.csdn.net/qq
6K80发布于 2018-04-11 - 来自专栏PHP实战技术
3-5年的PHPer常见的面试题
看到有很多，的总结一下，比较适合有一定经验的PHPer 平时喜欢哪些php书籍及博客？CSDN、虎嗅、猎云 js闭包是什么，原型链了不了解？ for与foreach哪个更快？ php鸟哥是谁？能不能讲
1.6K100发布于 2018-03-09 - 来自专栏AI机器学习与深度学习算法
实战语言模型~语料词典的生成
sorted list iterable：是可迭代类型; cmp：用于比较的函数，比较什么由key决定; key：用列表元素的某个属性或函数进行作为关键字，有默认值，迭代集合中的一项; reverse：排序规则 fin.close() fout.close() ▲处理后的结果 对valid以及test样本同理使train中的方法即可： ▲数据处理以及处理后的结构 大致流程： 构建词汇表 需要在训练样本中统计语料中出现的单词
1.6K00发布于 2020-06-01 - 来自专栏AI科技评论
Facebook开源最大规模并行语料，45亿语料，覆盖576种语言对，或成为NMT评估标准
首先，从语料来源上讲。 目前有几个公共的多语言并行语料库，主要来自一些国际会议（如European Parliament 、the United Nations）的语料，这些都是专业的人工翻译语料，使用语言较为正式，且仅限于政治主题 为了使并行语料库量大、覆盖主题广泛，Facebook在CCMatrix这项工作中，选择使用了随机抓取web中的数据作为并行语料的来源，他们每个月随机发送url，从而获得包含各种语言的网页快照（TB级）。 在当前版本的CCMatrix语料库中，作者限制为38种语言。 （编者注：这是11月份数据，当时数据集规模为35亿并行语料，下同） CCMatrix：每种语言对的并行语料数量(单位：百万)，Margin阈值为1.06。
53110发布于 2020-02-21 - 来自专栏cwl_Java
C++编程之美-结构之法(代码清单3-5)
代码清单3-5 void RecursiveSearch(int* number, int* answer, int index, int n) { if(index == n)
27220编辑于 2022-11-30 - 来自专栏小小程序员——DATA
关联规则 关联规则概述
关联规则概述 关联规则 (Association Rules) 反映一个事物与其他事物之间的相互依存性和关联性。 关联规则可以看作是一种IF-THEN关系。假设商品A被客户购买，那么在相同的交易ID下商品B也被客户挑选的机会就被发现了 购物车分析是大型超市用来揭示商品之间关联的关键技术之一。
89810编辑于 2023-12-18 - 来自专栏AI机器学习与深度学习算法
机器学习入门 3-5 Numpy数组(和矩阵)的基本操作
shape 属性查看数组的维度，返回值是一个元组，元组中对应位置的值为数组中对应维度的元素个数。
84610编辑于 2022-05-25 - 来自专栏AI研习社
Facebook开源最大规模并行语料，45亿语料，覆盖576种语言对，或成为NMT评估标准
首先，从语料来源上讲。 目前有几个公共的多语言并行语料库，主要来自一些国际会议（如European Parliament 、the United Nations）的语料，这些都是专业的人工翻译语料，使用语言较为正式，且仅限于政治主题 为了使并行语料库量大、覆盖主题广泛，Facebook在CCMatrix这项工作中，选择使用了随机抓取web中的数据作为并行语料的来源，他们每个月随机发送url，从而获得包含各种语言的网页快照（TB级）。 在当前版本的CCMatrix语料库中，作者限制为38种语言。 （编者注：这是11月份数据，当时数据集规模为35亿并行语料，下同） CCMatrix：每种语言对的并行语料数量(单位：百万)，Margin阈值为1.06。
1.4K20发布于 2020-02-21 大模型语料标注需要注意哪些？
一、语料类型 1.自采语料 2.商业语料 3.开源语料 二、抽检要求 1.人工抽检要求 具体做法:从全部语料中随机抽取不少于 4000 条语料:合格标准:合格率不应低于96%。 以此来保证语料在人工抽检环节的质量水平。 2.技术抽检要求 结合关键词、分类模型等技术进行抽检抽样数量:从全部语料中随机抽取不少于总量 10%的语料。 合格标准:抽样合格率不应低于98%，保障技术抽检的语料质量。 3. 评估技术规范要求 规范内容:评估采用的关键词库、分类模型应符合文件要求。 确保在使用关键词、分类模型等技术进行语料抽检时，所使用的工具和模型是符合既定规范和标准的，从技术层面保障语料安全评估的科学性和准确性。
33910编辑于 2025-09-04- 来自专栏跟着官方文档学小程序开发
第二章 小程序开发指南3-5
在本章会介绍小程序的基本开发流程，结合前面章节的知识，完全可以独立完成一个体验很完善的小程序。为了让开发者更加了解小程序开发，在本章中还会通过常见的一些应用场景介绍小程序API的一些细节以及开发的一些技巧和注意事项。
35210编辑于 2025-08-25 - 来自专栏算法channel
一种获取NLP语料的基本方法
学习自然语言处理，语料获取是第一步，那么如何抓取和提取语料呢，本文提供一种思路。 维基百科语料库 维基百科会定期把各种语言的百科网页全部打包存储起来，这里我们选择其中的中文维基百科网页，这个文件可以作为中文语料库来使用。 下载其他语言 观察上面https://dumps.wikimedia.org/zhwiki，若我们把 zhwiki 替换为 enwiki，就能找到英文语料，如果替换为 frwiki，就能找到法语语料，依次类推 可以参考 ISO 639-1语言列表，相应替换便能找到对应语料。 为了读取其中的文本信息，我们需要借助提取工具，WikiExtractor 是一款不错的开源提取工具，使用该工具，可以方便地处理语料库，输出为想要的存储格式。
2.6K20发布于 2021-03-12 - 来自专栏大数据智能实战
健康问答语料的爬虫(C#)
为了实现健康问答系统的构建，需要找一些语料，发现好大夫在线的数据挺好的，于是花了一个小时时间，写了个爬虫，能够爬取其页面上显示的40个疾病左右的问答语料。 采用C#来编写，主要效率高一些。 开辟了20个线程进行下载，约下载了30多万的问答语料。 ? 爬取下来的结果如下所示：可以看到当中存在着几轮对话，当然也有一些噪声，如尽快填表等。
1.5K60发布于 2018-01-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号