- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与python集中营
【语料库】中文公开聊天语料库
该库搜集了包含 chatterbot 豆瓣多轮 PTT八卦语料 青云语料 电视剧对白语料 贴吧论坛回帖语料 微博语料 小黄鸡语料 共8个公开闲聊常用语料和短信，白鹭时代问答等语料。 并对8个常见语料的数据进行了统一化规整和处理，达到直接可以粗略使用的目的。 使用该项目，即可对所有的聊天语料进行一次性的处理和统一下载，不需要到处自己去搜集下载和分别处理各种不同的格式。 给出的语料原链接是为了说明该语料的原始出处是在哪里 环境 python3 处理过程 将各个来源的语料按照其原格式进行提取，提取后进行繁体字转换，然后统一变成一轮一轮的对话。 数据来源及说明 语料名称 语料数量 语料来源说明 语料特点 语料样例 是否已分词 chatterbot 560 开源项目 按类型分类，质量较高 Q:你会开心的 A:幸福不是真正的可预测的情绪。 否 xiaohuangji（小黄鸡语料） 45W 原人人网项目语料 有一些不雅对话，少量噪音 Q:你谈过恋爱么 A:谈过，哎，别提了，伤心..。
9.9K50发布于 2019-05-29 - 来自专栏debugeeker的专栏
WAF专题6--WAF规则与报表
规则配置 首先，WAF规则的定义是什么？ 从前面的内容可以看到，基本上，WAF处理http分为四个阶段：请求头部，请求内容，响应头部，响应内容。 那么WAF规则就是，定义在某个阶段WAF对符合某种条件的http请求执行指定动作的条例。 根据这个，WAF规则必须要包含这些元素：过滤条件，阶段，动作 由于http消息在传输过程中会对数据进行某种编码，所以，WAF规则往往也需要定义解码器。 同时为了审计作用，WAF规则往往定义id，是否对结果记录，以及字段抽取，命中规则的严重级别 所以，一条WAF规则往往包含：id, 解码器，过滤条件，阶段，动作和日志格式，严重级别
2.2K10发布于 2019-06-14 - 来自专栏call_me_R
6个规则去净化你的代码
= [1, 2, 3, 4, 5]; const [one, two] = numbers; console.log(one); // 1 console.log(two); // 2 5、童子军规则 童子军有一条规则：永远保持离开时的露营比你发现它时更整洁。 6、代码风格 在你的团队中使用一种代码风格，比如限定代码缩进的规范是两空格呢还是四空格；使用单引号呢还是双引号呢;使用同类的一种框架呢，还是流行两种解决方案的框架呢...这样团队中人员接手项目的成本就会降低
56520发布于 2020-11-23 - 来自专栏明天依旧可好的专栏
原始语料库
第一步： 判断数据中是否存在重复数据 创建python文件– 代码框架 ''' author: kzb time: 2018-12-10 ''' import pandas as pd import os,csv dataPath = os.path.join("音译原始数据.csv") def import_data(dataPath): ''' 导入文件中的数据 return:dataFrame ''' pass def find_En_Cn_excess(dataFrame
1K30发布于 2019-01-22 - 来自专栏机器学习AI算法工程
文本分类中语料库的获取——搜狗语料库
这次主要总结搜过语料库的获取，因为老师要求20万数据，而我自己只爬了2万多，所以用到了搜狗的语料库.
3.3K80发布于 2018-03-14 - 来自专栏区块链入门
【NGINX入门】6.Nginx的rewrite规则详解
1.摘要 nginx Rewrite规则可以让网站的url中达到某种状态时定向/跳转到某个规则，本文具体介绍这些规则和说明。 2. 内容 2.1 Rewrite规则 rewrite功能就是，使用nginx提供的全局变量或自己设置的变量，结合正则表达式和标志位实现url重写以及重定向。 假设我们在页面上访问url是http://walidream.com/imooc，根据nginx匹配规则会匹配到第一个location，会重写url，返回一个带有302状态代码，重写后的url是http -d用来判断是否存在目录 (6) -e和!-e用来判断是否存在文件或目录 (7) -x和! （2）nginx rewrite规则(23) https://www.imooc.com/article/283363
5.9K10发布于 2021-02-04 AI语料库智慧教学平台：用AI技术解锁语料教学新生态
传统语料教学中“资源零散难筛选、用法讲解不直观、练习反馈不及时”是长期痛点——教师要花大量时间整理语料、学生面对海量素材不知如何下手，很难实现“精准学、高效练”。 而AI语料库智慧教学平台的出现，凭借前沿AI技术，把“智能语料导师”搬进课堂，让语料教学更精准、互动、可落地，彻底重构语言学习逻辑。核心技术之一是NLP语义检索与解析技术，这是平台的“语料导航大脑”。 、语法规则，甚至标注语用禁忌。 不同于普通语料库的关键词匹配，平台的AI模型经过多语种、多场景语料训练，能理解“同义替换”“场景延伸”需求，比如搜索“道歉表达”会自动关联日常、商务、学术等不同语境的语料。 AI语料库智慧教学平台用NLP、大数据分析等核心技术，让语料资源“活”了起来，破解了传统语料教学的效率低、匹配差、互动弱等问题。
45110编辑于 2025-10-29- 来自专栏CPS推广奖励
23年6月推广大使额外奖励规则
【重要风控规则说明】 推广大使应在腾讯云推广许可范围内，使用正当的手段方式进行推广，不应进行任何欺骗或虚假性质的推广行为，包括但不限于： 1、与其他推广大使、或被推广客户相互串通，弄虚作假，恶意刷单， ---- 一、618佣金双重加码奖励 6月1日-6月30日，邀请个人新客户冲榜赢双重额外现金奖励！ 同时满足以下条件订单可参与本次618佣金双重加码奖励活动： 1、已主动领取任务>>点击立即前往领取 2、客户类型：个人认证用户（以月结信息为准） 3、订单类型：客户首购 4、满足CPS返佣条件订单（详见CPS推广奖励规则 以月结信息为准） 3、购买产品：数据库、实时音视频TRTC、即时通信IM（专业版/旗舰版）、云直播、云点播 >>点击立即查看 图片 4、订单类型：客户首购 5、满足CPS返佣条件订单（详见CPS推广奖励规则 三、618新手推广大使邀新抽奖 6月1日-6月30日，新会员和1星会员的推广大使领取任务后，每推广1名有效客户，即可获得1次抽奖机会，最高可抽奖6次。
4.1K100编辑于 2023-06-30 - 来自专栏技术知识分享
Centos 6操作系统lnmp正确iptables配置规则
systemctl enable iptables systemctl start iptables 查看iptables是否运行，查看iptable运行状态 service iptables status 清除已有规则 ，稍微修改上述语句就行 PS: 若网站服务器用的免费监控服务,将上述安全宝规则更换为以下规则: iptables -A INPUT -i eth0 -p udp -s 101.199.100.150 - （注意：如果22端口未加入允许规则，SSH链接会直接断开。） iptables -A INPUT -j REJECT;iptables -A FORWARD -j REJECT 查看已添加的iptables规则 iptables -L -n 将所有iptables 以序号标记显示 iptables -L -n --line-numbers 删除INPUT里序号为3的规则 iptables -D INPUT 3 保存规则 CentOS上可能会存在安装好iptables
71430发布于 2021-08-27 - 来自专栏云服务器运维实践
Nginx系列教程(6)Nginx location 匹配规则详细解说
Nginx 的 location 实现了对请求的细分处理，有些 URI 返回静态内容，有些分发到后端服务器等，今天来彻底弄懂它的匹配规则 一个最简单的 location 的例子如下 server { 注意，这不是一个正则表达式匹配，它的目的是优先于正则表达式的匹配 查找的顺序及优先级 当有多条 location 规则时，nginx 有一套比较复杂的规则，优先级如下： 精确匹配 = 前缀匹配 ^~（立刻停止后续的正则搜索 这个规则大体的思路是 先精确匹配，没有则查找带有 ^~的前缀匹配，没有则进行正则匹配，最后才返回前缀匹配的结果（如果有的话）如果上述规则不好理解，可以看下面的伪代码（非常重要） function match return 702; # 用这样的方式，可以方便的知道请求到了哪里 } } curl -I website.com:8080/document HTTP/1.1 702 复制代码 按照上述的规则
2.8K01发布于 2020-04-04 - 来自专栏PawSQL，在线的自动化SQL优化工具！
PawSQL周更新 | 新增6个SQL审查重写规则
概述 本文介绍PawSQL上一周新增的四个SQL审查规则 避免使用STRAIGHT_JOIN 避免使用Natural Join 避免使用CROSS JOIN 避免COUNT DISTINCT多个可空列 以及两个重写优化规则， NPE问题重写 显式禁止结果排序 这六个新的规则在PawSQL Cloud已可以正常使用。 参数是表达式，表达式可以为空 列定义不可为空，但是是外连接的内表，结果可能为空 数据库类型及版本 MySQL、openGauss、Oracle、PostgreSQL、KingbaseES、MariaDB 6.
1.6K10编辑于 2024-08-20 - 来自专栏CPS推广奖励
22年6月推广大使额外奖励规则
总规则.png1、云服务器CVM额外现金奖励6月24日至6月30日期间，推荐企业新客户购买买赠福利专区任一配置的云服务器CVM，即可获得常规返佣+抽奖机会+额外现金奖励！ 3）额外现金奖励：图片同时满足以下条件订单可参与本次【云服务器CVM额外现金奖励】活动：订单类型为【客户首购】的企业订单；购买买赠福利专区云服务器CVM任一配置；邀请新客户数≥2，需同时满足CPS返佣规则 （详见CPS推广奖励规则）注意：买赠专区的3款云服务器CVM配置，6月22日0点起可参与常规返佣+抽奖活动，6月24日0点起可参与常规返佣+抽奖活动+额外现金奖励，不再参与【服务器邀新开团活动】。 全新推广大使开单奖励开单奖励.png同时满足以下条件订单可参与本次【全新推广大使开单奖励】活动：1）订单类型为【客户首购】订单；2）单笔订单支付现金金额≥30元；3）邀请新客户数≥3，需同时满足CPS返佣规则 （详见CPS推广奖励规则）4）该活动订单需满足有效返佣订单条件：点击查看可返佣产品明细注：全新推广大使为首次加入腾讯云推荐奖励活动；或推广者在6月期间，推广的前3笔有效订单（即推广者自加入腾讯云CPS以来还未曾推广过一单
12.1K130编辑于 2022-11-10 语料智能·知识无界：AI 多功能语料库检索平台重塑语言研究新范式
语言研究进入智能检索新时代在全球化和数字人文研究蓬勃发展的背景下，传统语料库检索系统面临检索维度单一、多模态语料支持不足、深层语义关联缺失等核心挑战。 AI 多功能语料库检索平台通过融合大语言模型、多模态理解和知识图谱技术，构建了智能化、多维化、深度化的语料检索与分析体系，实现了从"关键词匹配"到"语义理解"的研究范式革新。 -检索-分析"四层技术架构：多模态语料处理引擎实现文本、语音、图像的统一表征学习；深度语义检索模型支持基于意图理解的智能检索；知识图谱关联系统构建语料间的语义网络；可视化分析平台提供丰富的语料数据洞察能力 数据安全与版权保护体系针对语料资源的版权敏感性，建立全方位保护机制：访问权限控制实现分级分权的语料访问；数字水印技术保护语料版权；操作日志审计追踪所有检索行为；数据脱敏处理在保护隐私的前提下开放研究。 、不断进化的新一代语料库研究基础设施。
46610编辑于 2025-10-30- 来自专栏SpringSecurity6从入门到实
SpringSecurity6从入门到实战之SpringSecurity6自定义认证规则
SpringSecurity6从入门到实战之SpringSecurity6自定义认证规则Spring Security 中默认所有的 http 请求都需要先认证通过后，才能访问。 这就需要设置自定义的URL认证规则SpringSecurity5.x自定义认证与6.x# 在 SpringSecurity5.x中（ 了解，已被废弃 ） // 自定义配置类 继承 WebSecurityConfigurerAdapter .anyRequest().authenticated() .and().formLogin(); } }# 在 SpringSecurity6. "; }}方便与/hello对比进行测试根据SpringSecurity6.x自定义认证规则配置新建MyWeSecurityConfig自定义配置类package com.example.config //进行表单登录验证 .and().formLogin(); return http.build(); }}测试结论最终可以发现我们可以自定义认证规则
69110编辑于 2024-11-29 - 来自专栏JasonhavenDai
人民日报标注语料库（PFR）1.标记说明2.格式说明3.例子4.生语料库和熟语料库5.其他语料库汇总
PFR语料库是对人民日报1998年上半年的纯文本语料进行了词语切分和词性标注制作而成的，严格按照人民日报的日期、版序、文章顺序编排的。 ，文件中每一行代表一自然段或者一个标题，一篇文章有若干个自然段，因此在语料中一篇文章是由多行组成的。 语料中除了词性标记以外，还有“短语标记”，这种情况一般出现在机构团体名称、成语等情况中。 /w 4.生语料库和熟语料库 语料库中存放的是在语言的实际使用中真实出现过的语言材料，语料库是以电子计算机为载体承载语言知识的基础资源，真实语料需要经过加工 、分析和处理之后才能成为可用的语料库 生语料库是指收集之后未加工的预料库 相对而言，熟语料库就是经过加工的 5.其他语料库汇总 http://blog.csdn.net/qq
6K80发布于 2018-04-11 - 来自专栏AI机器学习与深度学习算法
实战语言模型~语料词典的生成
sorted list iterable：是可迭代类型; cmp：用于比较的函数，比较什么由key决定; key：用列表元素的某个属性或函数进行作为关键字，有默认值，迭代集合中的一项; reverse：排序规则 fin.close() fout.close() ▲处理后的结果 对valid以及test样本同理使train中的方法即可： ▲数据处理以及处理后的结构 大致流程： 构建词汇表 需要在训练样本中统计语料中出现的单词
1.6K00发布于 2020-06-01 - 来自专栏AI科技评论
Facebook开源最大规模并行语料，45亿语料，覆盖576种语言对，或成为NMT评估标准
首先，从语料来源上讲。 目前有几个公共的多语言并行语料库，主要来自一些国际会议（如European Parliament 、the United Nations）的语料，这些都是专业的人工翻译语料，使用语言较为正式，且仅限于政治主题 为了使并行语料库量大、覆盖主题广泛，Facebook在CCMatrix这项工作中，选择使用了随机抓取web中的数据作为并行语料的来源，他们每个月随机发送url，从而获得包含各种语言的网页快照（TB级）。 在当前版本的CCMatrix语料库中，作者限制为38种语言。 （编者注：这是11月份数据，当时数据集规模为35亿并行语料，下同） CCMatrix：每种语言对的并行语料数量(单位：百万)，Margin阈值为1.06。
53010发布于 2020-02-21 - 来自专栏小小程序员——DATA
关联规则 关联规则概述
关联规则概述 关联规则 (Association Rules) 反映一个事物与其他事物之间的相互依存性和关联性。 关联规则可以看作是一种IF-THEN关系。假设商品A被客户购买，那么在相同的交易ID下商品B也被客户挑选的机会就被发现了 购物车分析是大型超市用来揭示商品之间关联的关键技术之一。
89510编辑于 2023-12-18 - 来自专栏AI研习社
Facebook开源最大规模并行语料，45亿语料，覆盖576种语言对，或成为NMT评估标准
首先，从语料来源上讲。 目前有几个公共的多语言并行语料库，主要来自一些国际会议（如European Parliament 、the United Nations）的语料，这些都是专业的人工翻译语料，使用语言较为正式，且仅限于政治主题 为了使并行语料库量大、覆盖主题广泛，Facebook在CCMatrix这项工作中，选择使用了随机抓取web中的数据作为并行语料的来源，他们每个月随机发送url，从而获得包含各种语言的网页快照（TB级）。 在当前版本的CCMatrix语料库中，作者限制为38种语言。 （编者注：这是11月份数据，当时数据集规模为35亿并行语料，下同） CCMatrix：每种语言对的并行语料数量(单位：百万)，Margin阈值为1.06。
1.4K20发布于 2020-02-21 大模型语料标注需要注意哪些？
一、语料类型 1.自采语料 2.商业语料 3.开源语料 二、抽检要求 1.人工抽检要求 具体做法:从全部语料中随机抽取不少于 4000 条语料:合格标准:合格率不应低于96%。 以此来保证语料在人工抽检环节的质量水平。 2.技术抽检要求 结合关键词、分类模型等技术进行抽检抽样数量:从全部语料中随机抽取不少于总量 10%的语料。 合格标准:抽样合格率不应低于98%，保障技术抽检的语料质量。 3. 评估技术规范要求 规范内容:评估采用的关键词库、分类模型应符合文件要求。 确保在使用关键词、分类模型等技术进行语料抽检时，所使用的工具和模型是符合既定规范和标准的，从技术层面保障语料安全评估的科学性和准确性。
33810编辑于 2025-09-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号