- 综合排序
- 最热优先
- 最新优先
Ragas库实现RAG知识库自动化评估系统
RAG知识库测试架构方案系统概述现有系统生产环境:SpringAI+Elasticsearch(向量检索+BM25)测试环境:Python+Ragas(测试集生成+指标评估)测试目标评估检索质量（召回率 、精确度）评估生成质量（忠实度、相关性）对比向量检索vsBM25vs混合检索效果持续监控系统性能️测试架构设计┌───────────────────────────────────────────── ─────────────────────────────────┘Phase1:测试数据准备(Python)┌──────────────────────────────────────┐│1.加载知识库文档 ││8.可视化分析结果│└──────────────────────────────────────┘详细实施方案Step1:测试数据生成(Python)输入:知识库原始文档(PDF/TXT/etc. Week3:分析和优化报告生成可视化开发持续监控系统最佳实践测试集多样性:包含不同难度、不同类型的问题版本控制:测试集和结果都要版本管理隔离测试环境:避免影响生产数据定期更新:随着知识库更新，测试集也要更新人工审核
46900编辑于 2025-11-03BLOOM评估系统：自动化LLM行为评估框架
BLOOM评估系统：自动化LLM行为评估框架项目概述BLOOM（Bloom Rollout Pipeline）是一个开源的大语言模型行为评估系统，专门用于自动化测试和评估LLM的特定行为模式。 该系统采用可配置的种子驱动方法，允许研究人员定义目标行为（如迎合性、政治偏见、自我保存等），并自动生成多样化的评估交互场景来测试模型在这些行为上的表现。 与其他固定评估方法不同，BLOOM根据种子配置的不同而"生长"出不同的评估套件，确保评估的多样性和针对性。所有BLOOM评估都应与其完整的种子配置一起引用以确保可重复性。 LLM多模态交互：支持对话模式和模拟环境模式两种评估方式四阶段评估流程：理解→构思→执行→判断的完整评估流程异步并发执行：支持并行运行多个评估场景提高效率技术特性模块化架构：各评估阶段独立为可替换模块可扩展模型支持 ：支持零样本和少样本评估配置安装指南环境要求Python 3.11或更高版本支持的操作系统：Linux、macOS、Windows至少8GB可用内存安装步骤克隆项目仓库git clone <repository-url
21010编辑于 2026-01-05- 来自专栏Pytorch实践
人机对话系统回复质量的自动化评估
对话系统 人机对话系统分为任务型对话和非任务型对话系统。对于任务型对话系统的评价，一般采用任务完成的程度来进行评估，例如“导购”机器人，主要看用户是否点击“推荐商品”等来评估。 非任务型对话系统，一般是闲聊系统，若是多轮对话，一般使用用户与机器之间进行对话的轮数来评估系统优劣。但是若是单轮对话呢，如何评价机器给出回复的好坏？ 而目前并没有什么公认的评价指标可以更好地对对话系统的回复进行评价。很多论文给出的评价都包含一轮“人工评价”。 下面将介绍几种虽然不是很好的指标，但却是用的最多的评价指标。 总结 对于人机对话的回复评价，目前没有公认的、很好的自动化评价指标。毕竟回复的分布空间太广泛。要做到好的回复评价，不仅要考虑回复语义的相关性、回复的多样性，还要考虑回复是否符合语法规则、语义相关等。 现在做对话，大家一般使用PPL、BLEU、Distinct做自动化评价，外加一些人工评价。
4.4K40发布于 2018-06-07 - 来自专栏岛哥的质量效能笔记
自动化质量评估维度
上篇文章讲了下关于终端自动化的一个探索《终端自动化测试探索之路》，今天来聊聊关于自动化质量评估的维度，包括UI和接口。 误报率 误报率，指的是由于非应用或系统代码缺陷导致的自动化用例执行失败次数占所有自动化用例执行失败次数的比率。简单讲，误报就是应用或系统无代码或功能缺陷但是自动化用例执行失败。 一般导致UI自动化和接口自动化误报的主要有以下几个因素： UI自动化： 应用集成频繁，可用测试设备资源不足； 网络环境不稳定，网络频繁超时延迟； 测试账号被风控； 测试设备各种无法预知的系统弹框； 外部系统稳定性不可控 经过我们一年多的实践，发现UI自动化在BVT（每日版本测试）和MAT（冒烟测试）这两个阶段发现问题的概率比较高。 覆盖率 自动化测试覆盖率主要有以下几个指标。 接口覆盖率，评估对测试接口集合的覆盖度。 代码覆盖率，是从应用代码层面评估自动化的质量，它的统计方式是运行完接口/UI功能的所有自动化用例后，接口/UI功能实际执行的逻辑代码的覆盖程度。
1.1K20发布于 2021-08-18 - 来自专栏码客
知识库系统搭建
/install --port=9999 # 浏览器访问 http://ip:9999 进入安装界面，完成安装配置 # Ctrl + C 停止 install 程序, 启动 MM-Wiki 系统 这里端口我依旧设置的
62010编辑于 2024-03-29 - 来自专栏客户服务自动化
什么是知识库管理系统？如何搭建企业知识库系统？
本篇文章讲的就是什么是知识库管理系统？如何搭建企业知识库系统平台？ 纵观互联网的历史，知识库是一个自助服务库或图书馆，可以用来存储有关企业产品、服务或主题的易于检索的信息。 如今，知识库已经成为任何知识管理系统的一部分。现在，让我们来普及知识库。 1、什么是知识库 知识库是一个集中的存储库，可以作为客户和员工存储、组织和共享信息的自助服务台。 这种移动知识库的自助共享可以激励更多的员工使用知识库，让他们觉得知识库非常重要和有用。 4.如何搭建企业知识库 01 选择知识库平台 很多企业会选择专业的系统供应商，以便快速搭建企业知识库，还可以根据企业自身的实际需要以及预算规划，选择适合自身企业且性价比最高的供应商。 建立知识库的一个关键问题是搭建所需的系统，而Baklib经过不断地技术研发和创新，为企业打造出一套专业的企业知识库系统。
2.9K20编辑于 2022-04-19 - 来自专栏超级架构师
SCADA系列 系统评估
选择一个可以设计适合您需求的系统的SCADA系统提供商可能是一个压倒性的，令人困惑的任务。对SCADA和数据采集系统的了解甚少或不完整的系统前评估，所做出的决定可能是代价高昂的错误。 他们可能引诱你或压力，而不是根据影响最佳系统性能的所有因素来配备您做出正确的决定。 这些和其他昂贵的错误可以通过了解，理解和仔细评估您的特定需求来避免。 EPG公司公司已经准备了该SCADA系统评估，以帮助您确定什么SCADA或数据采集系统适合您。如果您在审查此评估后有任何问题或意见，请致电800-443-7426，并要求SCADA或数据采集专家。 今天的SCADA系统必须满足一个全新的控制自动化水平，与昨天的过时设备连接，灵活性足以适应未来的变化。 EPG公司公司已经准备了这个系统前评估，以帮助您准备购买SCADA系统的方式，为您提供多年的成本效益和可靠的流程控制，同时为您开放明天的扩张和选择。
2.3K50发布于 2018-04-09 - 来自专栏机器学习之旅
量化评估推荐系统效果
推荐系统最有效的方法就是A/B test进行模型之间的对比，但是由于现实原因的局限，存在现实实时的困难性，所以，梳理了一些可以补充替代的指标如下，但是离线评估也存在相应的问题： 数据集的稀疏性限制了适用范围 评价结果的客观性，由于用户的主观性，不管离线评测的结果如何，都不能得出用户是否喜欢某推荐系统的结论，只是一个近似的评估。 深度评估指标的缺失。 冷启动 Exploration 和 Exploitation问题 离线模型之间的评估 召回集测试 recall 命中skn个数/用户真实点击skn个数 precision 命中skn个数/所有预测出来的 离线模型与在线模型之间的评估 很多时候，我们需要确定离线模型的效果足够的健壮才能允许上线进行线上测试，那如何进行离线模型与线上模型的评估对比就是一个比较复杂的问题。 其他评估方向 覆盖率 推荐覆盖率越高， 系统给用户推荐的商品种类就越多 ，推荐多样新颖的可能性就越大。
2K30发布于 2018-08-27 - 来自专栏机器之心
可复现、自动化、低成本、高评估水平，首个自动化评估大模型的大模型PandaLM来了
2、使用 ChatGPT 对模型输出进行评估，但是 ChatGPT 对相同输入在不同时间得到的评估结果不同，到底采用哪个评估结果？ 基于这些问题，来自北京大学、西湖大学等机构的研究者联合提出了一种全新的大模型评估范式——PandaLM。PandaLM 通过训练一个专门用于评估的大模型，对大模型能力进行自动化且可复现的测试验证。 通过以下命令，您可以轻松地加载 PandaLM-7B 模型： PandaLM 的特点 PandaLM 的特点包括可复现性、自动化、隐私保护、低成本及高评估水平等。 1. 自动化、隐私保护与低成本：用户只需在本地部署 PandaLM 模型，调用现成命令即可评估各类大模型，无需像雇佣专家那样需保持实时沟通且担心数据泄露问题。 PandaLM 不仅具有高评估水平，而且结果具备可复现性，评估流程高度自动化，同时保护隐私且成本较低。研究团队相信 PandaLM 将推动学术界和工业界对大模型的研究，使更多人从大模型的发展中受益。
1.3K10编辑于 2023-05-09 - 来自专栏后端系统和架构
如何评估、预测系统的QPS
[TOC]如何评估、预测系统的QPS容量评估按照5倍冗余计算系统架构设计背景当我们在设计一套系统的时候，我们要考虑好系统的架构设计、模块划分、技术方案选型、还有系统性能如能够承受的QPS。 本文就如何评估、预测我们系统的QPS做一些经验输出，不足之处望大佬们指正~评估案例和方案为啥要进行评估？ 因为不同的QPS，所带来的挑战是不同的，架构设计也是不一样的如何评估系统的QPS如何评估系统的QPS，指的是我们的系统支撑的业务场景需要满足的一个最大承压，对于一个新项目而言，一般来说，有这样几个方式： Feed系统的预估对于Feed这样的系统（如微博），我们可以预估一下，全量用户每天总共会发送1000W条Feed，那么Feed子系统一天就会产生1000W条消息，同时，我们预估每条Feed平均有10个用户会去查看 然而，我们压测的目的在于验证我们的猜测，看看我们实际系统和预测的有多少差别。这就是为什么有经验的人只要你告诉他你的系统架构设计，他就能预估你的系统最大能承受的QPS是多少的原因。
9.6K32编辑于 2022-11-12 - 来自专栏Java技术进阶
【系统架构】-如何评估软件架构
基于调查问卷（检查表）的方式 基于度量的方式 基于场景的方式 几种方式的比较 评估方式 调查问卷 检查表 场景 度量 通用性 通用 特定领域 特定系统 通用或特定领域 评估者对架构的了解程序 粗略了解 无限制 中等了解 精确了解 实施阶段 早 中 中 中 客观性 主观 主观 较主观 较客观 基于调查问卷（检查表） 该方式的关键是要设计好问卷或检查表，它充分利用系统相关人员的经验和知识，获得对架构的评估 ，其缺点是很大程度上依赖于评估人员的主观推断。 基于度量 该方式建立在软件架构度量的基础上，首先要建立质量属性和度量之间的映射原则，即确定怎么样从度量结果推出系统具有什么样的质量属性；然后从软件架构文档中获取度量信息；最后根据映射原则分析推到出系统的质量属性 它提供更为客观和量化的质量评估，但对评估人员和适用技术有较高要求。
1.5K30编辑于 2022-12-02 - 来自专栏活动
如何评估推荐系统的性能
在构建推荐系统时，性能评估是一个至关重要的环节。有效的评估方法不仅能衡量系统当前的表现，还能帮助发现系统的不足之处，指导后续的优化工作。 推荐系统评估的重要性 推荐系统的核心目标是为用户提供个性化的内容推荐，从而提高用户满意度和业务指标。因此，评估推荐系统的性能至关重要。评估的结果不仅反映了系统的推荐效果，还为进一步的优化提供了依据。 系统效率：系统在推荐过程中的响应速度和计算资源消耗。 推荐系统的评估指标 推荐系统的评估通常涉及多个指标，每个指标都反映了系统性能的不同方面。 推荐系统评估中的挑战 在评估推荐系统性能时，尽管有多种评估指标可供选择，但这一过程依然面临许多复杂的挑战。 此外，还可以采用混合评估策略，将部分离线评估与实时评估相结合，在不影响实时性的前提下确保评估结果的全面性和准确性。 评估推荐系统的性能是推荐系统开发过程中的关键环节。
1K00编辑于 2024-08-12 自主系统伦理评估新框架
为帮助利益相关者在部署前快速定位潜在的伦理困境，某机构研究人员开发了一种自动化评估方法，该方法在可衡量的结果（如成本或可靠性）与定性或主观价值（如公平性）之间取得平衡。 基于他们先前评估机器人系统的工作，他们开发了一个实验设计框架，用以识别最具信息量的场景，然后由人类利益相关者对这些场景进行更仔细的评估。 一个客观模型考虑系统在成本等可衡量指标上的表现。然后，一个考虑利益相关者判断（如感知公平性）的主观模型建立在客观评估之上。“我们方法的客观部分与AI系统相关，而主观部分与评估它的用户相关。 通过以分层方式分解偏好，我们可以用更少的评估生成所需的场景。” Parashar说道。编码主观性为了执行主观评估，系统使用大语言模型作为人类评估者的代理。 为了测试SEED-SET，研究人员评估了现实的自主系统，如AI驱动的电网和城市交通路由系统。他们测量了生成场景与伦理标准的一致性。
5010编辑于 2026-04-13智能系统的知识库管理技术
智能系统的知识库管理模块，以多模态数据管理为基础，深度融合AI技术与精细化流程控制，构建从内容创建、智能分类到版本追溯的全生命周期管理体系，助力企业实现知识资产的安全存储、高效利用与持续优化。 审核与更新自动化审核：通过规则引擎检测敏感词、数据合规性（如合同条款合法性）；人工复核流程：设置多级审批流（如部门负责人→法务→管理员），确保内容权威性；更新提醒：关联业务数据动态监测信息时效性（如政策变动时自动提示更新产品手册 三、知识库标签管理：智能分类，秒级定位目标信息自动化标签体系AI语义标签：基于BERT模型提取文档核心主题（如“售后服务”“技术参数”），生成智能标签；多维度分类：支持按业务类型（销售/售后）、场景（线上 四、知识库版本管理：历史追溯，保障信息连续性全版本留痕与对比自动记录每次修改内容、时间、操作人，生成版本树状图；支持任意版本间差异对比（如高亮显示文字增删、表格变更）。 上下文联想搜索搜索“员工报销流程”时，同步推荐“差旅制度”“财务系统操作指南”等关联文件；基于用户角色优化结果排序（如HR搜索“考勤”优先显示最新政策）。
85410编辑于 2025-03-20- 来自专栏软件测试那些事
自动化测试成熟度评估模型
因此，组织投资自动化测试要首先关注这一方面。 2 新功能测试用例执行时机 这一方面评估自动化测试与软件开发周期的同步性，反映了自动化测试在快速迭代开发中的价值和及时性。 6持续改进与评估 持续改进是我们工作的一个法宝，自然也是自动化测试成熟度的一个重要方面，它确保了自动化测试实践能够适应不断变化的需求和技术进步。这是KIMI加的，就算凑个老六吧。 持续改进与评估 Level 1: 初步评估 - 定期进行自动化测试成熟度的初步评估。 Level 2: 持续监控 - 实施持续监控机制，跟踪自动化测试的效果。 模型一览表 以下是一个一览表 级别 用例编写自动化 测试环境自动化 新用例首次执行时机 结果分析自动化 测试效果 持续改进 1 手动测试 手工准备 落后执行 人工收集 补充手工测试 初步评估 2 +漏测） 多类型测试 改进计划 5 智能自动化 完全自动化 TDD集成 高度自动化分析 全面自动化 持续优化
84810编辑于 2024-06-17 腾讯云自动化助手（TAT）技术评估报告
摘要腾讯云自动化助手（TAT）作为云服务器（CVM）与轻量应用服务器（Lighthouse）的原生运维工具，通过无密码批量命令执行（Shell/Python/PowerShell）、交互式会话管理及公共命令库三大核心能力 一、核心功能与技术优势批量运维自动化零登录操作：无需SSH密钥或跳板机，支持万级实例并发命令执行，部署效率提升90%自动化助手简介_腾讯云全栈脚本支持：覆盖Shell/Python/PowerShell ，公共命令库预置50+标准化运维模板（如补丁安装、进程监控）自动化助手产品概述安全与可靠性端口零开放：交互式会话通过浏览器直接管理实例，攻击面缩减82%（NIST云漏洞报告2025）自动化助手TAT_腾讯云审计溯源 Agent❌ 需开放端口公共命令库✅ 官方维护50+模板✅ 社区共享❌ 仅基础命令免费政策✅ 完全免费❌ 按实例收费✅ 部分功能免费注：综合成本效率比TAT领先37%（Forrester 2024云工具评估 TAT四、迁移实施路径graph LRA[现状评估] --> B[安装客户端]B --> C{实例网络类型}C -->|VPC| D[创建自定义命令]C -->|基础网络| E[切换至VPC]D -->
44910编辑于 2025-06-21- 来自专栏性能与架构
高可用架构 - 系统性能评估
性能评估的要点 CPU 主要工具：vmstat 内存 主要工具：free 磁盘I/O 主要工具：iostat、sar 网络I/O 主要工具：ifstat 系统整体性能 主要工具：top CPU 评估 ? cpu:sy 如果太高，表示系统调用时间长，例如是IO操作频繁。 如果 us + sy 大于80%，说明可能存在CPU不足。 内存评估 ? free 命令重点指标：free（应用程序可用内存数量）。 磁盘I/O评估 ? 网络I/O评估 ? ： RX Pkts/Rate 数据包接收流量 RX Errs/Drop 丢包 TX Pkts/Rate 数据包发送流量 RX Data/Rate 数据接收流量 TX Data/Rate 数据发送流量 系统整体性能评估
1K31发布于 2019-12-15 - 来自专栏燧机科技-视频AI智能分析
电工考试操作行为识别评估系统
一、引言 我国电工从业人员超4000万人（《2026年中国电力行业发展报告》），特种作业操作证考试作为安全准入门槛，其考评质量直接关系电力系统安全运行。 本文提出基于YOLOv12目标检测、Transformer时序建模与多模态感知的智能识别评估系统，通过“视觉感知-时序行为-规则引擎-量化评分”全链路架构，实现操作行为识别精度96.5%（实验室数据）， （二）算法层核心设计 YOLOv12-Transformer融合的行为时序评估模型 针对“多步骤操作顺序性”与“工具-人体协同动作”识别难题，设计“检测-跟踪-时序建模-规则评估”四步流程： import 电工考试操作行为识别评估系统基于YOLOv12和Transformer架构深度学习算法，电工考试操作行为识别评估系统通过集成AI大模型，自动对作业的漏操作、误操作、操作顺序错误等进行自动识别，保证了智能评分的准确性和可靠性 系统通过在作业工位内布置多角度摄像头，实现无缝隙覆盖，考试过程中自动识别考试场景并全程录像，大大提高了安全生产培训考试的效率。
18810编辑于 2026-01-18 - 来自专栏网站漏洞修复
网站安全评估系统的设计概述
其次，在利用各种渗透测试技术对网站进行测试获得测试结果的基础上，设计了基于自动集成测试系统的渗透测试和安全评估方案。 进一步研究安全评估的核心算法，综合考虑了系统维护人员对目标的预估和测试结束后测试人员对目标的评估两个因素，提出了基于攻防游戏结果预估的网站安全评估算法和评估流程。 研究表明，在不损坏测试系统的基础上，本文提出的渗透测试方法可以有效检测系统的安全问题和漏洞，自动化测试方法有效可行。 综上所述，需要设计一个系统来整合渗透测试和安全评估工具的优势。 综合测试测试目标不仅可以大大提高网站的整体安全性，而且集成系统操作简单，可重用性高，适用范围广，如果想要对网站或APP进行全面的渗透测试服务安全评估的话，可以向网站安全公司或渗透测试公司寻求服务。
1.1K30发布于 2021-07-15 推荐系统评估、偏见与算法解析
某中心在RecSys：评估、偏见与算法某中心学者Pablo Castells分享他在推荐系统研究中观察到的趋势。 会议：RecSys 2021与计算机视觉或自然语言处理等会议不同，ACM推荐系统会议（RecSys）具有鲜明的互联网时代特征。 虽然我长期从事学术研究，但推荐系统问题完全可以从数学角度抽象处理，并通过小数据实验进行探索。”Castells认为当前领域特别关注三大主题：评估“如何确定推荐系统是否正常运行？ 这在生产系统中通过A/B测试等在线评估已充满挑战，离线评估则更为困难。最新趋势认为推荐系统的客户不仅包括终端消费者，还应包含提供推荐服务的卖方。因此算法效果需要从不同利益相关方的多维度视角进行衡量。” 即使针对特定用户，推荐系统性能的衡量也非易事。“推荐系统的有效性不仅在于准确预测用户喜好，更在于提供的内容是否实用。实用性取决于上下文环境和使用目的——收听熟悉音乐与发现新音乐的价值标准就截然不同。
24810编辑于 2025-10-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号