- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI前沿技术
智能体｜Agent 自动化评测系统构建
3）以深度研究评测为例，介绍 RACE 和 FACT 评测框架。 1，评估的必要性 辛苦上线后的Agent，用户反馈说体验变差了！团队的天都塌了。如果没有自动化的评测，就无法区分真正的退化和噪声。 以上指标，都需要 Agent 评测集和自动化评测工具的支撑。Agent 执行任务，会进行多轮"工具调用+推理“循环，显而易见Agent 评估要复杂得多。 3，深度研究 Agent 测试集准备 深度研究Agent（Deep Research Agent DRA）定义：需要智能体执行多轮网络搜索、信息收集、分析处理并生成高质量报告的复杂问题。 这一过程专门用于测试深度研究智能体能力的上限。 所有提交的任务都需经过研究团队的人工筛选，以验证其质量、清晰度、复杂性以及与深度研究定义的契合程度。 ；用于衡量智能体引用的精确度，反映使用合适来源准确支撑陈述的能力。 • 每任务平均有效引用数(E. Cit.)；量化agent在每个任务中检索并呈现的有价值且可验证信息的平均数量。
71411编辑于 2026-02-28 - 来自专栏产品笔记
RAG智能问答评测工具调研
RAG智能问答系统介绍： 如何基于向量数据库+LLM（大语言模型）打造企业专属Chatbot？ 因此对RAG目前可以使用的评测工具或方法进行调研，从业务角度出发选择合适的评估框架。 评估计算方法 流畅性、实用性 纯人工打分计算得来，给评测者对应的评测指标。
1.2K10编辑于 2024-03-06 - 来自专栏全栈程序员必看
软件评测师-自动化测试技术
一、概述 1.自动化测试是把人为驱动的测试行为转化为机器执行的一种过程，模拟手工测试步骤，通过由程序语言编制的测试脚本，自动地完成软件的测试设计、单元测试、功能测试、性能测试等工作，包括测试活动的自动化和测试过程管理的自动化 第一代-以工具为中心的自动化，典型：以捕捉/回放工具为典型 第二代-以脚本为中心的自动化，已经认识到统一脚本语言的重要性，测试自动化主要依靠测试工程师的主观能动性，测试脚本大量产生，增加了检查点的功能 ，可以对软件做验证 第三代-以平台为中心的自动化，称为测试框架，把脚本抽象化，让非技术人员在不懂测试脚本，不会使用程序的情况下，也可以使用自动化测试工具建立自动化测试案例 第四代-以业务为中心的自动化 ：功能自动化测试与非功能自动化测试，非功能自动化测试包括性能自动化测试和信息安全自动化测试 功能自动化测试：通过录制回放或编码的方式来测试一个软件的功能实现，可进行自动化回归测试 性能自动化测试 ：功能自动化测试工具、性能自动化测试工具、信息安全自动化测试工具 7.按照访问和控制的接口划分：用户界面自动化测试工具、接口自动化测试工具 8.按照所对应的测试阶段划分：单元自动化测试工具、集成自动化测试工具
80520编辑于 2022-09-07 - 来自专栏搜狗测试
智能算法评测系统实践
综上所述，我们规划评测指标需要从产品最根本的特性出发，全面把控。 【评测数据】 都说人工智能是数据喂出来的，其实对评测来说也是一样，结果的好坏完全取决于数据。 【任务分发系统】 一些小量级的评测人工部署就好，但智能算法效果的评估往往评测数据量级都很大，这时就需要一个强大的系统来提升效率和减少人力成本。 稳定性能保证我们评测正常进行，但如果想要高效，我们的系统还需要有较好的智能性。 效率低的话，要么评测结果出的慢耽搁智能算法改进，要么就只能堆机器去提升整体效率，成本很高。 3 ● 评测结果的分析 ● 【概览】 评测系统设计是灵魂，任务执行是躯干，那评测结果就是做的事了，最终还需要有一套完善的机制让评测结果能够成功推进智能算法的改进。
1.1K20发布于 2019-09-26 - 来自专栏搜狗测试
智能算法评测系统实践（一）
随着人工智能的发展，我们现在各个产品线中都融入大量的智能算法，方便了用户的同时也给我们评价产品的具体效果带来了很大的困难。 这里就简单介绍一些我们在智能算法评测实践过程中的一些心得，主要会从评测系统的设计、评测的执行以及评测结果的分析三个方面展开，由于内容较多这篇文章我们重点阐述第一点。 评测系统的设计 评测系统的设计是整个评测系统的灵魂，决定了整个评测系统该怎么做，而且对后续产品算法的走向都起到至关重要的作用。 从产品最根本的特性出发、同时全面掌控产品的特性，这就是我们规划评测指标最核心的目标。 评测数据 都说人工智能是数据喂出来的，其实对评测来说也是一样，结果的好坏完全取决于数据。 评测场景 评测场景即我们在哪进行评测，广义上也是评测数据的一种，不同场景下相同数据往往也有不同的意义。
1.9K20发布于 2019-08-19 - 来自专栏深度学习与python
评测也很酷，Data Agent 自动化评测的三层框架与实战
作者｜尹小明 编辑｜李忠良 策划｜AICon 全球人工智能开发与应用大会 在大模型技术飞速发展的当下，大数据领域的各类应用如雨后春笋般涌现，从数仓开发到 ChatBI 问数，再到深度分析 Agent InfoQ 荣幸邀请到了字节跳动 / 数据平台大模型评测技术负责人尹小明在 AICon 全球人工智能开发与应用大会·深圳站上分享了《评测也很酷——Agent 自动化评测技术创新与实践》。 我们相应地构建评测集和自动化评测方法；同时，在我们的评估平台上设有“数据与飞轮”模块对接业务，把线上的会话日志采集进来，用于 Case Study、回归评测集的沉淀，以及人工标注。 平台覆盖数据集管理与标注、自动化与人工评测、指标汇总与分析、结果归因与对比归因等完整流程，并提供相应的功能组件。 把握行业变革关键节点，12 月 19 日 - 20 日，AICon 全球人工智能开发与应用大会（北京站） 即将重磅启幕！
58011编辑于 2025-12-18 - 来自专栏FreeBuf
APP漏洞自动化扫描专业评测报告（中篇）
3.2.1 自动化脱壳 目前很多APP通过加壳来防止自己被反编译，而扫描器都是通过在反编译的代码中进行漏洞的扫描。如果扫描器不能自动化地脱去APP加的壳，则根本无法进行有效的漏洞扫描分析。 扫描能力小结 以下表3-9是此次扫描能力的结果： 表3-9 扫描能力总览 阿里聚安全 360 金刚 百度 AppRisk 自动化脱壳 √ 未知 × √ × 静态-检测隐藏Dex √ × × √ × 静态
2K50发布于 2018-02-08 - 来自专栏FreeBuf
APP漏洞自动化扫描专业评测报告（上篇）
目前在业界有很多自动化检测APP安全性的在线扫描平台。 为了了解目前国内移动APP在线漏洞扫描平台的发展情况，我进行了一次移动安全扫描平台的评测分析；主要从漏洞项对比、扫描能力对比以及扫描结果这三个方向来对比。
3.2K60发布于 2018-02-08 - 来自专栏AI心理测评
检信智能非接触式心理参数智能分析与评测系统
本发明公开了一种非接触式心理参数智能分析与评测系统,包括个人信息及数据采集模块、文本数据采集模块、文本数据处理模块、专家诊断临床文本数据模块、文本诊断识别、声音、面部表情数据采集模块;所述个人信息及数据采集模块
1K20编辑于 2022-07-09 - 来自专栏喔家ArchiSelf
如何评测语音技能的智能程度（2）——服务提供
《如何评测语音技能的智能程度》是5篇系列文字，来自一位创业者，也是DuerOS开发者的投稿，老曹尽量不做变动和评价，尽量保持系列文章的原貌，这是第2篇。 “你是做什么行业的？” 故而，智能助手输出结果样式的丰富性也应该作为评测指标。 列举一下当前的回复样式，文本、图文、视频播放器、音轨、选项卡、表单、功能按钮、多模态交互等等。 ? 所以我提炼成，内容展示合理程度，故而列为评测点。 【服务提供】（5）兜底处理表现 尽管我们都希望自己的智能助手能够给予最好的回复。 而在实际的业务中，总会有一些搞不定的情况。 故而列为评测点。 阶段性结尾 写东西不光光是罗列和定义评测点是什么，笔者更期望在每个点上，加入更多的业务思考和理解。 ? （6）、（7）、（8）三点毕竟高难度，虽然想过方案，但是对绝大多数智能助手而言，相对低频，故而弃之。当然也可以把这些评测点纳入，作为加分项。
5.6K20发布于 2020-05-29 数据智能分析工具的主流评测与深度分析
随着技术的进步，商业智能（BI）工具不断涌现，帮助企业从海量数据中提取有价值的信息，支持决策制定。 本文将对市场上几款主流的BI工具进行深度评测与分析，包括腾讯云BI、阿里云QuickBI、Tableau、PowerBI、帆软FineBI和永洪BI，旨在为企业提供客观的选型参考。 智能助手ChatBI 基于大模型的智能分析Agent，通过自然语言对话实现数据分析，降低数据分析门槛，提升效率。 洞察分析智能体 提供数据解读、波动归因、业务优化建议等能力，帮助企业洞察业务趋势。 智能分析Agent ChatBI作为智能分析Agent，支持接入混元、DeepSeek等主流模型，提供深度数据分析。 总结 在众多BI工具中，腾讯云BI以其全面的数据处理能力、强大的可视化功能和智能助手ChatBI的特色功能脱颖而出。它不仅能够满足企业内部的数据分析需求，还能支持企业对外的数据展示和沟通。
47410编辑于 2025-07-28- 来自专栏喔家ArchiSelf
如何评测语音技能的智能程度（3）——交互流畅
《如何评测语音技能的智能程度》是5篇系列文字，来自一位创业者，也是DuerOS开发者的投稿，老曹尽量不做变动和评价，尽量保持系列文章的原貌，这是第3篇。 本篇文章为大家带来【交互流畅】维度的评测点拆解。 这个模块，重点考量智能助手各个性能指标及交互体验层面的表现。 【交互流畅】（1）服务稳定性 “正常运行”、“不出bug”、“鲁棒性好”。 交互形式丰富度，评测点已解释完毕，在未来，一定是多模态交互，来适应各种各样的业务场景。 说一点，产品经理应该修炼的部分。 笔者有一个出门问问的耳机，它是智能助手的操控延伸。 体验各家智能语音助手，在这一块的表现上各不一致，故而列为评测点。 行业新的新手引导教学其实非常多的种类，滑屏海报，蒙版遮罩，文字tips，互动式引导。 同样的，在【交互流畅】这个单元模块，有更多评测点去列举，但是受限于篇幅以及能力所限，删掉的一些内容。保留以及删除评测点的原则，也是基于评测指标的普适性。 同样用提问的方式，列举一下我删除掉的考核点。
5.4K20发布于 2020-06-04 - 来自专栏AIGC新知
扣子上线模型管理和智能体评测，智能体更强更好用啦
扣子悄咪咪上线了模型管理和智能体评测两大模块，模型管理其实就是上一个版本的模型商店，智能体评测是新的一个功能。 模型管理 一、支持不同的模型选型。 目前支持不同种类的模型选型。 智能体效果评测 一个问题：什么样的智能体算是一个优秀的智能体？ 是不是可以这样理解：一个智能体在它的专业领域，可以回答该领域的专业知识，并且在多个维度上体现出优秀的能力，是不是就算通过测试了？ 扣子基于此，为每个智能体进行评测，为每个智能体构建领域评测数据集，设置不同的评测规则进行评估。 一、选择评测对象 选择已经发布的正式版智能体。 然后试运行确认没有问题之后，确认评测任务。 此处将会调用裁判模型，花费一定的模型token（火山点数）。 其实扣子的多智能体跳转里面也有这种类似的跳转判断模型。 评测结果如下：4 今天的体验就到这里了，晚安（bushi）。 听听大洋彼岸的奥特曼又在发什么疯。
2.3K10编辑于 2024-12-20 - 来自专栏喔家ArchiSelf
如何评测语音技能的智能程度（1）——意图理解
《如何评测语音技能的智能程度》是5篇系列文字，来自一位创业者，也是DuerOS开发者的投稿，老曹尽量不做变动和评价，尽量保持系列文章的原貌，这是第1篇。 也是所有AI智能助手，集合各项能力的一个核心能力。做不好中控的意图识别，智能化无从谈起。 不过多举例，但是有无处理方案，应该纳入进评测点。 【意图理解】（5）目标达成表现 核心考量点：帮助用户达成目标中间所花费的成本。 所以在当前的技术实现下，输出了过往在工作中一些评测产品以及处理问题的具体表现。 实际上，原本在意图理解这个单元模块，有更多评测点去列举，但是受限于篇幅以及能力所限，删掉的一些内容。 既然是评测指标，自然是有权重之分。 有些是可以努力做好的部分，比如前文中就【意图理解】这个维度提及的5个模块，各个例子的列举，都是基于用户的对话日志后台，是实际业务中非常高频的。
3.9K31发布于 2020-05-18 - 来自专栏AI智能体从入门到实践
构建AI智能体：大模型如何“考出好成绩”：详解内在评测与外在评测方法
二、为什么需要评测语言模型 在人工智能快速发展的今天，语言模型已经成为推动技术进步的重要力量。从简单的聊天机器人到复杂的决策辅助系统，语言模型的应用场景日益广泛。 , "expected_answer": "机器学习是人工智能的一个子领域，使计算机能够从数据中学习而不需要明确编程", "acceptable_variations 生成答案: 机器学习是人工智能的一个子领域，它使计算机能够通过从数据中学习来改进其性能和决策能力，而无需进行明确的编程。 生成答案: 机器学习是人工智能的一个子领域，它使计算机能够通过从数据中学习来改进其性能和决策能力，而无需进行明确的编程。 期望答案: 机器学习是人工智能的一个子领域，使计算机能够从数据中学习而不需要明确编程匹配类型: semantic置信度: 0.70解释: 语义评估认为答案等价 ✓ 用例 3:问题: 如何在Python中打印
57421编辑于 2025-11-19 - 来自专栏搜狗测试
软件品质评测系统-评测体系
2 ● 评测体系的内容 ● 评测体系可大可小，根据评测的内容而有所不同，一个完整的评测体系应包含： 评测对象 评测属性 评测场景 评测指标 在进行评测体系的设计之前，首先应明确评测对象是什么，可以大到一个系统 有了评测对象后，根据产品的需求或者应解决的问题，就可以确认哪些评测属性，比如准确度，覆盖度，再比如多样性，健壮性等。 评测属性再向下，确认好评测属性的应用场景及指标项，综合形成评测矩阵。 将以上结合，就是一个完整的评测体系。 ? 3 ● 评测体系的设计方法 ● 评测对象相对来说比较明确，接下来就是被测对象的特质进行评测属性的选择，以及确认好评测属性后进行评测矩阵的划分。 评测场景的选择 确认好了评测属性以后，接下来就是针对评测属性进行评测场景的覆盖及指标项的选择。评测场景一般是根据实际应用场景结合实现细节进行敲定。 评测矩阵 当评测属性，评测场景及评测指标一一敲定后，我们可以根据矩阵思想，将属性，场景及指标建立成一个二维矩阵，后续可以按照迭代的版本维护起来，全面的展示该评测对象需要重点评测的全部内容。
3.1K20发布于 2020-07-14 - 来自专栏数据派THU
“CAIL 2021中国法律智能技术评测”全面开启！
CAIL中国法律智能技术评测，旨在为研究者提供交叉学科的学术交流平台，推动自然语言理解与处理、智能信息检索等人工智能技术在法律领域的应用，共同促进中国法律智能技术的创新发展，为科技赋能社会治理作出贡献。 评测简介 法律智能研究旨在赋予机器理解法律文本的能力。 诚邀学术界、工业界的研究者与开发者积极参与和支持评测！ 赛制介绍 本次比赛各个赛道均采用三阶段赛制，三阶段分别为初赛阶段、复赛阶段、封测阶段。 封测阶段要求选手提供模型，并用新的测试集评测模型的泛化性。 目前各赛道第二阶段均已开启，全量训练数据集已面向参赛选手开放下载。比赛报名仍持续开放，诚邀您积极参与！ 扫描二维码 立即加入 ---- 扫描二维码或点击“阅读原文” 进入评测官网
42020编辑于 2023-03-29 MiniMax M2.5深度评测详解：更快更强更智能
MiniMaxM2.5深度评测：更快更强更智能，为真实世界生产力而生2026年2月12日，MiniMax发布了新一代文本模型——MiniMax-M2.5。 在与其他主流模型的比较中，它在GDPval-MM评测中取得了59.0%的平均胜率。性能表现编程能力在编程的核心测试中，M2.5相比于前代模型有了显著提升，达到了与ClaudeOpus系列类似的水平。 在SWE-BenchVerified评测集上，使用不同的编码Agentscaffolding进行了测试：在Droid上：M2.5为79.7，超过M2.1的71.3分以及Opus4.6的78.9分在OpenCode
2K00编辑于 2026-02-13- 来自专栏喔家ArchiSelf
如何评测语音技能的智能程度（4）——人格特质
《如何评测语音技能的智能程度》是5篇系列文字，来自一位创业者，也是DuerOS开发者的投稿，老曹尽量不做变动和评价，尽量保持系列文章的原貌，这是第4篇。 前三篇文章，依次拆解了【意图理解】、【服务提供】、【交互流畅】三个维度，如果这些维度的各个评测指标全部达标，即是一款水平线以上的智能语音助手，但是距离“令人愉悦和兴奋”还少了一个维度，即——人格化。 这个维度，重点考量智能助手在人格化程度上的表现。 【人格特质】（1）情绪丰富度 喜怒哀乐悲恐惊，考察智能助手的情绪丰富度。 ? 现在的语音助手大多是一个工具型产品，并基于此，努力附加人格化。 目前来看，市面上出货最多的当属智能音箱了，用户与这些智能音箱的互动相较于传统的硬件产品发生了质的改变，因为语音对话这种拟人化的交互形式，更容易附着人格，继而去传递品牌印象。 助手出现在其他的智能硬件上，也仅仅是时间问题。
3.6K20发布于 2020-06-09 - 来自专栏拓端tecdat
电商平台销售数据评测智能手表|数据分享
智能手机的笨拙已经不能满足消费者解放双手的需求。因此，便于携带的智能手表受到了消费者的青睐，而技术的不断创新也使得智能手表的功能越来越强大，转变甚至取代了智能手机的功能。 主题一 不同产地的智能手表价格和评价比较 2015年，智能手表行业迎来了井喷式的发展。在众多智能手表中，小米和华为作为国内智能手表品牌，在国内外市场都非常抢眼。 虽然国外品牌Apple Watch和三星Galaxy Watch在智能手表领域处于领先地位，但小米和华为等低价位厂商将以低价位智能手表制衡高价位智能手表。 主题二 智能手表各方面功能比较 根据初步调查，发现表带材质安全和材料问题是消费者在购买智能手表时比较关心的问题。 图二 热门智能手表样本中硅胶表带最多，其次是皮革，然后是金属。 总之，智能手表的功能将随着消费者多样化、个性化的需求而不断丰富，在未来，智能手表将成为人们工作和生活中不可缺少的帮手。 ---- 本文摘选《电商平台销售数据评测智能手表》
80020编辑于 2022-03-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号