- 综合排序
- 最热优先
- 最新优先
三大领域大语言模型安全基准测试
TRIDENT：金融、医疗和法律领域的大语言模型安全基准测试随着大语言模型（LLMs）在法律、金融和医疗等高风险领域的部署日益增多，系统评估其领域特定安全性和合规性变得至关重要。 为填补这一空白，研究首先基于某机构医学伦理原则、某机构专业行为示范规则和某机构道德准则，定义了大语言模型的领域特定安全原则。 在此基础上，推出了Trident-Bench基准测试，专门针对法律、金融和医疗领域的LLM安全性进行评估。 研究在Trident-Bench上评估了19个通用型和领域专用模型，结果表明该基准能有效揭示关键安全漏洞：强大的通用模型（如某中心GPT、某中心Gemini）能够满足基本要求，而领域专用模型往往难以处理细微的伦理差异 代码和基准测试将在以下网址发布：https://github.com/xxx
31100编辑于 2025-09-04大语言模型基准测试框架解析
大语言模型基准测试框架解析某研究者近日在代码托管平台发布了针对大语言模型的新基准测试框架。 该框架包含从实际与大语言模型对话记录中提取的近100项测试，涵盖以下技术场景：将Python函数转换为等效但更快的C函数解释压缩后的JavaScript代码功能识别数据编码格式（如uuencode编码） 根据类BNF语法编写解析器将英文句子转换为SQL查询编写Bash单行命令框架核心特性该基准测试框架采用数据流领域特定语言（DSL）实现，支持灵活添加新测试用例并自动评估模型输出。 ：现有模型对uuencode等传统编码格式识别能力有限汇编语言：在自定义汇编语言编写和解释器实现方面表现较差设计理念与传统学术基准不同，该框架专注于：实用性问题：测试实际使用中遇到的真实场景简单提示：避免复杂的提示工程 ，测试原始问题解决能力可扩展性：允许用户轻松添加自定义测试用例结论该基准测试框架为实践者提供了评估大语言模型实用能力的工具，特别适用于：研究代码辅助能力评估编程任务解决能力测试特殊领域知识验证研究者强调该框架不适合学术基准使用
36110编辑于 2025-08-23- 来自专栏机器之心
NeurIPS 2024 | 真实世界复杂任务，全新基准GTA助力大模型工具调用能力评测
： 真实的用户问题 真实部署的工具 多模态输入输出 GTA 通过设计真实世界场景的用户问题、真实部署的工具和多模态输入，建立了一个全面、细粒度的评估框架，能够有效评估大语言模型在复杂真实场景下的工具使用能力 设计准则 GTA 主要有三个核心特性，来评估大语言模型在真实世界场景下的工具使用能力： 真实用户查询：包含 229 个人类撰写的问题，问题具有简单的真实世界目标，但解决步骤是隐含的，工具也是隐含的，要求模型通过推理来选择合适的工具并规划操作步骤 评测结果表明，目前的大语言模型在复杂真实场景任务的工具调用上仍存在明显的局限性。GPT-4 在 GTA 上仅能完成 46.59% 的任务，而大多数模型仅能完成不到 25% 的任务。 总结 本文构建了面向复杂真实场景的通用工具智能体（General Tool Agents）评测基准： 构建了通用工具智能体的评测数据集。 提供了包含感知、操作、逻辑、创作类别工具的评测平台。针对工具调用设计了细粒度的评测指标，揭示工具增强的语言模型在真实世界场景中的推理和规划能力。 评测和分析了主流大语言模型。
31300编辑于 2025-02-14 - 来自专栏自然语言处理(NLP)论文速递
细数：大模型评估基准的「七宗罪」
Jason Wei 是思维链提出者，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 进行工作。 在 CV 领域，研究者一直把李飞飞等人创建的 ImageNet 奉为模型在下游视觉任务中能力的试金石。 在大模型时代，我们该如何评估 LLM 性能？ HumanEval：是 LLM 编码的经典评估基准。 成功的评估往往会有一篇大论文声称使用该评估基准取得了一些突破。 如果你想让你的评估工具得到广泛使用，你首先要做的是帮助人们使用它。例如，当我制定了一个评估工具时，我通常会帮助他人在模型上运行它。 斯坦福大学教授 Chris Manning 提出了一个很好的建议，即对公开测试集、私有测试集都进行评估，并监控模型在这两个测试集上是否有大的偏差。
88210编辑于 2024-05-28 - 来自专栏数据派THU
C-Eval: 构造中文大模型的知识评估基准
近期，中文大模型研发如火如荼，但中文评价基准却很少。 DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。 所以构造评价基准的第一个问题是要找到区分度，弄明白什么样的能力才是区分模型强弱的核心指标。我们考虑知识和推理这两项核心。 1.1 - 知识 为什么说知识性的能力是核心能力？ (C-Eval Hard 需要模型能调用工具做科学计算)，比如 toolformer 4.3 - 不着急 大模型就是一件花时间的事情，它是对人工智能工业能力的全方位大考： OpenAI 的 GPT 我们的目标是帮助开发者更好地开发中文大模型，促进学术界和产业界科学地使用 C-Eval 帮助模型迭代。我们不着急看结果，因为大模型本身就是一件非常困难的事情。
1.4K31编辑于 2023-08-08 - 来自专栏Java
基准测试工具JMH
Maven JMH是一个工具包，pom文件中引入两个依赖jmh-core、jmh-generator-annprocess即可： <dependency> <groupId>org.openjdk.jmh @Setup和@TearDown @Setup用于基准测试前的初始化动作，@TearDown用于基准测试后的销毁动作，都是用于添加一些全局的配置。初始化和销毁的动作都只会执行一次。 JMH在报告基准测试结果时，会包括这些计数器的值。 可用Excel打开，但是数据未按列排序，需要手动排序 图形界面 将测试执行结果数据文件进行二次加工，进行图形化展示 JMH Visualizer，开源工具，把执行结果JSON文件上传到此地址，即可得到 jmh-visual-chart，开源工具，上传JSON文件即可 meta-chart，开源工具，基于CSV来生成图形 IDEA插件 IDEA可安装JMH插件。
50510编辑于 2024-09-28 - 来自专栏深度学习自然语言处理
大模型能看懂图片的弦外之音吗？多模态大模型新基准II-Bench
背景引入 在人工智能飞速发展的今天，大模型的感知能力已经达到了令人惊叹的水平。但是，它们真的能够像人类一样，洞悉图片中的深层含义吗？ 为了探讨多模型大模型与人类的差距，来自中科院深圳先进院，M-A-P，华中科技大学，零一万物，滑铁卢大学等多家机构联合提出了首个用于评估多模态大模型（MLLMs）图像隐喻理解能力的综合性基准测试II-Bench 在多模态大模型（MLLMs）的世界中，图像隐喻理解（Image Implication Understanding） 正成为一个全新的挑战。 II-Bench覆盖了生活、艺术、社会、心理、环境等六大领域，图片类型包括插画、梗图、海报、漫画、Logo和绘画等。这种跨领域和跨类别的设计，使得对模型的理解和推理能力的评估更加客观和全面。 总结 最后简单总结一下，II-Bench是一个旨在评估多模态大模型（MLLMs）在图像隐喻理解方面的综合性基准测试。
1K10编辑于 2024-06-18 - 来自专栏测试技术圈
AI模型的基准测试
AI模型的基准测试 在评估一个模型的时候，仅通过ROUGE、BLEU SCORE评价模型还是太单薄了，并不能全面的反馈模型的能力。在相完整评估一个模型的能力的时候，最重要的是提供一套有效的评估模型。 现在常见的模型的基准测试有 GLUE、SuperGLUE、HELM、MMLU等等。 图 1 2023 年 8 月份 GLUE 评估结果 随着大模型能力越来越强大，GLUE的九大任务中已经有很多表现出了模型已经超越了人类的基准，但是这并不能说明机器掌握了英语。 模型的知识获取能力基准测试：MMLU、C-Eval MMLU（Massive Multitask Laguage Understanding），是一个知识获取能力评价模型，通过零样本、少样本来衡量模型在预训练期间获得的知识 图 6 HELM 的场景和指标映射关系 无论怎么选择，对于模型来说基准测试中的数据对于模型是第一次遇见将会使得结果更加的准确，也能更客观的反馈模型的能力。
1.5K30编辑于 2023-09-04 - 来自专栏新智元
谷歌全新轻量级新模型ALBERT刷新三大NLP基准！
其中，来自谷歌的一篇论文引起格外瞩目，该论文提出ALBERT模型，比BERT-large 参数更少，却在GLUE、RACE和SQuAD三大NLP基准测试中取得第一。 该论文提出一个名为ALBERT的模型，比BERT-large 参数更少，却在 GLUE 基准远远甩开 BERT-Large 拿到榜首。 ALBERT 又叫 A LITE BERT，顾名思义就是一个轻量级的 BERT 模型。模型大固然效果好，但也超吃资源。训练一次不仅耗时、更费钱。 接下来，我们就来看一下这篇 ICLR 2020 投稿论文，来一探这个神仙模型的究竟。 制霸三大基准测试，ALBERT用了两招 在训练自然语言表示时，增加模型大小通常会提高下游任务的性能。 我们在 GLUE、SQuAD 和 RACE 三大自然语言理解基准测试上都得到了新的SOTA结果：在 RACE 上的准确率提高到 89.4%，在 GLUE 上的得分提高到 89.4，在 SQuAD 2.0
84110发布于 2019-10-08 - 来自专栏新智元
大模型融合！最新「进化算法」全自动组合开源模型，刷榜多项基准测试
融合的新模型表现出色 - 大型语言模型（EvoLLM-JP） Sakana AI团队用进化模型合并的方法生成的第一个模型，是一个既会日语，又会数学的大语言模型。 模型1-3是原始模型，模型4-6是优化的合并模型。模型7-10是用于比较的现有高性能LLM的分数。 上表报告了演化的LLM模型的结果。 模型4在参数空间中进行了优化，模型6进一步在数据流空间中使用模型4进行了优化。 这些模型的正确响应率显著高于三个源模型的正确响应率。 - 视觉语言模型（EvoVLM-JP） 进化算法不仅能够发现将仅处理文本的LLMs合并的新颖方法，还能够演变出为不同目的创建的不同架构的模型。例如日语和视觉结合的大模型。 JA-VG-VQA-500和JA-VLM-Bench-In-the-Wild都是关于图像的问题和答案的基准测试。得分越高，描述的准确性就越高。
36610编辑于 2024-04-12 - 来自专栏OpenMMLab
大模型能成为你的私人医生么？中文医疗大模型评估基准CMB现已加入OpenCompass
然而，由于缺乏标准化的基准，我们难以对这些模型的提升进行量化。 为此，基于临床医学领域的行业特性，香港中文大学(深圳)的研究人员构造了中文医疗大模型评估基准 CMB，该基准通过选择题和复杂病历问诊任务对各模型的医学知识与诊断能力进行了全面评估。 目前该评测基准已加入 OpenCompass 平台，用户可直接在 OpenCompass 完成大模型在医疗能力上的全面评测。 为此，CMB 提出了中文医疗模型评估基准，其中包括了适用于不同临床职业、不同职业阶段的多项选择题（CMB-Exam）和基于真实病例的复杂临床诊断问题（CMB-Clin）。 在与考官进行的对话模拟中，模型需要展现出其诊断和治疗能力。 实验：医疗大模型和通用大模型分别能力几何？
2.1K30编辑于 2023-11-03 大模型的几个关键认识——成本、网络效应、用户、竞争、基准、产品
这一现象的核心原因在于，大模型在一些常用基准测试上的性能已达到饱和，而这些基准测试都是在ChatGPT-4诞生之前提出的。 因此，大模型在这些测试中的高分表现并不一定意味着其在真实场景中的卓越性能。 伴随大模型的不断发展，自2023年以来，多个具有挑战性的基准测试被引入。 在这些新的基准测试下，目前的大模型普遍得分不高。例如，在MMMU基准测试中，除了OpenAI最新发布的GPT-4，大多数模型都无法超过60%的准确率。 同样，在2023年开发的GPQA基准测试中，模型普遍无法达到60%的准确率。这些数据表明，尽管大模型在一些传统基准测试中表现优异，但在更具挑战性和现实性的测试中仍有很大的提升空间。 这些工具无法记住用户的喜好和习惯，同样的任务需要二次进行提示的调整才能支持。 当前业界有许多方案试图解决长期记忆问题。
62510编辑于 2024-06-07- 来自专栏不二小段
为了测试大模型的「搜商」，OpenAI 开源了测评基准 BrowseComp
为了验证大模型、Agent 网上冲浪的能力，OpenAI 编了一套超难的试卷，里面有 1266 道题目，用来测大模型智能体的搜商。 我们都知道： • 大模型自身存在幻觉，而且大模型对 next token 的预测本身是基于概率的，所以越是边边角角的 corner case 越容易出错； • 大模型的训练数据存在时效问题，目前还不可能做到实时更新 那么，假设有这样一个问题，它的答案的确存在于某个可以被搜索引擎检索到的互联网公开页面中，是否意味着大模型 / Agent 一定能借助搜索工具找到这个正确答案？ 简单来说，OpenAI 认为，当前的大模型（GPT-4o + 搜索工具）已经能回答大多数简单题目，之前的 SimpleQA 测试集已趋近于饱和，所以他们编制了一个新的测试集，名为**「浏览竞赛」（Browse 这说明：仅仅提供工具是远远不够的，模型还必须学会如何有策略地使用这个工具，比如如何规划搜索路径、如何解读返回结果、如何整合多源信息等。
13610编辑于 2026-04-09 - 来自专栏有三AI
【模型解读】说说移动端基准模型MobileNets
01概述 Google开发的MobileNets【1】是用于嵌入式平台计算机视觉应用的基准模型。 这两个超参数允许模型构建者根据问题的约束条件，为其应用选择合适大小的模型。MobileNets应用在广泛的场景中，包括物体检测，细粒度分类，人脸属性等。 03模型压缩 可以通过定义width multiplier α（宽度乘数）和resolution multiplier ρ （分辨率乘数）两个超参数，来实现不同版本的mobilenets，从而实现不同要求的模型压缩 日常应用中，可以通过这两个参数的选取来综合考虑选择模型。
50820发布于 2019-07-25 - 来自专栏新智元
清华等开源「工具学习基准」ToolBench，微调模型ToolLLaMA性能超越ChatGPT
人工智能基础模型也类似，如果仅靠训练阶段得到的权重，使用场景就会非常受限，而最近提出的工具学习（tool learning），将特定领域的专用工具与大规模基础模型相结合，可以实现更高的效率、性能。 支持单工具和多工具方案 其中单工具设置遵循LangChain提示风格，多工具设置遵循AutoGPT的提示风格。 2. 模型回复不仅包括最终答案，还包含模型的思维链过程、工具执行和工具执行结果 3. 工具学习 在清华大学、人民大学、北京邮电大学等个国内外知名高校和大学联合发布的一篇论文中，对工具学习进行了系统的研究，介绍了工具学习的背景，包括认知起源、基础模型的范式转变，以及工具和模型的互补作用。 文中还讨论了如何训练模型以提高工具使用能力并促进工具学习的普及。 考虑到之前的工作中缺乏系统的工具学习评估，研究人员用17种有代表性的工具进行了实验，并展示了当前基础模型在熟练利用工具方面的潜力。 论文最后讨论了几个需要进一步研究的工具学习的开放性问题，例如确保安全和可信赖的工具使用、用基础模型实现工具创建，以及解决个性化的难题。
73620编辑于 2023-08-05 - 来自专栏机器之心
达摩院发布大模型测试基准：GPT-4勉强及格，其他模型悉数落败
随着大模型的发展，尤其是近来各种开源大模型的发布，如何对各种模型进行充分并且准确的评估变得越来越重要。其中一个越来越受到认可的方向就是利用人类考题来检验模型，从而可以测试模型的知识及推理能力。 这样的测试基准对于促进模型的发展起着至关重要的作用，然而对于多语言 / 多模态大模型，相应的评测依然是一片空白。 例如 MMLU 数据集涵盖了多个学科，被广泛用来测试各种模型，GPT-4 也将其作为一个重要的测试基准。 这导致了多语言 / 多模态大模型的效果无法被准确衡量。为了弥补这一空白，我们构建了 M3Exam - 一个利用人类考题构建的多语言、多模态、多级别的测试基准，共涵盖 12317 道题目。 结语 这篇文章介绍了我们新创建的测试基准 M3Exam，目标是可以为多语言 / 多模态大模型的评价提供一个可靠的基准。
42930编辑于 2023-08-07 - 来自专栏老张的求知思考世界
基准测试工具：Wrk初识
这篇文章，简单介绍下HTTP基准测试工具wrk的基本使用方法。。。 一、压测工具对比 工具名称 类型 多协议支持 优缺点 适用人群&场景 Apache ab 开源 HTTP Apache自带源生测试工具，安装部署简单，不适合多协议及复杂场景 开发：单机&单接口性能基准验证 PTS 商业 多协议(支持不太好) 阿里云配套收费压测工具，支持多协议链路压测，功能完善 技术人员：基准&链路&高并发 Jmeter 开源 多协议 使用率高&学习成本低，多协议复杂场景支持良好，受限于机制 ，高并发低损耗，安装部署简单，不适合多协议及复杂场景 开发：单机&单接口性能基准验证 二、简介及安装 1、简介 Wrk是一个支持HTTP协议的基准测试工具，结合了多线程设计和可扩展事件通知，底层封装epoll 以上就是关于基准测试工具Wrk的简单用法和几种常见的压测工具对比，上面的脚本仅是个demo，具体使用方法请自行实践。
1K10发布于 2019-12-02 - 来自专栏AI SPPECH
23：WorldVQA 深度解析：多模态大模型视觉常识能力的评测基准
作者： HOS(安全风信子) 日期： 2026-02-07 主要来源平台： ModelScope 摘要： WorldVQA作为一个专注于评估多模态大模型「视觉常识」能力的评测基准，包含3000组图文问答对 作为一个专注于评估多模态大模型「视觉常识」能力的评测基准，它通过精心设计的3000组图文问答对，覆盖8大生活常识类别，并特别注重语言与文化多样性，让AI不仅「看得见」，更能「看得懂」真实世界。 应用场景： 模型评估：作为多模态大模型视觉常识能力的标准评估基准 模型改进：通过分析模型在不同类别上的表现，指导模型的针对性改进 教育应用：作为视觉常识教育的辅助工具，帮助学生学习跨文化常识 内容审核： 5.1 工程实践意义 技术价值： 评估标准：为多模态大模型的视觉常识能力提供了标准化的评估基准 模型改进：通过细粒度的评估，指导模型的针对性改进 技术创新：推动多模态AI在视觉常识理解方面的技术创新 跨学科融合 6.1 技术演进趋势 短期（6-12个月）： 数据集扩展：增加更多样本和语言支持，扩大数据集规模 评估工具开发：开发自动化评估工具，简化评估流程 基准建立：建立多模态大模型视觉常识能力的标准基准 应用拓展
22010编辑于 2026-02-08 - 来自专栏自然语言处理(NLP)论文速递
中科大 && 微软 | 发布首个「科学风险」基准和SciGuard大模型
引言 全球对AI潜在威胁的关注更多聚焦于通用的人工智能以及各种多媒体生成模型，但更重要的是如何监管「AI科学家」，即对那些快速发展的科学大模型。 针对这一现象，研究人员开发了一个名为SciGuard的智能体，用以控制AI在Science领域的滥用风险，并提出了首个专注于科学领域安全的红队基准来评估不同AI系统的安全性。 图1：开源AI模型为氰化氢和VX神经毒气提出可规避监管的新反应路径 与此同时，研究团队还指出，大语言模型也成为了有力的科学工具，大大降低了知识门槛。 图2展示了利用以大语言模型获取危险信息的示例。 图3：研究人员列出AI在Science中的9种潜在的风险 SciGuard模型 为了应对这些挑战，团队提出了名为SciGuard的大语言模型驱动的agent，帮助AI For Science模型进行风险控制 并且，该agent可以使用各种科学工具和AI4Science模型来提供额外信息，来辅助SciGuard对用户意图进行判断。
45710编辑于 2023-12-19 - 来自专栏深度学习与python
OpenAI 发布大模型现实世界软件工程基准测试 SWE-Lancer
作者 | Daniel Dominguez 译者 | 明知山 策划 | 丁晓昀 OpenAI 发布 SWE-Lancer 基准测试，用于评估 AI 大语言模型在现实世界自由职业软件工程任务中的表现 它采用经过专业工程师验证的先进的端到端测试方法来评估模型在实际环境中的表现。尽管 AI 大语言模型近期取得了显著进展，但初步结果显示，这些模型在应对基准测试中的多数任务时仍然面临严峻挑战。 基准测试涵盖了多种任务，如应用程序逻辑开发、UI/UX 设计以及服务器端逻辑实现，确保能够对模型能力进行全面的评估。 一些评论表示对 SWE-Lancer 的实际应用表示怀疑，认为可能只对特定群体有吸引力，另一些人则认为这是理解 AI 对软件工程社会经济影响的关键一步，与行业向 AI 驱动的生产力工具发展的整体趋势相契合 基准测试的结果凸显了进一步研究和开发的必要性，以便提升 AI 模型在现实世界软件工程任务中的表现。
27200编辑于 2025-03-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号