- 综合排序
- 最热优先
- 最新优先
- 来自专栏前行的CVer
LLM评测
Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark： 所有能力 通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准 ，旨在测试多轮对话和指令遵循能力，共包含8个常见的用户提示类别：writing 写作、roleplay 角色扮演、extraction 提取、reasoning 推理、math 数学、coding 编程 数学能力 数学——GSM8K 是一个高质量的英文小学数学问题数据集，包含 7.5K 训练数据和 1K 测试数据。创建该数据集是为了支持对需要多步骤推理的基本数学问题进行问答的任务。 这些问题通常需要2-8步才能解决，有效评估了数学与逻辑能力。 Code能力 HumanEval 是openai提出的用于评估模型根据给定提示(通常是文档字符串)生成功能正确代码的能力。 是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。
1.7K10编辑于 2024-08-05 - 来自专栏OpenMMLab
开源模型离GPT-4有多远，OpenCompass LLM评测8月榜单新鲜出炉
基于社区用户的反馈，我们新增了一批重磅功能，让我们一起快速了解一下： 扩展开源数据集支持情况，新增 LLM 评测集 Xiezhi, SQuAD2.0, ANLI, CMMLU 提供长文本评测能力，支持 L-Eval, LongBench 等长文本评测集 开放多模态评测能力，支持 MMBench, SEED-Bench, MME, ScienceQA 等十余个多模态评测集 提升代码评测能力，支持 HumanEval-X 图片来源：OpenCompass 大模型性能对比功能 社区开源模型评测结果速览 大模型评测是一项复杂的系统性工程，如何构建合理的评测集与公平的评测方式，期待产业界和学术界持续共同探索。 OpenCompass 基于学术社区的 50+ 余个主流中英文评测集上开展评测分析，并发布 8 月中英文综合榜单（相关评测结果受评测集，评测方法等限制，仅反映在 OpenCompass 现有能力维度体系下的模型性能 虽然目前学界已经存在许多关于激发 LLM 推理能力的研究，但我们更期待能有更多的研究从训练维度展开，最终产生一种简洁而通用的范式，根本地提升模型的推理能力。
1.1K31编辑于 2023-09-11 - 来自专栏丑胖侠
Java8 Stream性能如何及评测工具推荐
有些知识是不得不学，有些知识是学了之后如虎添翼，Java8的Stream就是兼具两者的知识。不学看不懂，学了写起代码来如虎添翼。 在上篇《Java8 Stream新特性详解及实战》中我们介绍了Java8 Stream的基本使用方法，尝试一下是不是感觉很爽？ 同时，你是否又看到类似《Java8 Lambda表达式和流操作如何让你的代码变慢5倍》这样的文章，那么今天就带大家通过编写测试程序来一探究竟，看看Stream的性能到底如何。 原文链接《Java8 Stream性能如何及评测工具推荐》
1.1K30发布于 2019-10-22 - 来自专栏搜狗测试
软件品质评测系统-评测体系
2 ● 评测体系的内容 ● 评测体系可大可小，根据评测的内容而有所不同，一个完整的评测体系应包含： 评测对象 评测属性 评测场景 评测指标 在进行评测体系的设计之前，首先应明确评测对象是什么，可以大到一个系统 有了评测对象后，根据产品的需求或者应解决的问题，就可以确认哪些评测属性，比如准确度，覆盖度，再比如多样性，健壮性等。 评测属性再向下，确认好评测属性的应用场景及指标项，综合形成评测矩阵。 将以上结合，就是一个完整的评测体系。 ? 3 ● 评测体系的设计方法 ● 评测对象相对来说比较明确，接下来就是被测对象的特质进行评测属性的选择，以及确认好评测属性后进行评测矩阵的划分。 评测场景的选择 确认好了评测属性以后，接下来就是针对评测属性进行评测场景的覆盖及指标项的选择。评测场景一般是根据实际应用场景结合实现细节进行敲定。 评测矩阵 当评测属性，评测场景及评测指标一一敲定后，我们可以根据矩阵思想，将属性，场景及指标建立成一个二维矩阵，后续可以按照迭代的版本维护起来，全面的展示该评测对象需要重点评测的全部内容。
3.1K20发布于 2020-07-14 【AGI-Eval评测数据 NO.2】CapaBench 揭示 LLM 智能体中各个模块的作用
1、LLM代理的模块化架构 CapaBench采用模块化设计，构建了如下所示的代理框架，旨在全面评估LLM代理在多种环境下的表现。 上述评测集已在AGI-Eval社区平台上线，可跳转链接（https://agi-eval.cn/evaluation/CapaBench）查看。 欢迎关注我们官方账号，获取更多专业前沿的资讯和评测内容~ 4、实验评估 在我们的实验中，我们设定Llama3-8B-Instruct为所有四个核心模块（规划、推理、行动和反思）的默认实现。 轻量级开源模型（≤32B）：为轻量级实现，包含 Qwen2.5-32B-Instruct 和 Mistral-8B-Instruct-v0.2。 相比之下，开源模型如Qwen-2.5和Mistral-8X7B在较为简单的领域（如购物和基本代数）中取得了中等的进展，但在认知密集型任务中表现不佳。
48510编辑于 2025-02-28- 来自专栏DevOps
基于n8n和LLM的告警分析探索
alertmanger配一个webhook到发这里）2 调用alertmanager的alerts接口，获取到非静默状态的活跃告警的大的列表3 将大的告警列表转为逐个item，然后循环发给deepseek（或者其它LLM 也可以）4 LLM将分析的结果存到本地文件（因为返回的内容可能比较多，可能超过IM工具message阈值），然后将本地文件上传到OSS，最后通过IM将分析结果的url发出来。 resultItems = alerts.map(alert => { return { json: alert // 每条告警作为单独的 item 的 json 字段 };});// 返回多个 item（n8n 会自动展开）return resultItems;将LLM生成的结果写到本地文件中上传文件到oss这里稍微费事的是将LLM返回的内容写到文件中，试了code功能下没成功（可能是我的JS太弱了）。 于是改为使用shell命令的方式，在n8n的机器上写个shell脚本，如下：IM通知带上oss链接
20710编辑于 2025-11-30 - 来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 用户使用方式PPL LLMW8A16/W16A16：原模型-->模型转换-->ppl.pmx导出onnx（可选择weight int8量化）-→部署云端服务W8A8：原模型-->模型转换-->ppl.pmx 导出onnx（可选择weight int8量化）-→部署云端服务（实时量化，选择i8i8模式）ppl.llm.serving/docs/llama_guide.md at master · openppl-public (github.com)多卡并行Tensor-LLM通过设置参数来使用多卡，--gpus_per_node：每台机器的GPU卡数量（默认是8张卡），–world_size：并行进程数量（一个进程一张卡，
1.2K30编辑于 2023-11-21 - 来自专栏搜狗测试
软件品质评测系统-评测结果展示
1 ● 为什么要进行数据展示 ● 在前几次的分享中，设计了好的评测体系、具备了数据挖掘分析能力、选择高效稳定的评测执行工具后，我们会拿到第一手的评测数据。 在我们之前的实践过程中，拿到原始评测数据后会通过观察数据给出一个评测结论。长此以往发现这样并不利于保存数据记录，并且没法反映出一段时间内评测指标的变化趋势。 2 ● 哪些数据需要展现 ● 评测结果展现 对于在评测设计时选定的评测指标，需要准确完整地展现在评测系统中。 我们据此设计了一个评测的结果报告，每次评测完成后会通过该报告给出评测结论： ? 即我们最终展示给用户的评测结论以及各类图标数据，都应当与原始的评测结论、数据保持一致，同时评测结果的展示要与最终上线后预期的结果或趋势保持一致，这样的评测结论才是可信的、有指导意义的。
2.8K20发布于 2020-08-11 在K8s上部署分离式LLM推理
随着大语言模型（LLM）推理工作负载日益复杂，单一的整体服务进程开始触及自身极限。 在深入了解Kubernetes配置文件之前，先理解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。 由于LLM的自回归特性，这受内存带宽限制。需要具有快速高带宽内存访问的GPU。路由器/网关负责引导传入请求，管理预填充和解码阶段之间的键值缓存路由，并处理工作节点间的请求负载均衡。为什么要分离？ 像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了：如何在Kubernetes上编排它？ llm-d的工作负载变体自动扩缩器通过Prometheus监控每个Pod的KV缓存利用率和队列深度，使用备用容量模型来确定何时应添加或移除副本。
2100编辑于 2026-04-16在K8s上部署分离式LLM推理
在Kubernetes上部署分离式LLM推理工作负载随着大语言模型（LLM）推理工作负载日益复杂，单一的整体服务进程开始触及自身极限。 在深入Kubernetes配置文件之前，了解LLM的两种推理部署模式会有所帮助：在聚合式服务中，单个进程（或紧密耦合的进程组）处理从输入到输出的整个推理生命周期。 由于LLM的自回归特性，这受内存带宽限制。你需要具有快速高带宽内存访问能力的GPU。路由器/网关负责分发传入请求，管理预填充和解码阶段之间的键值缓存路由，并处理工作节点间的请求负载均衡。为何要分离？ 像NVIDIA Dynamo和llm-d这样的框架实现了这种模式。问题变成了：如何在Kubernetes上编排它？ llm-d的工作负载变体自动扩展器通过Prometheus监控每个Pod的KV缓存利用率和队列深度，使用备用容量模型来确定何时应添加或移除副本。
10010编辑于 2026-04-09- 来自专栏NewBeeNLP
LLM in Reranking——利用LLM进行重排
现有的涉及LLM的重排方法大致可以分为三类： 用重排任务微调LLM 使用prompt让LLM进行重排 以及利用LLM做训练数据的增强 本文中针对前两种方法介绍一些研究。 Method 使用TF-IDF相似度得到初步的候选文档集，再使用LLM进行重排。 LLM对召回的文档先进行打分，保留top K_1个文档，用超链接对这些文档进行扩展，再用LLM对扩展文档打分并挑选top K_2的文档，如此往复直到到达最大深度H。 一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。 另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
3.4K30编辑于 2023-10-25 - 来自专栏爱可生开源社区
2025 年 8 月《GPT-5 家族 SQL 能力评测报告》发布
一、本期导览与核心看点 2025 年 8 月，我们迎来了 AI 发展史上的又一个里程碑 —— GPT-5[1] 家族的正式发布。 * 测评数据截止时间 2025/8/20 三、本月榜单与焦点分析 GPT-5 家族在 SQL 领域的评测结果并非简单的性能递减，不同版本间表现出显著的能力分化，这凸显了场景化选型的重要性。 https://sql-llm-leaderboard.com/models/gpt-5-mini/2025-08 各维度表现得分 能力 得分 详细说明 SQL 理解 80.8 执行准确性：87.1 执行计划检测 https://sql-llm-leaderboard.com/models/gpt-5-nano/2025-08 各维度表现得分 能力 得分 详细说明 SQL 理解 77.1 执行准确性：85.7 执行计划检测 https://sql-llm-leaderboard.com/models/gpt-5-chat/2025-08 各维度表现得分 能力 得分 详细说明 SQL 理解 62.3 执行准确性：57.1 执行计划检测
42010编辑于 2025-08-25 - 来自专栏PHP学习网
PHP技能评测
公司出了一些自我评测的PHP题目，其中好多题目在面试的时候都会碰到，大家可以看看学习学习。 1. 魔术函数有哪些,分别在什么时候调用? 如果不指定，MYSQL默认col_name为索引值； 5、length为可选参数，表示索引的长度，只有字符串类型的字段才能指定索引长度； 6、asc或desc指定升序或降序的索引值存储 8.
1.4K30编辑于 2022-08-03 - 来自专栏LuckQI
项目评测etherparty
●总得分：51.1/100分 想做的目标很好，但是产品特色和目前的团队配置可能还需要进一步的补强，未来也有必要根据后续的推动情况，作进一步的动态评测。
1.6K20发布于 2018-07-19 - 来自专栏LuckQI
icx项目评测
（注：在评测公链项目时，我把“使用区块链的必要性”调整为了“产品特色与创新”） ◆代币升值逻辑：16/40 这一点看的有点困惑，感觉icon项目代币升值逻辑的不确定性主要体现在两个方面： 一是每年增发与否取决于一个名叫
1.6K20发布于 2018-07-19 - 来自专栏数据结构与算法
2840 WIKIOI——评测
2840 WIKIOI——评测 时间限制: 1 s 空间限制: 2000 KB 题目等级 : 白银 Silver 题目描述 Description Wikioi上有一题有N个测试点，时限为 iostream> 2 #include<cstdio> 3 #include<cstring> 4 using namespace std; 5 int tot; 6 int main() 7 { 8
1.5K80发布于 2018-04-13 - 来自专栏技术人生黄勇
ChatGLM团队发布AI Agent能力评测工具AgentBench：GPT-4一骑绝尘，开源模型表现非常糟糕！
这个AgentBench是评测LLM作为Agent的能力，通过评测LLM在细分任务的得分来确定LLM作为Agent的水平，主要结论就是商业模型表现远超开源模型，更加适合作为Agent来使用，而GPT-4 这在目前没有一个合适的评测方式。 为此，AgentBench创建了8个不同的场景，针对上述能力来评估LLM作为Agent的表现，包括： 操作系统：评估LLM在Linux系统的bash环境中的操作能力，如文件操作、用户管理等。 25个主流LLM作为Agent的能力评估结果和重要结论 最终，清华大学评估了25个主流的LLM在上述8个任务上的表现来评估各大模型作为Agent的最终得分。 LLM作为Agent的总结 尽管这篇论文的评测结果可能还不够完善，但是大部分的结论应该还是比较可靠的。虽然开源模型的进步很多，但是与商业模型相比还是有很大的差距。
84110编辑于 2024-07-19 - 来自专栏k8s技术圈
LLM On Kubernetes
从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。 open-webui-ollama-944dd68fc-wxsjf 1/1 Running 0 24h open-webui-pipelines-557f6f95cd-dfgh8
71410编辑于 2024-07-20 - 来自专栏软件绿色联盟动态
8款主流拍摄美化类App动作传感器调用情况评测
测试方案 一、测试环境 硬件环境：荣耀Maigc2 8+128G 软件版本：EMUI 版本9.0.0 二、测试范围 本次测试选取了8款主流拍摄类App及版本： 应用名称 版本 美图秀秀 8.6.6.1
1.1K20编辑于 2022-03-31 - 来自专栏爱可生开源社区
SCALE | 2025 年 8 月《DeepSeek-V3.1 SQL 能力评测报告》发布
一、本期导览与核心看点 2025 年 8 月，SCALE[1] 评测基准在纳入 GPT-5 家族 后，又马上纳入了 深度求索[2] 公司于 8 月 21 日发布的最新模型 —— DeepSeek-V3.1 二、评测基准说明 为保证评测的纵向可比性与结果的稳定性，本月测评维度依旧围绕三大维度进行测评：SQL 理解、SQL 优化 与 SQL 方言转换，以确保对所有参评模型进行公平且深入的评估。 三、新增模型深度分析 以下是对 DeepSeek-V3.1 的首次评测表现进行详细剖析。 备受关注的专业级应用 SQLShift[4] 的详细评测报告也即将发布，敬请期待。 我们致力于通过开放、透明的方式建立行业公认的 LLM SQL 能力评估标准，并诚挚邀请社区提供宝贵的反馈。 官网：https://sql-llm-leaderboard.com/
74610编辑于 2025-11-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号