- 综合排序
- 最热优先
- 最新优先
- 来自专栏前行的CVer
LLM评测
Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark： 所有能力 通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准 是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。
1.4K10编辑于 2024-08-05 - 来自专栏OpenMMLab
开源模型离GPT-4有多远，OpenCompass LLM评测8月榜单新鲜出炉
基于社区用户的反馈，我们新增了一批重磅功能，让我们一起快速了解一下： 扩展开源数据集支持情况，新增 LLM 评测集 Xiezhi, SQuAD2.0, ANLI, CMMLU 提供长文本评测能力，支持 L-Eval, LongBench 等长文本评测集 开放多模态评测能力，支持 MMBench, SEED-Bench, MME, ScienceQA 等十余个多模态评测集 提升代码评测能力，支持 HumanEval-X 图片来源：OpenCompass 大模型性能对比功能 社区开源模型评测结果速览 大模型评测是一项复杂的系统性工程，如何构建合理的评测集与公平的评测方式，期待产业界和学术界持续共同探索。 OpenCompass 基于学术社区的 50+ 余个主流中英文评测集上开展评测分析，并发布 8 月中英文综合榜单（相关评测结果受评测集，评测方法等限制，仅反映在 OpenCompass 现有能力维度体系下的模型性能 虽然目前学界已经存在许多关于激发 LLM 推理能力的研究，但我们更期待能有更多的研究从训练维度展开，最终产生一种简洁而通用的范式，根本地提升模型的推理能力。
1.1K31编辑于 2023-09-11 【AGI-Eval评测数据 NO.2】CapaBench 揭示 LLM 智能体中各个模块的作用
1、LLM代理的模块化架构 CapaBench采用模块化设计，构建了如下所示的代理框架，旨在全面评估LLM代理在多种环境下的表现。 反思模块：通过分析任务失败原因，帮助代理在多回合任务中反思并优化其行为 这些模块是了当前LLM Agent架构内解决复杂任务的核心基础，也是LLM Agent能够高效应对各种挑战的关键能力。 上述评测集已在AGI-Eval社区平台上线，可跳转链接（https://agi-eval.cn/evaluation/CapaBench）查看。 欢迎关注我们官方账号，获取更多专业前沿的资讯和评测内容~ 4、实验评估 在我们的实验中，我们设定Llama3-8B-Instruct为所有四个核心模块（规划、推理、行动和反思）的默认实现。 我们期待它在学术界和工业界的广泛应用，推动 LLM 代理技术迈向新的高度。
43310编辑于 2025-02-28- 来自专栏搜狗测试
软件品质评测系统-评测体系
2 ● 评测体系的内容 ● 评测体系可大可小，根据评测的内容而有所不同，一个完整的评测体系应包含： 评测对象 评测属性 评测场景 评测指标 在进行评测体系的设计之前，首先应明确评测对象是什么，可以大到一个系统 有了评测对象后，根据产品的需求或者应解决的问题，就可以确认哪些评测属性，比如准确度，覆盖度，再比如多样性，健壮性等。 评测属性再向下，确认好评测属性的应用场景及指标项，综合形成评测矩阵。 将以上结合，就是一个完整的评测体系。 ? 3 ● 评测体系的设计方法 ● 评测对象相对来说比较明确，接下来就是被测对象的特质进行评测属性的选择，以及确认好评测属性后进行评测矩阵的划分。 评测场景的选择 确认好了评测属性以后，接下来就是针对评测属性进行评测场景的覆盖及指标项的选择。评测场景一般是根据实际应用场景结合实现细节进行敲定。 评测矩阵 当评测属性，评测场景及评测指标一一敲定后，我们可以根据矩阵思想，将属性，场景及指标建立成一个二维矩阵，后续可以按照迭代的版本维护起来，全面的展示该评测对象需要重点评测的全部内容。
3.1K20发布于 2020-07-14 - 来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 模型DeployTensorRT-LLM量化结束，不需要deploy中间模型，直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译，直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖
1.1K30编辑于 2023-11-21 - 来自专栏搜狗测试
软件品质评测系统-评测结果展示
1 ● 为什么要进行数据展示 ● 在前几次的分享中，设计了好的评测体系、具备了数据挖掘分析能力、选择高效稳定的评测执行工具后，我们会拿到第一手的评测数据。 在我们之前的实践过程中，拿到原始评测数据后会通过观察数据给出一个评测结论。长此以往发现这样并不利于保存数据记录，并且没法反映出一段时间内评测指标的变化趋势。 2 ● 哪些数据需要展现 ● 评测结果展现 对于在评测设计时选定的评测指标，需要准确完整地展现在评测系统中。 我们据此设计了一个评测的结果报告，每次评测完成后会通过该报告给出评测结论： ? 即我们最终展示给用户的评测结论以及各类图标数据，都应当与原始的评测结论、数据保持一致，同时评测结果的展示要与最终上线后预期的结果或趋势保持一致，这样的评测结论才是可信的、有指导意义的。
2.8K20发布于 2020-08-11 - 来自专栏NewBeeNLP
LLM in Reranking——利用LLM进行重排
现有的涉及LLM的重排方法大致可以分为三类： 用重排任务微调LLM 使用prompt让LLM进行重排 以及利用LLM做训练数据的增强 本文中针对前两种方法介绍一些研究。 Method 使用TF-IDF相似度得到初步的候选文档集，再使用LLM进行重排。 LLM对召回的文档先进行打分，保留top K_1个文档，用超链接对这些文档进行扩展，再用LLM对扩展文档打分并挑选top K_2的文档，如此往复直到到达最大深度H。 一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。 另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
3.3K30编辑于 2023-10-25 - 来自专栏LuckQI
项目评测etherparty
●总得分：51.1/100分 想做的目标很好，但是产品特色和目前的团队配置可能还需要进一步的补强，未来也有必要根据后续的推动情况，作进一步的动态评测。
1.6K20发布于 2018-07-19 - 来自专栏PHP学习网
PHP技能评测
公司出了一些自我评测的PHP题目，其中好多题目在面试的时候都会碰到，大家可以看看学习学习。 1. 魔术函数有哪些,分别在什么时候调用?
1.4K30编辑于 2022-08-03 - 来自专栏LuckQI
icx项目评测
（注：在评测公链项目时，我把“使用区块链的必要性”调整为了“产品特色与创新”） ◆代币升值逻辑：16/40 这一点看的有点困惑，感觉icon项目代币升值逻辑的不确定性主要体现在两个方面： 一是每年增发与否取决于一个名叫
1.5K20发布于 2018-07-19 - 来自专栏数据结构与算法
2840 WIKIOI——评测
2840 WIKIOI——评测 时间限制: 1 s 空间限制: 2000 KB 题目等级 : 白银 Silver 题目描述 Description Wikioi上有一题有N个测试点，时限为
1.5K80发布于 2018-04-13 - 来自专栏k8s技术圈
LLM On Kubernetes
从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。
68710编辑于 2024-07-20 - 来自专栏时空探索之旅
WWW 2026 | LLM×Graph论文总结【LLM4Graph & Graph4LLM】
本文总结了2026 WWW上有关LLM Graph的相关论文，包含Research一个Track的论文（没有其它track），总计24篇，如有疏漏，欢迎补充。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图这种格式来增强LLM的能力。 LLM4Graph1. Disentangled Graph LLM for Molecule Graph Editing under Distribution Shifts4. ，RAG 推荐阅读 ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】 ICLR 2026 | Rebuttal前 图基础模型(GFM)&文本属性图(TAG)高分论文
13810编辑于 2026-03-10 - 来自专栏OpenMMLab
Hugging Face 大模型评测榜集合收录 OpenCompass！
OpenCompass LLM Leaderboard: https://huggingface.co/spaces/opencompass/opencompass-llm-leaderboard The 玩转 OpenCompass LLM Leaderboard 我们在 HuggingFace 的 Space 和 OpenCompass 官方网站均已同步上线面向大语言模型的 LLM Leaderboard LLM 性能榜单，全能选手还是单项冠军? 基于 OpenCompass LLM Leaderboard，我们可以通过查看不同的能力维度选项来分别查看综合榜单与专项榜单，同时我们也区分了中文数据集与英文数据集，方便面向中文语境进行模型评测和模型选型 ，解锁多模态能力评测 OpenCompass 团队在 LLM 评测的基础上，进一步研发了 MMBench。
3.3K10编辑于 2023-09-21 - 来自专栏搜狗测试
不可缺少的评测方案-主观性能感知评测！
“主观性能感知评测”。 该评测选取主要使用场景，由人工操作与竞品对比，根据执行人员的主观感受来评测应用的流畅度，下面来介绍一下如何制定主观性能评测方案。 APP选取 1. 制定评测标准 由于本评测为主观性能评测，不会有详细数据输出，因此就以是否卡顿制定标准，制定标准如下： 1. 流畅：无任何卡顿感觉，使用顺畅； 2. 一般流畅：没有明显的卡顿感觉，用户难以感知； 3. ，网络环境需要保持一致，最好不要切换网络，如果网络情况不佳，建议更换一个稳定的网络进行评测； 3．每次执行评测时，应用版本不能更换； 4．每次执行评测时，执行人员不能更换； 执行测试 根据测试方案执行表格中的 总结 主观性能感知评测，在评测中是不可缺少的，能直观的反映出应用与竞品在用户使用层面的差距。
1.6K10发布于 2020-06-04 - 来自专栏时空探索之旅
ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】
本文总结了2026 ICLR上有关LLM Graph的相关论文。总计29篇，如有疏漏，欢迎补充。 观察：LLM Graph统计值 最大均分 均值 最小均分 6 5.21 4 其中均分≥6的有4篇，其中。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图结构来增强LLM的能力。 LLM4Graph & TAG1. id=0RdAmwfVku 关键词：LLM reasoning, Knowledge Graphs, KG-enhanced LLM 作者：Wenxin Zhao, Jiachuan Wang, Yongqi id=34cANdsHKV 关键词：LLM Collaboration, Multi-Agent LLM 作者：Sukwon Yun, Jie Peng, Pingzhi Li, Wendong Fan
15110编辑于 2026-03-10 - 来自专栏个性化推荐评测
TTS系统评测方法介绍--WSRD AI评测实验室
AI评测实验室针对TTS前端、后端的存在的问题，选取TTS评测指标，制定各指标评测方法，形成了一套系统的TTS评测方案。 二、评测指标介绍 针对上文提到的前后端可能存在的问题，选择如下指标来评测TTS。 [lf3hxj32az.png] 三、评测方法介绍 本章详细介绍评测时重点关注的发音准确性评测和MOS评测。 评测方法 数字部分的评测方法与符号类似，为加快标注速度直接对前端归一化输出做判断，而不是对测试语料进行标注后再与前端输出结果做比较，形式如下： [lqd2s3xxui.jpg] 3.2 MOS评测 MOS 语料建设 前端的评测通过发音准确、韵律准确等来评测，MOS评测应该专注于整体自然度，因此准备测试语料的时候尽量避开了多音字、符号、数字语料，从各领域和TTS实际应用场景摘选常规文本作为测试语料。
18.4K115发布于 2018-07-02 - 来自专栏技术成长
如何评测图系统
可以使用工具来进行性能测试，例如使用Apache JMeter等工具模拟并发请求，测量系统的吞吐量和响应时间。
84961编辑于 2023-11-03 - 来自专栏移动应用测试
视频负反馈评测
视频评测 1、获取视频vid 评测的模型训练完成后，就可以用来评测线上的数据了。线上数据的获取，视频这边是从播放记录拿的数据。 2、获取视频评论 将评测的脚本放到公司的 Docker上，评测脚本每天定时执行。执行时从 mdb 获取 vid，然后脚本根据 vid 获取视频的评论。 3、开始评测 将一个视频的所有评论使用模型评测，如果评论结果为问题视频（根据负面视频的占比），还会将该 vid 对应的信息补全（视频标题，封面图等信息）方面后期运营同学处理评测结果。 结果处理 1、人工下线视频 模型评测出的视频，不会是 100% 的问题视频，总会有失误的情况。因此将评测出的视频放到了一个 mdb 的表里面，由运营同学再次人工审核下线，而不是直接下线。 3、模型结果和优化 当前的的评测模型每天能识别出 100 多个问题视频，经过人工确认的视频有 40-80 个，占比 70% 左右。运营同学手工确认的问题视频，后台也会收集用来优化模型。
1.5K60发布于 2018-07-17 - 来自专栏windealli
LLM Agent 简介
什么是LLM Agent导语GPT（尤其是GPT-4）等大语言模型（LLM）的推出，让人类认识到了大语言模型强大的文本生成能力。 只是用来做文本生成工具的话，LLM的能力就被严重低估了。 LLM Agent 概念定义关于LLM Agent， OpenAI 应用人工智能研究负责人Lilian Weng在其Blog中将LLM Agent定义为LLM、记忆（Memory）、任务规划（Planning 通过LLM和三个关键组件，LLM Agent可以拥有复杂的工作流程，其中模型基本上是与自身对话，而无需人工参与到交互的每个部分。 LLM Agent通过迭代运行并定义一些新的目标/任务，而非传统GPT那般接受单个查询的输入并返回输出LLM Agent 常见功能LLM Agent能够基于大语言模型进行对话、完成任务、推理，并可以展示一定程度的自主行为 LLM 与 三个组件LLM Agent 以 LLM 驱动，并需要三大组件辅助以完成工作（图片来自： https://lilianweng.github.io/posts/2023-06-23-agent
7K23编辑于 2024-01-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号