分享10篇优秀论文，涉及LLM对齐、LLM评估、LLM隐私、RAG增强等热门话题！

今天继续给大家分享10篇最新论文，其中涉及大模型幻觉、大模型对齐、大模型剪枝、大模型隐私、大模型毒性、大模型评估、RAG能力增强、Transformer架构优化等热门研究方向。 SELF-RAG 是一个新框架，通过按需检索和自反思来提高LLM的质量和真实性。它使用反射Token进行自评估，在各种任务中显着优于传统的LLM。该框架涉及两个组件：生成器和批评家模型。 在六项任务的评估结果中表明，SELF-RAG 优于经过预训练和指令调整的 LLM，包括那些具有更多参数的 LLM。 LLM评估 https://arxiv.org/pdf/2310.14424.pdf 本文解决了通过人工标注有效评估大型语言模型 (LLM) 的问题。 本文优先考虑能够有效区分模型的Prompt来减少所需的人工标注，通过使用 KL 散度和交叉熵等指标来确定提示的优先级，从而提高大型语言模型 (LLM) 的人类评估效率。

BLOOM评估系统：自动化LLM行为评估框架

BLOOM评估系统：自动化LLM行为评估框架项目概述BLOOM（Bloom Rollout Pipeline）是一个开源的大语言模型行为评估系统，专门用于自动化测试和评估LLM的特定行为模式。 与其他固定评估方法不同，BLOOM根据种子配置的不同而"生长"出不同的评估套件，确保评估的多样性和针对性。所有BLOOM评估都应与其完整的种子配置一起引用以确保可重复性。 功能特性核心功能可配置行为评估：通过YAML配置文件定义目标行为和评估参数多模型支持：支持Anthropic Claude系列、OpenAI GPT系列、Google Gemini、DeepSeek等多种主流 LLM多模态交互：支持对话模式和模拟环境模式两种评估方式四阶段评估流程：理解→构思→执行→判断的完整评估流程异步并发执行：支持并行运行多个评估场景提高效率技术特性模块化架构：各评估阶段独立为可替换模块可扩展模型支持 ：通过LiteLLM统一接口支持多个模型提供商详细日志记录：完整的评估过程记录和结果保存调试模式：支持详细调试输出便于问题排查独特价值种子驱动评估：评估套件根据配置动态生成，避免模式固定科学严谨：提供科学动机分析和行为理解步骤灵活适配

使用自定义LLM：RAGAs评估

当我们完成了一个RAG系统的开发工作以后，我们还需要对RAG系统的性能进行评估，如何评估呢？ 回答1：中国成立于1949年10月1日(可信度 高)回答2：中国成立于1949年10月3日(可信度 低) 回答错误，可信度直接降为0.1.2 答案相关性答案相关性(Answer relevancy)：评估生成的答案 年10月1日，是工人阶级领导的的社会主义国家"], "reference":["中国成立于1949年10月1日","中国成立于1949年10月1日","中国成立于1949年10月1日"]}df = = zhipu_llmcontext_precision.llm = zhipu_llm# 重新一键式测评result = evaluate( evalsets, metrics=[ RAG效果评估：Ragas使用自定义LLM

使用Nova LLM评估生成式AI模型

使用Nova LLM评估生成式AI模型评估大型语言模型（LLM）的性能不仅仅局限于困惑度或双语评估替补（BLEU）分数等统计指标。 为了弥补这一差距，LLM-as-a-judge已成为一种有前景的方法，它利用LLM的推理能力来更灵活、大规模地评估其他模型。 重要的是，一项内部偏见研究评估了超过10,000个人类偏好判断与75个第三方模型的对比，确认某中心Nova LLM-as-a-Judge仅显示相对于人类标注的3%总体偏见。 理解Nova LLM-as-a-Judge工作原理某中心Nova LLM-as-a-Judge使用称为二元总体偏好评判的评估方法。 启动评估作业准备完数据集并创建评估配方后，最后一步是启动执行某中心Nova LLM-as-a-Judge评估的SageMaker训练作业。

【LangChain系列】第九节：LLM 应用评估

随着这种复杂性的增加，评估这些基于LLM的应用程序的性能和准确性也变得更具挑战性。在这篇博客文章中，我们将深入探讨LLM应用评估的世界，探讨可以帮助您评估和改进模型性能的框架和工具。 chain_type_kwargs={"document_separator": "<<<<>>>>>"},)二、构建测试数据在我们评估LLM应用程序之前，我们需要一组可靠的测试数据。 examples.extend([inst["qa_pairs"] for inst in new_examples])三、手动评估和调试有了测试数据，现在是时候评估你的LLM应用程序的性能了。 ,# 'result': 'Yes, the Cozy Comfort Pullover Set does have side pockets.'}四、LLM辅助评估虽然手动评估很有价值，但随着示例数量的增加 这就是LLM辅助评估发挥作用的地方。1.获取示例的预测第一步是通过LLM应用程序运行您的示例并收集预测。

一文搞懂使用 Arthur Bench 进行 LLM 评估

LLM 在处理特定任务时可能会展现出与预训练模型不同的行为和性能，因此仅仅依赖基于预训练模型的评估方法可能无法全面评估 LLM 的能力。 — 02 — 为什么需要 LLM 指导评估？ 相比于以前的评估管道所需的工作量，创建 LLM 指导评估的首次实施相对较快且容易。对于 LLM 指导的评估，我们只需要准备两件事情：用文字描述评估标准，并提供一些在提示模板中使用的示例。 然而，这种敏感性也可能导致 LLM 的评估结果变得非常不可预测。 正如我们之前讨论的那样，与其他评估方法相比，LLM 评估者更加敏感。 同时，另一个挑战在于，如果评估涉及太多的推理步骤或需要同时处理太多的变量，LLM 评估者可能会陷入困境。 由于 LLM 的特性，其评估结果可能会受到不同配置和参数设置的影响。 2、评估提示：Arthur Bench 可以用于评估不同提示对 LLM 性能的影响。提示是用于指导 LLM 生成文本的指令。

评估LLM标注可靠性：人口偏见与模型解释

进一步评估生成式AI（GenAI）模型作为标注工具的可靠性，发现简单的人口角色提示往往无法提升甚至可能降低其与人类判断的一致性。 生成式AI标注评估： 为GenAI模型添加人口角色提示（如"以年轻女性视角标注"）未显著提升标注质量，部分场景下性能反而下降。 基线模型（无角色提示）在多数任务中表现更稳定。

09_LLM评估方法：如何判断模型性能的好坏

本文将带你深入了解LLM评估的核心概念、最新方法和实践案例，帮助你全面把握如何科学评估LLM的性能。 本文要点 要点 描述 互动思考 评估基础 评估的重要性与基本原则 你认为评估一个LLM最重要的维度是什么？ 评估框架 2025年主流评估框架介绍 你是否了解或使用过某些LLM评估框架？ ├── 第七章：评估的挑战与对策 ├── 第八章：2025年评估发展趋势 └── 结论：构建全面的LLM评估体系 第一章：LLM评估的基础概念 1.1 什么是LLM评估？ = dp[i-1] + dp[i-2] return dp[n] """ # 生成测试用例 test_cases = [ (1, 0), (2, 1), (10 互动与思考 你在评估LLM时遇到过哪些挑战？是如何解决的？ 你认为当前LLM评估方法中最大的不足是什么？ 对于一个新的LLM应用，你会如何设计评估方案？ 你如何看待人类评估与自动化评估的关系？

多智能体评估框架MAJ-EVAL：实现LLM自动评估与人类多维度评价对齐

由于真实人类评估资源稀缺且成本高昂，新兴的"LLM-as-a-judge"范式为利用LLM智能体模拟人类评估者提供了可行方案。 为此，我们提出MAJ-EVAL多智能体评估框架，能够自动从相关文档（如研究论文）构建具有不同维度的评估者角色，实例化LLM智能体，并通过群体辩论生成多维反馈。 在教育与医疗领域的评估实验表明，相比传统自动化评估指标和现有LLM-as-a-judge方法，MAJ-EVAL生成的评估结果与人类专家评分具有更高一致性。 方法架构角色自动构建：从领域文档提取关键维度，生成具有差异化评估视角的智能体角色描述多智能体实例化：基于角色描述配置LLM智能体的系统提示和行为参数群体辩论机制：采用结构化辩论流程使智能体交换论据，最终形成多维评估报告动态权重调整 Kappa一致性系数提升37%效率对比：较传统人类评估流程节省89%时间成本，较单智能体方法提升评估维度覆盖率2.4倍技术贡献提出首个可自动构建评估维度的多智能体评估框架设计基于文档分析的动态角色生成算法实现评估结果与人类多维度标准的高效对齐开源框架支持快速适配新领域任务

Anthropic 开源 Bloom：基于 LLM 的自动化行为评估框架

这个框架跟常规的评估基准不太一样。传统基准都是固定的测试集而 Bloom 会根据你的配置“长”出不同的评估内容，这也是为什么叫这么个植物学的名字。 工作流程：四个阶段搞定评估 Bloom 的整个流程分四步：从你提供的"种子"配置开始，最后生成完整的行为评估报告。配置文件里可以设置全局参数、每个 agent 用什么模型、推理时给多少算力这些。 print(f"\nBehavior Score: {transcript.get('behavior_score', 'N/A')}/10") print(f"Reasoning: {transcript.get 另外还在 10 个model organism quirks上做了测试，有 9 个案例能把故意做了不对齐的模型和正常基线区分开。 判断模型给出的评分跟人类标注的 Spearman 相关系数最高到了 0.86，说明自动评估的可靠性还行。 这套框架把行为评估自动化了，从定义行为到生成测试用例、执行评估、给出判断，全程不需要人工介入。

250个LLM 评估基准大盘点！从推理到多模态，一文看懂LLM考试大纲

编程评估没标准？上线才发现安全不达标？核心痛点在于：缺乏系统化的评估标准。 今天，给大家分享一个宝藏资源：250个LLM评估基准与数据集，覆盖推理、编程、对话、Agent工具调用等多个维度，支持标签化分类筛选，帮你快速摸清模型底细，拒绝盲目选型。 多模态类：针对全能型LLM设计，测试模型处理图像、视频、音频、结构化数据等多种信息类型的能力。比如让模型根据图片内容生成描述，或结合音频和文本做总结，都可以通过这类基准来评估。 如果你想了解行业最新的评估方法，或者测试最新发布的模型，直接筛选New标签就能精准定位。现在LLM技术更新太快了，想精准评估模型性能、选对适配业务的工具，需要一套完整的数据集。 这个包含250个基准测试的数据集，相当于给大家提供了一套LLM能力体检手册，不管是选模型、做研究，还是优化现有系统，都能帮你找到精准的评估依据。

python 多线程 性能评估(并行编程 10)

starting tests non_threaded (1 iters) 0.000001 seconds threaded (1 threads) 0.000139 seconds Iterations complete non_threaded (2 iters) 0.000001 seconds threaded (2 threads) 0.000289 seconds Iterations complete non_threaded (4 iters) 0.000002 seconds threaded (4 threads) 0.000577 seconds Iterations complete non_threaded (8 iters) 0.000003 seconds threaded (8 threads) 0.001275 seconds Iterations complete ##################### from threading import Thread

2023版漏洞评估工具Top10

前言 对于发现资产中已知漏洞、配置不当等问题的工具，大家习惯性称之为“漏洞扫描”工具，但随着技术演进，很多工具越来越智能，逐渐具备分析总结能力，因此将它们称为“漏洞评估”工具似乎更准确。 大多数漏洞评估工具都能覆盖常规漏洞，例如OWASP Top10，但一般都各有所长。常见的区分维度包括部署灵活性、扫描速度、扫描准确度以及与流程管理、代码开发等平台的整合性。 另外，针对容器方向的漏洞评估工具，尽管有一些新工具出现，如Anchore,Clair, Dagda，Trivy，但大量用户反映这些工具存在功能不全、整合性差等问题，因此考虑到易用性，本文仅推荐OSV-Scanner OpenVAS （终端和网络） 传送门 https://www.openvas.org/ Nessus是Tenable发布的一款全球领先的漏洞评估产品。 而OpenVAS是Nessus的一个开源分支，功能丰富，漏洞来源广泛，可对传统端点和网络进行大规模的漏洞评估。

LLM推理后端性能大比拼，来自BentoML团队的深度评估！

Token Generation Rate：token 生成率，评估模型在 decoding 阶段每秒生成的 token 数量，以 token 每秒为单位。 我们在 BentoCloud 上使用 A100 80GB GPU 实例（ gpu.a100.1x80 ）对 Llama 3 8B 和 70B 4-bit 量化模型进行了基准测试，涵盖了三种不同的推理负载（10 在 10 名用户的情况下实现了同类最佳的 TTFT。尽管随着用户数量的增加，TTFT 会逐渐增加，但始终保持在较低水平且在可接受的范围内。 基准测试客户端 为了准确评估不同 LLM 后端的性能，我们创建了一个自定义基准测试脚本。该脚本通过改变用户负载并在不同并发级别下发送生成请求来模拟真实场景。 我们测试了 10、50 和 100 个并发用户，以评估系统在不同负载下的表现。 每次压力测试都持续了5分钟，在此期间，我们每5秒收集一次推理指标。

大模型(LLM) 的长上下文与 RAG：评估与回顾

10个YashanDB数据库性能评估标准

本文将围绕YashanDB的核心架构和技术，系统地阐释其数据库性能评估的关键标准。目标读者为数据库架构师、系统管理员及专业技术人员，旨在通过技术性指标的解读，助力性能诊断和优化。1. 10. 网络通信与资源协调YashanDB的内部通信依赖高性能的内部互联总线（IN），分别对应分布式（DIN）和共享集群（CIN）通信场景。

每日论文速递 | DeepMind提出SAFE，用LLM Agent作为事实评估器

深度学习自然语言处理 分享 整理：pp 摘要：大语言模型（LLM）在回答开放式话题的事实搜索提示时，经常会生成包含事实错误的内容。 然后，我们提出可以通过一种我们称之为 "搜索增强事实性评估器"（Search-Augmented Factuality Evaluator，SAFE）的方法，将 LLM 代理用作长式事实性的自动评估器。 SAFE 利用 LLM 将长式回复分解为一组单独的事实，并通过一个多步骤推理过程来评估每个事实的准确性，该过程包括向谷歌搜索发送搜索查询，并确定搜索结果是否支持某个事实。 根据经验，我们证明了 LLM 代理可以实现超人的评级性能--在一组约 16k 的单个事实上，SAFE 与众包人类注释者的一致率为 72%，而在 100 个分歧案例的随机子集上，SAFE 的胜率为 76% SAFE评估方法：提出了一种名为SAFE的自动评估方法，该方法利用LLM将长篇幅回应分解为单个事实，并通过Google Search查询来评估每个事实的准确性。

LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解

LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解 0.前言 大语言模型（LLM）评测是LLM开发和应用中的关键环节。 GPT-4、Claude、Expert Models/Reward models） LLM Peer-examination 如何评估一个LLM 哪些维度？ 很难胜任更多场景、更强模型的评测工作 泛化性问题 LLM幻觉的诊断问题 3.LLM评估实战 LLMuses框架–轻量化、端到端的大模型自动评估框架 GitHub: https://github.com 评估报告生成与可视化 LLM性能评测（Performance Evaluation） 环境安装 # 1. arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10 4.4 使用run_task函数提交评估任务 配置任务 import

【Rust日报】2023-10-08 Orca 简介：LLM 编排框架！

https://crates.io/crates/tdyne-peer-id-registry Orca 简介：LLM 编排框架！ Github 链接： https: //github.com/scrippt-tech/orca 我决定启动这个项目是因为当我在之前的项目中使用 Rust 时，我缺乏一个干净的界面来与 LLM 交互。

TensorRT LLM vs OpenPPL LLM

支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 模型DeployTensorRT-LLM量化结束，不需要deploy中间模型，直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译，直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖