首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏自然语言处理

    【RAG提升技巧】查询改写HyDE

    HyDE来自于Precise Zero-Shot Dense Retrieval without Relevance Labels,这篇文章主要做zero-shot场景下的稠密检索,通过借助LLM的力量不需要 作者提出Hypothetical Document Embeddings (HyDE)方法,即“假设”文档嵌入。 具体的做法是通过GPT生成虚构的文档,并使用无监督检索器对其进行编码,并在其嵌入空间中进行搜索,从而不需要任何人工标注数据 模型结构如下图所示,HyDE将密集检索分解为两个任务,即 instruction-following paper:https://arxiv.org/pdf/2212.10496 code:https://github.com/texttron/hyde 原理以及实现 典型的密集信息检索过程包括以下步骤 : 将查询和文档转换为嵌入(向量) 计算查询和文档之间的余弦相似度 返回余弦相似度最高的文档 通过 HyDE,query embedding我做了一些改进。

    92810编辑于 2024-06-07
  • 来自专栏GEE遥感大数据学习社区

    【干货分享】HYDE:全球环境历史数据库

    数据地址:https://dataportaal.pbl.nl/downloads/HYDE/ HYDE目前有五个版本,每一个版本都有相应的介绍,我这里借助谷歌翻译,贴出来,数据下载各位可去该网站上获取 本文介绍了全球环境历史数据库 (HYDE, v 3.2.000) 的更新和扩展。HYDE 是更新的历史人口估计和增强的分配算法与时间相关的土地利用加权图的内部一致组合。 HYDE 3.1 Klein Goldewijk K, Beusen A, & Janssen P. (2010). HYDE 3.0 Klein Goldewijk K, van Drecht G. (2006). HYDE 3: Current and historical population and land cover.

    3.7K30编辑于 2022-09-20
  • 来自专栏自然语言处理

    【RAG论文】HyDE:Precise Zero-Shot Dense Retrieval without Relevance Labels

    paper:https://arxiv.org/pdf/2212.10496 code:https://github.com/texttron/hyde 这篇文章主要做zero-shot场景下的稠密检索 作者提出Hypothetical Document Embeddings (HyDE)方法,即“假设”文档嵌入。 模型结构如下图所示,HyDE将密集检索分解为两个任务,即 instruction-following的LM生成任务和对比编码器执行的文档相似性任务。 实现 https://github.com/gomate-community/GoMate/blob/main/gomate/modules/rewriter/hyde_rewriter.py import

    36610编辑于 2024-11-23
  • 来自专栏DeepHub IMBA

    LlamaIndex检索调优实战:分块、HyDE、压缩等8个提效方法快速改善答案质量

    分块策略、混合检索、重排序、HyDE、上下文压缩、元数据过滤、自适应k值——八个实用技巧快速改善检索质量 RAG系统答不准问题,本质上是检索精度的问题。 5) 查询重写:HyDE和多query生成 用户的问题经常描述不清楚。 HyDE (Hypothetical Document Embeddings) 的思路是让LLM先生成一个理想答案,然后用这个假设答案去embedding和检索,能减少query本身表达不清造成的召回偏差 engine = RetrieverQueryEngine.from_args( retriever=base_retriever, query_transform=[hyde 后面再根据实际问题针对性地补充HyDE/multi-query(解决query不清晰)、metadata filter(限定范围)、compression(降噪)、adaptive k(提升置信度)。

    20110编辑于 2025-11-15
  • 来自专栏极客中心

    github的jekyll是什么意思

    and Hyde"一词成为 心理学「双重人格」的代名词。 一面是Jekyll,一面是Hyde,作者的命名用心良苦。接下来,我们从4个方面给出Jekyll与小说Jekyll and Hyde之间关联的证据。 剑桥免费英语词典 image.png 这里Jekyll也指向到了Jekyll and Hyde. Hyde中的好人博士。 朗文在线词典 image.png OK,以上词典基本上都说明 Jekyll 很多时候指的就是 Jekyll and Hyde 中的前者(好人博士)。 and Hyde中的好人博士/恶魔 分别对应。

    2.7K10发布于 2021-01-21
  • 来自专栏IT大咖说

    使用 Llama3 和 Ollama 改进了 RAG

    HyDE 是什么? HyDE(即假设文档嵌入)源自Gau 等人在 2022 年论文中提出的创新工作。标题为“无需相关标签的精确零射击密集检索”。 所提出的解决方案 HyDE 通过两步方法运行。 在初始步骤(称为“步骤 1”)中,语言模型(具体以 GPT-3 为例)通过指令提示引导,根据原始查询生成假设文档。 值得注意的是,HyDE 超越了现有的无监督密集检索器(例如 Contriever)的性能。此外,它在不同任务和语言中表现出与微调检索器相当的性能。 , hyde) logger.info("retrieving the response to the query") response = hyde_query_engine.query( HyDE 查询转换是为了增强查询处理而设置的。最后,执行查询以检索有关论文实验中提到的数据集的信息,并打印响应。

    1.5K10编辑于 2024-04-24
  • 来自专栏开源技术小栈

    PHP 强大的静态网站生成器 HydePHP

    • 内容脚手架:通过 hyde:make 命令快速生成博客文章、Markdown 页面或 Blade 页面,自动填充 Front Matter 或默认布局。 2. 安装 通过 Composer 创建一个新的 HydePHP 项目: composer create-project hyde/hyde 2. 你也可以使用以下命令快速生成内容: php hyde make:post php hyde make:page 3. 构建站点 完成内容创作后,运行以下命令生成静态 HTML 文件,输出到 _site 目录: php hyde build 生成的静态文件可以直接部署到任何支持静态内容的服务器,如 GitHub Pages

    32610编辑于 2025-10-20
  • 来自专栏DeepHub IMBA

    GraphRAG进阶:基于Neo4j与LlamaIndex的DRIFT搜索实现详解

    上图为使用 LlamaIndex 工作流和 Neo4j 实现的 DRIFT 搜索,核心流程分一下几步: 首先是HyDE生成,基于一份样例社区报告构造假设性答案,用来改善查询的向量表示。 群搜索 DRIFT用了HyDE技术来提升向量检索的准确率。不是直接拿用户query做embedding,而是先让模型生成一个假设性的答案,再用这个答案去做相似性搜索。 report to use as a template for HyDE generation random_community_report = driver.execute_query CommunitySearch(query=ev.query, hyde_query=hyde_response.output_text) 拿到HyDE query之后,做embedding,然后通过向量相似度捞出 query embedding_response = await client.embeddings.create( input=ev.hyde_query, model

    20910编辑于 2025-12-24
  • 来自专栏苏生不惑

    5 分钟使用 hugo 搭建一个自己的博客

    编写正文 使用md语法编辑文件 hugo new hello.md vi hello.md 下载主题 cd themes git clone https://github.com/spf13/hyde.git 运行Hugo hugo server --theme=hyde --buildDrafts Building sites … | EN +------------ hugo --theme=hyde --baseUrl="http://xxx.github.io/" 这样静态页面都会生成到 public 目录,将pubilc目录里所有文件 push 到刚创建的Repo

    1.7K10发布于 2019-08-14
  • 来自专栏刘悦的技术博客

    利用基于Go Lang的Hugo配合nginx来打造属于自己的纯静态博客系统

    hugo的站点的相关配置,可以进行一些个性化的定制,改为下面这样: baseURL = "/" languageCode = "en-us" title = "我的博客" #指定主题 theme = "hyde " [params] #博客简介 description = "这里是刘悦的个人博客" #博客主题颜色 themeColor = "theme-base-08" 可以看到我们制定了一个主题hyde 更多的主题可以在这个上面下载,都是免费而开源的:https://themes.gohugo.io/ 进入到站点内的themes目录,输入命令下载hyde主题,hugo有很多漂亮的主题可以选择 git clone https://github.com/spf13/hyde.git 结构和样式有了,我们还没有内容。

    95720编辑于 2022-08-08
  • 来自专栏博文视点Broadview

    如何写出卓越代码?

    我们来细品一下作者Randall Hyde采纳的定义: 卓越代码是按照一套一致的优秀软件特征编写出来的,首要考虑的是优秀软件特征。 而我却透过书名,隐隐捕捉到Randall Hyde的一个观点——没有深谙计算机底层原理,不可能写出卓越的代码。——这也正是《编程卓越之道》(卷1)的核心思想:深入理解计算机。 作为一名汇编语言高手,Randall Hyde极为推崇汇编语言对程序员的助力。他在本书后记中建议:“有一种强迫自己在机器层次编写代码的方法就是使用汇编语言。” 真的非常钦佩Randall Hyde多年如一日孜孜于《编程卓越之道》系列的写作,使之成为计算机图书中不朽的经典。 而作者并不满足已经取得的成就,推陈出新,出版了本书的第2版。

    57510编辑于 2023-05-19
  • 来自专栏CoderJia的工作笔记

    RAG_Techniques:深入解析GitHub热门RAG技术宝库

    使开发者能够根据需求快速定位: 基础技术(Foundational) - 包括基本 RAG、CSV 文件集成的 RAG、可靠 RAG 等入门级实现 查询增强(Query Enhancement) - 如 HyDE HyDE 代码示例: class HyDERetriever: def __init__(self, files_path, chunk_size=500, chunk_overlap=100) encode_pdf(files_path, chunk_size=self.chunk_size, chunk_overlap=self.chunk_overlap) self.hyde_prompt """, ) self.hyde_chain = self.hyde_prompt | self.llm def generate_hypothetical_document query): input_variables = {"query": query, "chunk_size": self.chunk_size} return self.hyde_chain.invoke

    1K21编辑于 2025-05-07
  • 来自专栏AI智能体从入门到实践

    构建AI智能体:RAG的高效召回方法论:提升RAG系统召回率的三大策略实践

    假设性文档嵌入(HyDE):这是非常强大且具有创新性的一种策略。 ") return hyde_text # 5. """ # 生成HyDE查询 hyde_query = generate_hyde_query(user_query) # 将HyDE查询编码为向量 query_vector = 主流程:完整的RAG with HyDEdef rag_with_hyde(user_query: str): # 第一步:通过HyDE检索相关文档 retrieved_docs = retrieve_with_hyde 通过函数generate_hyde_query执行HyDE生成 :函数调用Qwen模型,根据用户原始问题生成一段“假设答案”。 原始查询: 牛顿第一定律是什么?

    1.4K11编辑于 2025-11-16
  • 来自专栏斑斓

    《编程卓越之道》推荐序

    细品作者Randall Hyde采纳的定义: 卓越代码是按照一套一致的优秀软件特征编写出来的,首要考虑的是优秀软件特征。 而我却透过书名,隐隐捕捉到Randall Hyde的一个观点——没有深谙计算机底层原理,不可能写出卓越的代码。——这也正是本书卷1的核心思想:understanding the machine。 作为一名汇编语言高手,Randall Hyde极为推崇汇编语言对程序员的助力。他在本书后记中建议:“有一种强迫自己在机器层次编写代码的方法就是使用汇编语言。” 真的非常钦佩Randall Hyde多年如一日孜孜于《编程卓越之道》系列的写作,使之成为计算机图书中不朽的经典。而作者并不满足已经取得的成就,推陈出新,出版了本书的第二版。

    80020编辑于 2023-03-23
  • 【RAG新范式】超越向量搜索:企业级知识库构建必知的3大RAG高级策略

    +表格+图像⭐⭐⭐⭐安全合规通用行业强监管⭐⭐⭐⭐⭐注:企业场景对实时性、准确性和合规性的要求远超通用场景,这迫使RAG架构必须升级三、核心策略一:查询改写增强技术3.1多提示改写引擎我们在项目中采用HyDE fromllama_index.coreimportHyDEQueryTransformfromlangchain.retrieversimportContextualCompressionRetriever#1.HyDE 生成假设答案hyde_transform=HyDEQueryTransform(llm=llm,embed_model=embed_model)hyde_query=hyde_transform(original_query expanded_terms=query_expander.expand(original_query,domain_terms=["理赔","保险条款","售后流程"])#3.混合检索final_query=f"{hyde_query

    23010编辑于 2026-02-06
  • 来自专栏开源技术小栈

    HydePHP v2.0.0 发布!

    一般影响:帖子作者系统优化,支持用户名键、传记、头像和社会链接,通过 Hyde::authors() 访问。 中等影响:Asset API 返回 MediaFile 实例,方法重命名(如 Hyde::asset());Routes 门面 API 调整;DataCollection API 重命名并添加验证。

    19410编辑于 2025-10-20
  • 来自专栏landv

    [golang][hugo]使用Hugo搭建静态站点

    git clone https://github.com/coderzh/hugo-pacman-theme #这个皮肤也不错 git clone https://github.com/spf13/hyde.git log输出路径; -t, --theme="" 指定主题; -v, --verbose[=false]: 输出详细信息 常用参数组合 hugo server -t hyde abc.red --bind=0.0.0.0 --port=80 -w hugo server --baseUrl=lv.abc.red --bind="0.0.0.0" --port=80 -t hyde 使用hyde主题,如果使用-t 选择了主题会将当前默认的主题覆盖; --buildDrafts参数将生成被标记为草稿的页面,是否发布:hugo 会忽略所有通过 draft: true /public/* /var/www/html/ Service httpd start  发布到github 生成文件的github发布目录命令 sudo hugo server --theme=hyde

    1.8K40发布于 2019-11-30
  • 来自专栏用户1435446的专栏

    【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下

    我选择的主题是hyde-hyde,属实比较复古啦。

    1.3K60发布于 2021-11-17
  • 来自专栏博文视点Broadview

    用过那么多评估开发工作量的指标,还是它最好用!

    Randall Hyde 的《编程卓越之道(卷3):软件工程化》,凝聚了作者多年的软件工程实践经验和深刻认知,可以给你系统的指导,帮助你找到属于自己的最佳实践,应对此起彼伏的问题。 在过去的40年里,Hyde一直从事嵌入式软件/硬件工程师的工作,为核反应堆、交通控制系统和其他电子设备开发相关指令集。他还在加州理工大学波莫纳分校和加州大学河滨分校教授计算机科学课程。 精彩书评 这本来自拥有行业 40 多年经验的大咖 Randall Hyde 的书是一本非常优秀的软件工程领域著作,既有坚实的理论基础,也有作者丰富经验的思考总结,还给出了很多具有参考价值的工程设计、文档实例 让我们一起来看看 Randall Hyde 这个“老江湖”是怎么想、怎么做的。 最近我有幸阅读了《编程卓越之道(卷 3):软件工程化》,作者 Randall Hyde 在书中对这些问题进行了深入的探讨。

    91931编辑于 2022-10-09
  • 来自专栏AI研思录

    查询分解是提高LLM检索效率的关键,别只依赖简单改写!

    HYDEHYDE 使用零样本提示与语言模型生成一个捕捉相关模式的假设文档,即使其中可能包含“幻觉”。然后,一个无监督对比编码器将该文档编码为嵌入向量,以识别语料库嵌入空间中的邻域。 通过基于向量相似性检索类似的实际文档,HYDE 将生成的内容锚定到实际语料库,编码器的密集瓶颈过滤掉不准确的内容。

    27610编辑于 2025-02-20
领券