- 综合排序
- 最热优先
- 最新优先
- 来自专栏GLM 技术文章
BPO：灵活的 Prompt 对齐优化技术
一种方案是，人向模型对齐。于是有了 「Prompt工程师」这一岗位，专门撰写适配 LLM 的 Prompt，从而让模型能够更好地生成内容。而另一种更为有效的方案则是，让模型向人对齐。 这也是大模型研究中非常重要的问题，无论是 GPT 还是 Claude，在对齐技术上花费大量的时间与精力。但，随着模型规模变大，基于训练的对齐技术也需要耗费更大量的资源。 因此，我们提出另外的一种方案，即黑盒提示对齐优化技术（Black-box Prompt Optimization），通过优化用户指令，从输入角度对模型进行对齐。 三、研究者说问：BPO 和反馈学习方法（PPO、DPO）以及 Prompt Engineering方法（如OPRO）的区别是什么？ 与 OPRO 对比，BPO 最大的特点在于更加通用，OPRO 等现有的 Prompt Engineering 技术大多需要针对特定的数据进行搜索，并且会搜索得到一个针对特定任务的提示。
66810编辑于 2023-12-22 - 来自专栏AIGC新知
国内做AI应用，没做好prompt安全防护和对齐？凉凉
上一篇浅浅地写了关于提示词技术的概述，主要从文本提示词展开来说，LLMs主要靠优质的prompt得到期望的输出，随着多模态大模型的发展，多模态提示词也逐渐出现，当然仅仅靠提示词无法达到预期的输出效果，还得靠外部资源 我们现在着重提出提示词的安全性和对齐性相关问题。 提示攻击 SUMMER 提示黑客攻击，即使用提示词来利用 LLMs 的方法。 对齐/一致性 SUMMER 确保语言模型（LLMs）在使用过程中与用户在特定任务上的需求保持高度一致性是实现其有效部署的关键。
32110编辑于 2024-10-08 - 来自专栏小七的各种胡思乱想
解密Prompt7. 偏好对齐RLHF-OpenAI·DeepMind·Anthropic对比分析
面向以上1个或多个原则，RLHF只是其中一种对齐方案，把模型输出和人类偏好进行对齐。 RL初始模型的训练细节在附录C.3和E.8，基于GPT3的预训练模型，SFT微调2个epoch并混入10%的预训练数据进行训练得到。 这里DeepMind使用如下Hard Prompt Tunning来构建模型，其实就是引入一些前置语义信息，让模型在小样本上表现更好。更多细节>>解密Prompt系列2. 冻结Prompt微调LM图片整体打分整体打分=偏好打分+所有规则的未违反概率之和+长度惩罚(保证回答简洁)+is_valid(模板检查)。 偏好对齐使用RL和SFT的差异？
3.1K01编辑于 2023-05-21 - 来自专栏小七的各种胡思乱想
解密prompt系列27. LLM对齐经验之如何降低通用能力损失
只不过prompt tunning的prompt使用的是虚拟Token。想更多了解Prompt Tuning的童鞋看这里解密Prompt系列3. 冻结LM微调Prompt: Prefix-tuning & Prompt-tuning & P-tuning第二阶段Fine-tuning默认在输入层Embedding前拼接Prompt Embedding 论文测试后也发现Lora的效果并不好能否把两个阶段合二为一，既加上一个虚拟Prompt，同时微调模型和prompt，论文测试后发现效果和SFT相差不多，都会有过拟合。 毕竟这种微调方式无法引导模型把格式学到Prompt Embedding上。 这一点我们在前文讨论过详见LLM对齐经验之数据越少越好？2.
1.3K20编辑于 2024-04-10 - 来自专栏小七的各种胡思乱想
解密Prompt系列16.LLM对齐经验之数据越少越好？LTD & LIMA & AlpaGasus
LLM Agent中间插个队，总结下指令微调、对齐数据相关的方案，已经凑够7篇论文可以召唤神龙啦！ Data-Centric的观点比较一致：指令微调也就是对齐阶段的数据质量>>数量，少量+多样+高质量的对齐数据，就能让你快速拥有效果杠杠的模型。 如果你对指令微调还不甚了解，建议先看看下解密Prompt系列4. 升级Instruction Tuning。 当前对指令微调SFT的认知有几种 抽象派：把模型输出和人类偏好进行对齐 务实派：赋予模型任务指令的理解和完成能力 两个思路其实殊途同归，重心落在任务+对齐，既基于用户指令应该召回模型预训练学习的哪些知识 除了使用已有的QA数据，几位作者还人工构建了200条基于个人偏好随机创建的prompt，以及编写的回答，在回答编写过程中核心是注意回答风格的一致性。重要的事情说三遍，一致性，一致性，一致性。
1.6K90编辑于 2023-10-05 - 来自专栏小七的各种胡思乱想
解密Prompt系列17. LLM对齐方案再升级 WizardLM & BackTranslation & SELF-ALIGN
SFT训练和常规略有不同，采用了反向对齐，也就是给定Output生成Instruction(P(X|Y))的条件生成任务。 ，在SFT阶段就让模型进行偏好对齐。 对抗样本我们在解密Prompt7. 偏好对齐RLHF章节针对Anthropic如何设计对抗样本进行了很详细的介绍，这里不再展开。 2 (informative), 3 (helpful), 4 (question assessment), 5 (reasoning), 6 (multi-aspect), 7 (candor), 8 这个问题要是有想法欢迎评论区留言~ 为了解决以上问题，论文使用第一步对齐微调后，已经内化3H原则的模型，使用以下的Prompt指令引导模型重新对以上的260K指令进行回答生成，引导模型给出更丰富，跟全面的回答
1.8K111编辑于 2023-10-26 - 来自专栏CSDN博客专家-小蓝枣的博客
PyQt5 技术篇-设置alignment对齐方式。Qt Designer设置文本对齐方式。居中、左对齐、右对齐、上对齐、下对齐。
通过alignment设置，展开后可以设置水平方向或垂直方向的对齐方式。 PyQt5设置文本对齐方法： self.label.setAlignment(QtCore.Qt.AlignRight|QtCore.Qt.AlignVCenter) 两个参数一个是横向靠右，一个是纵向居中 Qt Designer设置文本对齐方法： 如图，水平默认的左对齐我改为了右对齐。 ?
10.8K30发布于 2020-09-23 - 来自专栏韩曙亮的移动开发专栏
【CSS】vertical-align 垂直对齐 ( 块级元素对齐 | 行内元素 行内块元素对齐 | 基线对齐 | 垂直居中 | 顶部对齐 | 底部对齐 )
可以设置四种对齐 : baseline 基线 / top 顶线 / middle 中线 / bottom 底线 ; 基线对齐 : 图片底部位置 与 文字基线 对齐 ; 这是默认的对齐方式 , 如果是 : 图片顶部 与 文字顶线 对齐 ; vertical-align: top; 底部对齐 : 图片底部 与 文字底线 对齐 ; vertical-align: bottom; 二、vertical-align DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-<em>8</em>"> <title>vertical-align 垂直对齐示例</title> ; } .three { /* 顶线对齐 - 图片顶部与文字顶线对齐 顶部对齐*/ vertical-align: top; } .four { /* 底线对齐 - 图片底部与文字底线对齐 ="one"> 基线对齐 : 图片底部与文字基线对齐
中线对齐 : 图片中心与文字中心对齐
5.3K30编辑于 2023-04-24 - 来自专栏我爱计算机视觉
Align and Prompt：Salesforce&ANU提出ALPRO，进行细粒度的视频文本对齐！代码已开源！
本文分享论文『Align and Prompt: Video-and-Language Pre-training with Entity Prompts』，由 Salesforce&ANU 提出ALPRO 在本文中，作者提出了Align and Prompt：一个新的视频和语言预训练框架（ALPRO），该框架在稀疏采样的视频帧上运行，在没有显式目标检测器的情况下实现更有效的跨模态对齐。 在本文中，作者使用一个新的视频和语言预训练框架：Align and Prompt（ALPRO）来应对这些挑战。 VTC和PEM的动机都是加强视频和文本之间的跨模态对齐。VTC强调捕获视频文本对的实例级对齐，PEM鼓励模型将局部视频区域与文本实体对齐。 PEM则是对随机裁剪的帧通过prompt操作进行类别的预测，然后将预测的结果作为伪标签来监督预训练的过程，从而使模型能够感知视频帧中的局部区域。
1.2K10编辑于 2022-01-20 - 来自专栏NLP/KG
Prompt工程师指南应用篇：Prompt应用、ChatGPT|Midjouney Prompt Engineering
Prompt工程师指南应用篇：Prompt应用、ChatGPT|Midjouney Prompt Engineering 1.ChatGPT Prompt Engineering 主题： 与 ChatGPT A Comparative Study on ChatGPT and Fine-tuned BERT (Feb 2023) A Prompt Pattern Catalog to Enhance Prompt 3.Prompt 应用 在这个指南中，将介绍一些高级和有趣的方式，通过 prompt engineering 来执行有用的更高级别的任务。 请注意，本节正在积极开发中。 例如，我们可以使用它来生成情感分类器的快速样本，如下所示： Prompt: 生成10个情感分析的例子。这些例子被分类为正面或负面。生成2个负面例子和8个正面例子。 DATE_UNDERSTANDING_PROMPT = """ # Q: 2015 is coming in 36 hours.
2K30编辑于 2023-05-15 - 来自专栏AI
Prompt工程
这个指南分享了从大型语言模型（有时称为GPT模型）如GPT-4 中获得更好结果的策略和技巧。这里描述的方法有时可以结合使用以达到更好的效果。我们鼓励进行实验，找到最适合您的方法。
66310编辑于 2024-05-09 - 来自专栏数据社
Prompt Engineering
; Hungarian: Neumann János Lajos, pronounced [ˈnɒjmɒn ˈjaːnoʃ ˈlɒjoʃ]; December 28, 1903 – February 8, Travel tips for Toronto 8. Sightseeing in Toronto 9. What to do in Toronto
38120编辑于 2023-10-22 - 来自专栏微言码道
高效的ChatGPT Prompt (三) 持续优化Prompt
当然, 参考下这些好的Prompt是非常有价值的. 但写出好的Prompt的一个关键的方式不在于去抄那些好的Prompts, 而是自己持续去改进微调你的Prompts. 根据你的期望,提出一个Prompt, 向ChatGPT提问 获得ChatGPT的响应,比对结果与你的期望的差距, 调整Prompt,弥补ChatGPT忽略的地方 再次获得ChatGPT的响应,检查是否满足你的需求 这才是好的Prompt的生成的最佳方式. 不存在一个放之四海皆标准的好Prompt, 你需要持续的与ChatGPT互动,去微调你的Prompt,才有可能让它更满足你的需求. 这篇文章是我从我过往的文章中随便选出来的 -- JMeter与LoadRunner的简要对比 第一版Prompt 我希望ChatGPT帮助我总结这篇文章说了什么, 所以我的第一版的Prompt是这样的 所以意识到这一点后,我改进了我的Prompt 第二版Prompt 我提供了一段文章,以---开始并结束. --- .... 文章内容过长,忽略.
1K10编辑于 2023-08-31 - 来自专栏三丰SanFeng
字节对齐
但是因为编译器要对数据成员在空间上进行对齐。 所以使用sizeof(strcut A)值为8。 现在把该结构体调整成员变量的顺序。 ，恢复缺省对齐*/ sizeof(struct C)值是8。 又C的自身对齐值为4，所以 C的有效对齐值为2。又8%2=0,C只占用0x0000到0x0007的八个字节。所以sizeof(struct C)=8. 2 Linux32位系统下gcc编译器默认对齐为4字节 3 在64位系统#pragma pack(4)的情况下，a1->c的地址按4字节对齐而不是按8字节(long在64位下为8字节长)，会不会影响 4 在32位系统下，double和long long的有效对齐值为4，而不是8，这是因为它们在32位系统下是被当成2个32位对象来进行处理的 版权声明：本文为博主原创文章，未经博主允许不得转载。
2.8K50发布于 2018-01-16 - 来自专栏golang分享
内存对齐
Go语言称为寄存器宽度的这个值，就可以理解为机器字长，也是平台对应的最大对齐边界，而数据类型的对齐边界是取类型大小与平台最大对齐边界中的较小的那个 类型 大小 RegSize int8 1 byte 8 byte int16 2 byte 8 byte int32 4 byte 8 byte int64 8 byte 8 byte string 16 byte 8 byte slice 24 byte 8 byte … … … 同一个类型在不同平台上的大小可能不同，不按照最大对齐边界或者最小对齐边界来考虑是为了减少浪费、提高性能 如何确定一个结构体的对齐边界 先确定每个成员的对齐边界，然后取最大值 type T stract { a int8 1 byte b int64 8 byte c int32 4 byte 最大对齐 8 byte ，然后是第二个成员b,它要对齐到8字节，但是接下来的地址对8取模不等于0,所以要往后移。
5.2K21编辑于 2023-07-30 - 来自专栏初学C++
内存对齐
内存对齐应用于三种数据类型中：struct、class、union；为什么要内存对齐：提高内存访问效率，减少cpu访问内存次数用sizeof运算符可以得到整个结构体占用内存的大小。 内存对齐：#pragma pack(字节数) 如果用1，那么内存之间就没有空隙了合理使用内存对齐规则，某些节省内存的做法可能毫无意义。 pack宏定义，有这个宏的情况下结构体的自身宽度是宏定义的数值（但是当成员中占用字节数最大的类型的字节大小比宏定义的数值小的时候，会按照字节数来）#pragma pack 的参数只能是 1、2、4、8、 遵循以上规则，做一些练习：以下都以32位操作系统为例（32位和64位下数据类型有一些区别，例如long在32位系统下占4字节，在64位下占8字节；指针在32下占4字节，在64下占8字节）struct A ；当结构体中的最大的数据类型的大小 小于 宏定义的大小时，就会以结构体中最大的数据类型的大小来进行内存对齐#pragma pack(8) struct test { char a; int
86740编辑于 2023-09-02 - 来自专栏知识同步
内存对齐
使用伪代码表示： min(#pragma pack, 结构最大数据成员长度) * N 规则2 在数据成员完成各自对齐之后，结构(或联合)本身也要进行对齐，对齐也按照#pragma pack指定的数值和结构 规则3 如果没有使用#pragma pack指令来显式的指定内存对齐的字节数，则按照默认字节数来对齐，各个平台的默认对齐规则如下：32位CPU默认按照4字节对齐；64位CPU默认按照8字节对齐。 } struct x{ char a; //4 char b; int i; //4 }; int main() { cout << sizeof(x); //8 } 上面两个如果在#pragma pack(8)下也是一样，因为int是4个字节，小于8，所以是4字节对齐 struct x{ long long a; //8 char b; //
1.7K30编辑于 2022-12-26 - 来自专栏python3
打印对齐
（1）右对齐 >>> print("PI=%10.3f"%a) #约束一下，这个的含义是整数部分加上小数点和小数部分共计10位，并且右对齐 PI= 3.142 （2）左对齐 >> > print("PI=%-10.3f"%a) #要求显示的左对齐，其余跟上面一样 PI=3.142 二、字符类型（str） 和数值类型类似，不过将%d、%f的占位符变为了%s的占位符。
2.3K20发布于 2020-01-09 - 来自专栏数据社
Prompt Engineering
; Hungarian: Neumann János Lajos, pronounced [ˈnɒjmɒn ˈjaːnoʃ ˈlɒjoʃ]; December 28, 1903 – February 8, Travel tips for Toronto 8. Sightseeing in Toronto 9. What to do in Toronto
41610编辑于 2023-10-22 - 来自专栏圆圆的算法笔记
NLP Prompt系列——Prompt Engineering方法详细梳理
这篇文章详细汇总了近2年10篇论文中3种Prompt Engineering方法，主要包括人工构造prompt、自动生成prompt、隐空间prompt3种类型，看看顶会论文中都是如何构造prompt模板并以此提升 1 人工构造prompt 最基础的方法就是基于人工知识来定义prompt模板。Prompt模板可以分为prefix prompt和cloze prompt两类。 2 自动生成prompt 人工构造的prompt依赖人工经验，并且效果也难以保障，一般采用构造多组prompt，对每组prompt的效果分别进行验证对比，或者多组prompt融合的方法提升效果。 prompt模板的效果选择最优的prompt模板，或对多个prompt模板结果进行融合。 3 隐空间中的prompt 上面介绍prompt模板都是具体文本的prompt，另一种类型的prompt是在隐空间的prompt。
4.7K31编辑于 2022-09-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号