- 综合排序
- 最热优先
- 最新优先
- 来自专栏云计算技术笔记
为什么要4k对齐
在发现存储实际性能和预期存在较大差距，特别是性能差距在2倍左右时，4K对齐就可能是罪魁祸首。现在SSD读写速度较快，所以通常都是在压力较大的时候出现异常。 如何查看系统是否4k对齐： Windows下 开始-运行-“msinfo32”-进入系统信息 展开 组建-存储-磁盘，查看里面的分区起始偏移。 如果起始偏移正好是4k(4096字节)的倍数，说明4k对齐。 图片 Linux下 使用fdisk -lu命令。命令中u是让分区表用扇区值。 所以，如果起始扇区值是8的倍数，则说明磁盘4k对齐。 其它地方的4K对齐 上面说的都是本地系统的4k对齐，因为本地盘的物理sector肯定是从0开始，但还有一种情况。 如果，分布式存储本身并没有做好4K对齐，那块块设备外挂到虚拟机上后，最终的IO依然不会对齐，即使虚拟机上看一切正常。这种情况，就需要云服务商来处理了。
2.1K10编辑于 2022-09-07 - 来自专栏新智元
正集结算力拯救人类，4年彻底攻克对齐
为了不让超级智能失控，首席科学家Ilya Sutskever和Jan Leike将共同领导团队在未来4年投入20%算力，解决超智能AI对齐问题。 超级AI智能会杀死所有人！ 如今，OpenAI组建了一个团队，试图用20%算力，在未来4年解决「超级智能对齐问题」。 最新团队将由联合创始人兼首席科学家Ilya Sutskever和Jan Leike共同领导。 接下来4年，OpenAI要做的，就是防止超级智能杀死所有人类。 四年解决超级AI对齐问题 而Altman认为，想要管理这些风险，彻底解决对齐问题，就必须成立新的治理机构。 我的观点（提出你的意见）：我们不可能在没有拿走自由的情况下绝对地对齐一个超级智能体。对齐和自由是正交的。我们不要建造那些可能会对人类造成 I）生存威胁和 II）剥夺人类权力的人工智能。 这是有史以来对对齐的最大投资，它可能比人类到目前为止在对齐研究上的总花费还要多。 OpenAI将用4年的时间去完成这项任务，如何判断是否失败了，或者进展不够快？
36210编辑于 2023-08-07 - 来自专栏新智元
用GPT-2监督GPT-4，防止AI毁灭人类? OpenAI Ilya超级对齐团队首篇论文出炉
编辑：编辑部 【新智元导读】Ilya领衔的OpenAI对齐团队，刚刚发表了首篇论文——用类似GPT-2监督GPT-4的方法，或可帮人类搞定自己更聪明的超级AI！ 而这正是AGI对齐的核心挑战——「弱小」的人类，如何信任并控制比他们更智能的AI系统？ 超级对齐：用小模型监督大模型？ 超级对齐的简单类比：在传统的ML中，人类监督的人工智能系统比自己弱（左）。为了对齐超级智能，人类将需要监督比他们更聪明的人工智能系统（中）。 团队放出首个成果：用GPT-2监督GPT-4 对此，团队使用了NLP基准测试的典型弱到强泛化——用GPT-2级别的模型作为弱监督，来微调GPT-4。 在很多情况下，这种方法都能显著提高泛化能力。 在NLP任务上使用这种方法用GPT-2级模型监督GPT-4时，生成的模型通常在GPT-3和GPT-3.5之间。 而在更弱的监督下，就可以恢复GPT-4的大部分功能。
37510编辑于 2023-12-20 - 来自专栏根究FPGA
AXI总线的4K地址对齐问题
从上图可以看到：总的地址分配空间为4G（2^32个地址空间，每个地址对应8bit的映射空间）。 最后说明在对从设备进行地址分配时，每个从设备的地址最小对齐边界为4K，即地址的低12位全为0，这样表示地址范围大小为2^12=4K，4K对齐最大原因是系统中定义一个page大小是4K。 所以，为了更好的设定每个slave的访问attribue，就给一个slave划分4K空间： ? AXI 协议支持地址非对齐的传输，允许突发传输的首字节地址，即起始地址与突发传输位宽不对齐。 举个例子，总线位宽为 32bit 时，如果起始地址为 0x1002 ，则产生了非对齐现象。与 32bit 位宽总线对齐的地址需要能被 4 整除，即 ADDR[1:0] = 2'b0。 对于非对齐写传输，主机会进行两项操作： （1）、即使起始地址非对齐，也保证所有传输是对齐的 （2）、在首个 transfer 中增加填充数据，将首次传输填充至对齐，填充数据使用WSTRB 信号标记为无效
5.4K61发布于 2020-07-28 - 来自专栏DrugOne
基于知识指令的人类语言-蛋白质语言对齐模型
本文首次探索了蛋白质语言和人类语言的双向生成能力，展示了将生物序列作为大语言模型能力一部分的潜力，为其更好的服务科学领域提供可能。 知识图谱三元组转变为人类语言-蛋白质语言对齐的指令 模型训练 本文先在自然语言和蛋白语言的文本上分别进行与训练，然后再在指令数据集上进行微调，获得对齐两种语言的能力。 其次，尽管Galactica、BioMedGPT和Mol-Instructions都利用UniProtKB作为与蛋白质进行自然语言对齐的语料库，但InstructProtein始终表现优于它们。 Galactica的训练数据缺乏指令信号导致在指令与蛋白质对齐的零样本性能方面表现有限。Mol-Instructions在蛋白质语料库上缺乏预训练，这使得模型难以区分蛋白质的微妙差异，导致结果不佳。 总结 本文介绍了一种对齐自然语言和蛋白质语言的方法。
36710编辑于 2023-12-26 - 来自专栏技术人生黄勇
OpenAI正在让大模型和人类“对齐”-确保ChatGPT比人类聪明的同时还遵循人类意图
为了让人工智能变得更安全、更协调（更像人类，遵循人类的价值观），OpenAI在2022年8月就发表了一篇关于对齐的研究方法博客，并后续在今年5月高调宣布投入20%的计算资源，花费4年的时间全力打造一个超级对齐 与欺骗行为相关的AI内部过程可以通过在上述两级开发的AI或人类+AI监督者来检测和惩罚。 4. 04 — 对齐的设计 对齐的目标 对齐目的构建一个能够与人类水平相媲美的自动对齐研究器。其目标是尽可能地将与对齐相关的工作交由自动系统完成。 4. 学习和个人成长：很多人希望不断学习和成长，提升自己的知识和技能，实现个人的自我价值。 5. 财富和物质享受：一些人追求财富和物质享受，他们希望获得经济独立，过上富裕和舒适的生活。 6. OpenAI又推新：使用ChatGPT进行内容审核 中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用 ChatGLM团队发布AI Agent能力评测工具AgentBench：GPT-4一骑绝尘
47410编辑于 2024-07-19 - 来自专栏数据派THU
无需强化学习的与人类偏好对齐的语言模型：Wombat袋熊
本文约1200字，建议阅读5分钟本文提出了基于排序的人类偏好对齐方法。 OpenAI 的 ChatGPT 理解多种多样的的人类指令，并且可以很好的应对不同的语言任务需求。 RLHF 解锁了语言模型跟从人类指令的能力，并且使得语言模型的能力和人类的需求和价值观对齐，从而使得 RLHF 微调下的语言模型具有令人惊叹的能力。 在和人类对齐的角度上，强化学习算法是不是必须的呢？该篇论文提出了基于排序的人类偏好对齐方法。 它对不同语言模型生成的回复（回复可以来自 ChatGPT、GPT-4、当前的训练模型或者人类标注数据）进行评分，评分来自于回复在当前模型下的对数概率。 RRHF 算法可以有效地将语言模型输出概率与人类偏好对齐，并且在微调期间只需要 1 到 2 个模型。相比之下，PPO 需要 4 个模型：微调的语言模型，参考语言模型，奖励模型和价值模型相互配合。
45810编辑于 2023-04-25 - 来自专栏机器之心
FudanNLP团队最新成果，借助RLHF实现人类对齐的MOSS-RLHF来了
然而，大模型回复与人类价值偏好经常存在不一致问题。 如何让大模型更好的与人类价值观对齐，理解语言背后的含义，生成更具 “人情味” 的内容成为大语言模型研究的热点。 未经人类对齐的大模型常常生成有害内容，存在安全性方面的隐患，直接影响大模型的落地。 面对这一技术挑战，研究人员迫切需要进一步探索 PPO 算法对大模型人类对齐的作用机理。 经人类对齐后大模型安全伦理表现优异 经过人类对齐训练后的 RLHF 模型相对 SFT（Supervised Fine-Tuning，监督微调）模型的性能表现如下图所示。 人类价值观对齐 使用 PPO-max 算法训练的模型与人类价值观实现了有效的对齐，模型落地更安全。
59360编辑于 2023-08-07 - 来自专栏CSDN博客专家-小蓝枣的博客
PyQt5 技术篇-设置alignment对齐方式。Qt Designer设置文本对齐方式。居中、左对齐、右对齐、上对齐、下对齐。
通过alignment设置，展开后可以设置水平方向或垂直方向的对齐方式。 PyQt5设置文本对齐方法： self.label.setAlignment(QtCore.Qt.AlignRight|QtCore.Qt.AlignVCenter) 两个参数一个是横向靠右，一个是纵向居中 Qt Designer设置文本对齐方法： 如图，水平默认的左对齐我改为了右对齐。 ?
10.8K30发布于 2020-09-23 - 来自专栏韩曙亮的移动开发专栏
【CSS】vertical-align 垂直对齐 ( 块级元素对齐 | 行内元素 行内块元素对齐 | 基线对齐 | 垂直居中 | 顶部对齐 | 底部对齐 )
可以设置四种对齐 : baseline 基线 / top 顶线 / middle 中线 / bottom 底线 ; 基线对齐 : 图片底部位置 与 文字基线 对齐 ; 这是默认的对齐方式 , 如果是 : 图片顶部 与 文字顶线 对齐 ; vertical-align: top; 底部对齐 : 图片底部 与 文字底线 对齐 ; vertical-align: bottom; 二、vertical-align 垂直对齐代码示例 ---- 代码示例 : <! ; } .three { /* 顶线对齐 - 图片顶部与文字顶线对齐 顶部对齐*/ vertical-align: top; } .four { /* 底线对齐 - 图片底部与文字底线对齐 ="one"> 基线对齐 : 图片底部与文字基线对齐
中线对齐 : 图片中心与文字中心对齐
5.3K30编辑于 2023-04-24 - 来自专栏机器之心
人类偏好就是尺！SPPO对齐技术让大语言模型左右互搏、自我博弈
最近，顾全全教授团队和卡内基梅隆大学（CMU）Yiming Yang教授团队合作开发了一种名为「自我博弈偏好优化（Self-Play Preference Optimization, SPPO）」的对齐技术 尽管LLM的能力令人瞩目，但要使这些模型的输出行为更符合实际应用中的需求，通常需要通过对齐（alignment）过程进行微调。 这个过程关键在于调整模型以更好地反映人类的偏好和行为准则。 图4.SPPO模型在AlpacaEval 2.0上的效果提升显著，且高于如 Iterative DPO 的其他基准方法。 在AlpacaEval 2.0的测试中（图4），经过SPPO优化的模型在长度控制胜率方面从基线模型的17.11%提升到了28.53%，显示了其对人类偏好理解的显著提高。 结论与未来展望 自我博弈偏好优化（SPPO）为大语言模型提供了一个全新的优化路径，不仅提高了模型的生成质量，更重要的是提高了模型与人类偏好的对齐度。
51010编辑于 2024-05-14 - 来自专栏深度学习与python
OpenAI 设立 Superalignment 团队：让 AI 对齐人类价值观，预防潜在风险
OpenAI 强调了使人工智能系统与人类价值保持一致的必要性，以及主动采取措施防止潜在危害的重要性。 创造符合人类理想和目标的人工智能系统的过程被称为人工智能校准。 这需要确保 AI 系统理解伦理概念、社会标准和人类目标，并据此采取行动。AI 校准旨在缩小人类需求和福祉与 AI 系统目标之间的差距。 OpenAI 联合创始人兼首席科学家 Ilya Sutsker 和校准主管 Jan Leike 表示，像 GPT-4（ChatGPT 的基础）这类模型当前使用的 AI 校准技术，都依赖于从人类反馈中进行 不过，这种方法依赖于人类的监督，如果 AI 的的智力超越了人类，变得比它的监督者更聪明，这种方法可能就行不通了。 datmEqVmS134ewFO7wel ) OpenAI 推出网络爬虫 GPTBot，引发网站抵御潮：信息被爬走就很可能意味着永远无法删除 (https://www.infoq.cn/article/IzPVkcZg0jeHGcD4xP7H
51230编辑于 2023-09-08 - 来自专栏杰的记事本
4种HTML空格的说明 （经常用于文字对齐）
在inline-block布局中会搞些小破坏，在两端对齐布局中又是不可少的元素。是个让人又爱又恨的小东东。 该空格学名不详。
3K30发布于 2019-09-04 - 来自专栏新智元
【人类危险】谷歌Waymo宣布放弃人类辅助驾驶功能，全面押注L4
Krafcik 说，在观看测试中的无人车内的监控视频后，公司确定这样一种在遇到危险情况时拉响警报让人类驾驶员接手操作的系统并不安全。 这些测试视频是在2013年进行的，当时谷歌的员工坐在驾驶员座位上。
57660发布于 2018-03-21 - 来自专栏三丰SanFeng
字节对齐
3.结构体或者类的自身对齐值：其成员中自身对齐值最大的那个值。 4.数据成员、结构体和类的有效对齐值：自身对齐值和指定对齐值中小的那个值。 该例子中没有定义指定对齐值，在笔者环境下，该值默认为4。 第一个成员变量b的自身对齐值是1，比指定或者默认指定对齐值4小，所以其有效对齐值为1，所以其存放地址0x0000符合0x0000%1=0.第二个成员变量a，其自身对齐值为4，所以有效对齐值也为 4，所以只能存放在起始地址为 再看数据结构B的自身对齐值为其变量中最大对齐值(这里是b）所以就是4，所以结构体的有效对齐值也是4。根据结构体圆整的要求， 0x0009到0x0000=10字节，（10＋2）％4＝0。 2 Linux32位系统下gcc编译器默认对齐为4字节 3 在64位系统#pragma pack(4)的情况下，a1->c的地址按4字节对齐而不是按8字节(long在64位下为8字节长)，会不会影响
2.8K50发布于 2018-01-16 - 来自专栏机器之心
LLM超越人类时该如何对齐？谷歌用新RLHF框架解决了这个问题
机器之心报道 编辑：Panda 让 LLM 在自我进化时也能保持对齐。 我们这个世界是不断变化的开放世界。 对基于 LLM 的 AI 来说，高质量的人类数据非常关键，但已有研究预计这些高质量数据将在未来几年耗尽。 based on human-generated data》 此后，这类数据的质量也将停滞不前：随着 LLM 能力越来越强，它们将能解决越来越复杂和越来越多的难题，而这些难题所需的训练数据已经超出了人类的能力 于是，问题就来了：语言模型能否自我创建可学习的新任务，从而实现自我改进以更好地泛化用于人类偏好对齐？ 为了提升语言模型的对齐能力，人们已经提出了许多偏好优化算法，但它们都默认使用固定的提示词训练分布。 此外，在 MT-Bench 上，使用新的人类提示词进行训练通常会在第一轮中表现出性能下降，在第二轮中也只会有适度的提升。相比之下，eva 能显著提高第二轮的表现。
41400编辑于 2025-02-14 - 来自专栏机器之心
DeepMind新研究：ReST让大模型与人类偏好对齐，比在线RLHF更有效
然而，LLM 又面临这样一个困境，即产生的输出很大程度上与人类偏好并不一致。如果没有适当的对齐，语言模型可能输出不安全的内容。此外，对齐 LLM 还有助于改善下游任务。 有研究者提出基于人类反馈的强化学习 (RLHF)，通过使用人类偏好来解决对齐问题。 本文，来自 Google DeepMind 的研究者提出了一种简单的算法使 LLM 与人类偏好对齐，他们将该方法命名为 ReST（Reinforced Self-Training）。 不同于 RLHF 使用人类反馈改进语言模型，ReST 通过生成和使用离线数据进行训练，从而使得 LLM 与人类偏好保持一致。 结果如图 4 所示，带有一个 Grow step 的方法在 IWSLT 2014 和 Web Domain 数据集上有所提高，当 Grow step 为 2 时，模型将得分从 77.8 提高到 80.5
54220编辑于 2023-09-08 - 来自专栏golang分享
内存对齐
内存对齐 内存 CPU要想从内存读取数据，需要通过地址总线，把地址传输给内存，内存准备好数据，输出到数据总线 若是32位地址总线，可以寻址[0,2的32次方-1]，占用内存4g 有些CPU是能够支持访问任意地址的 每种类型的对齐边值就是它的对齐边界。int16（2），int32（4），内存对齐要求数据存储地址以及占用的字节数都是它对齐边界的倍数。 和平台有关 go语言支持这些平台 archName PtrSize(指针宽度) RegSize(寄存器宽度) 386 4 8 amd64 8 8 arm 4 4 arm64 5 8 …… 被 type T stract { a int8 1 byte b int64 8 byte c int32 4 byte 最大对齐 8 byte 接下来是c，它要对齐到4字节。所有成员放好还不算完，内存对齐的第二个要求是结构体整体占用字节数需要是类型对齐边界的整数倍，不够的话要往后扩张。所以要扩充到相当地址23这里。
5.2K21编辑于 2023-07-30 - 来自专栏python3
打印对齐
按照要求输出小数位数 3.14 >>> print("%.9f"%a) #如果要求的小数位数过多，后面就用0补全 3.141592600 >>> b = 3 >>> print("%4d （1）右对齐 >>> print("PI=%10.3f"%a) #约束一下，这个的含义是整数部分加上小数点和小数部分共计10位，并且右对齐 PI= 3.142 （2）左对齐 >> > print("PI=%-10.3f"%a) #要求显示的左对齐，其余跟上面一样 PI=3.142 二、字符类型（str） 和数值类型类似，不过将%d、%f的占位符变为了%s的占位符。
2.3K20发布于 2020-01-09 - 来自专栏初学C++
内存对齐
内存对齐应用于三种数据类型中：struct、class、union；为什么要内存对齐：提高内存访问效率，减少cpu访问内存次数用sizeof运算符可以得到整个结构体占用内存的大小。 内存对齐：#pragma pack(字节数) 如果用1，那么内存之间就没有空隙了合理使用内存对齐规则，某些节省内存的做法可能毫无意义。 遵循以上规则，做一些练习：以下都以32位操作系统为例（32位和64位下数据类型有一些区别，例如long在32位系统下占4字节，在64位下占8字节；指针在32下占4字节，在64下占8字节）struct A ，所以a从0开始，4个字节，不足4字节，自动补齐，b从4开始，到7结束，然后看c，c中最大是a，4字节，a从下标8开始，到11结束，b从12开始，到13结束，arr从14开始，到33结束，此时stu有26 个大小，但是不是4的整数倍，所以内存对齐，arr占28个字节，此时stu到35，int arr占从36开始，占40个字节大小，到75，所以整个结构体A的大小为76。
86740编辑于 2023-09-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号