首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏嵌入式学习

    结构体内存对齐——2

    char colormap; char bgcolor; char ratio; }__attribute__ ((aligned(4))); 对齐到 4字节 = 3+3+2+4+1+1+1+1 = 16 struct gif_hdr v1 = {1,2,3,4,5,6,7,8,9,10,11}; struct gif_hdr *dsptr

    51320发布于 2020-09-07
  • 来自专栏裸机思维

    漫谈C变量——对齐 (2)

    最后一个例子中,数组chBuffer[] 很有可能被分配在一个对齐到 word 或者 halfword 的地址上,那么 &chBuffer[1] 几乎可以肯定是一个非对齐的地址 把一个非对齐的地址传给一个默认需要对齐的函数 ---- 因为 ARMv7-M 支持非对齐操作,具体请看 对齐(1)的内容,所以你幸免于难。 尽管LDR/STR这样的指令支持非对齐操作,但其实我们的流水线是通过1)将这一非对齐的操作拆分成两个对齐的操作,最后2)再组装起来 实现的。 珍爱生命,远离非对齐操作。 针对本文的例子,如何避免非对齐操作? 的整数操作 extern void word_access ( uint32_t __packed *pwTarget ); 2、对第二个例子来说,由于数据帧的格式已经确定,因此,我们需要直接告诉编译器对目标数据的访问是非对齐

    82430发布于 2020-07-28
  • 来自专栏linux驱动个人学习

    android功耗优化(2)--对齐唤醒

    listPkgs:表示需要设置对齐唤醒的应用,如果这些应用已经安装,就会显示在对齐唤醒设置的界面上。 手机管家中显示的对齐唤醒名单主要有: (1)、forbitapplist.xml文件与已安装应用的交集应用; (2)、已安装的第三方应用。 (2)、如何通知AlarmManagerService? (1)、第三方应用全部添加到对齐唤醒名单; (2)、禁止系统应用验证前添加到对齐唤醒名单,避免导致系统异常。 系统核心应用不允许加入对齐唤醒名单,即位于system/priv-app目录下的应用不可以加入对齐唤醒名单;

    1.4K10发布于 2020-09-08
  • 来自专栏郑克松的专栏

    人脸对齐:ASM (主动形状模型)算法

    导语 :人脸对齐领域较早但是非常重要的ASM算法介绍 主动形状模型发表在95年,已经是比较老的模型了, 但是该算法是以后很多人脸对齐算法的基础,对理解人脸对齐领域算法有益,所以做了些研究。 下文内容主要有 1 面部几何约束 2 线性形状模型 3 特征点局部梯度模型 4 ASM搜索 一、 面部几何约束 1 全局刚性形变 2 局部非刚性形变 对于局部非刚性形变,在ASM中使用线性形状模型来建模这种变形 对齐效果 上图中每个特征点是一种颜色。 这样, 我们得到了每个样本对齐之后形状向量。把这些形状向量作为线性形状模型的输入。 三、 特征点局部梯度模型 在每个特征点的Profile方向选择2k个点,采集这2k个点的梯度,即局部profile梯度, 假设所有样本的对应的特征点的profile服从高维高斯分布,从而可以估计出该高斯分布的参数 四、搜索 第一步:全局调整 在初始形状x 的每个特征点处,profile方向前后选择2K(K>k)个点,即上图的Sampled Profile,然后用前面对该特征点建立的高斯分布的均值向量去前后滑动对比相似度

    6.5K20发布于 2017-08-24
  • 来自专栏资讯分享

    模型价值对齐:多维视角与前景

    2)技术与非技术层面:解决AI价值对齐需要采取双重视角,包括技术解决方案,如基于样本的学习,以及非技术框架,如治理和监管措施。 张拳石:基于可解释性的大模型可信评估和价值对齐从技术的角度来看,大模型的价值对齐背后有一个根本的问题,即大模型到底能否被解释清楚? 这里比较有名的分解是人工智能安全研究中心(CAIS),也是发AI生存性风险声明的机构,把人工智能安全问题分为四个层面:1)系统性风险,降低整个部署的系统性危害;2)监测,通过标识识别危害,检测恶意应用, 李珂:从人类教育的角度思考模型价值对齐在大模型落地方向中,我认为大模型价值对齐问题与人类教育有着相似之处。因此,我将从人类教育的角度探讨这一问题。价值对齐在做什么? 价值对齐的方法可以从教育学中找灵感。基于人类教育和模型价值对齐两个问题的对偶性,我们可以借鉴教育上的手段来思考如何设计更好的模型价值对齐方法。

    87411编辑于 2023-11-28
  • 来自专栏nginx遇上redis

    C语言中字节对齐问题分析2

    2. 为什么要字节对齐 简单的说来就是为了提高cpu的性能,或者说是为了提高程序运行的效率。当然,在其背后更有简化cpu设计的功效。 2字节对齐。 对于type_t结构,其内存布局如图1所示,需要指出的是SPARC是big-endian模式,图中b=b0b1b2b3. ? 这里之所以说是可能,是因为有可能对b进行访问之前,可能刚好完成了对于a的访问,而对a访问时,b0、b1和b2也同时读入(或写入)了,这种情况下,只需要读入(或写入)b3即可。 此外,更为麻烦的是对于边界不对齐的b,还得将其合成4字节(一部分是来自一个四字节中的b0、b1和b2,另一部分来自另一个4字节中的b3),而这又增加了程序的复杂性,即需要更多的指令来完成。

    1.9K20发布于 2020-05-12
  • 来自专栏自然语言处理(NLP)论文速递

    字节跳动 | 提出大模型遗忘方法,只需2% 的RLHF计算时间即可实现对齐

    引言 随着大型语言模型(LLM)的推广和应用,人们越来越关心大模型输出内容的有害性,这对于客户服务、医疗资讯等领域来说是难以容忍的。那么如何避免 LLM 产生有害回复? 基于以上问题,字节跳动(ByteDance),提出让 LLM 进行遗忘学习的方法来进行对齐,实验结果表明,与RLHF相比,作者只使用2%的计算时间下,遗忘学习仍可以获得更好的对齐性能。 但对齐过程往往受到 (1) 数据收集;(2) 计算资源的限制。 字节跳动提出让 LLM 进行遗忘学习的方法来进行对齐。 尽管只有负样本,研究表明,和 RLHF 相比,只使用 2% 的计算时间下,遗忘学习仍可以获得更好的对齐性能。 方法介绍 本方法可以在资源有限的情况下,最大程度发挥优势。 但即便如此,遗忘学习也能取得和 RLHF 相似的对齐性能。 下表显示了计算时间的比较,本方法只需RLHF 2%的计算时间。

    1.6K10编辑于 2023-12-14
  • 来自专栏MixLab科技+设计实验室

    大语言模型对齐技术 - RLHF训练方法

    "abliteration"技术,通过识别LLM中的"拒绝方向"并正交化权重,解除模型审查机制。 实验显示该方法会降低模型性能,但后续DPO微调可恢复表现,最终得到高性能无审查的8B模型NeuralDaredevil。 核心要点: 技术原理:对比有害/无害指令的残差流激活差异,定位"拒绝方向"(如Llama 3的审查机制) 关键操作:通过权重正交化永久消除该方向,使模型不再拒绝敏感请求 性能影响:直接应用会导致MMLU 等指标下降(如Daredevil-8B分数降低) 修复方案:采用DPO偏好对齐微调(使用orpo-dpo-mix-40k数据集),恢复模型能力 伦理争议:暴露安全微调的脆弱性,需谨慎使用该技术

    17910编辑于 2026-03-24
  • 来自专栏CSDN博客专家-小蓝枣的博客

    PyQt5 技术篇-设置alignment对齐方式。Qt Designer设置文本对齐方式。居中、左对齐、右对齐、上对齐、下对齐

    通过alignment设置,展开后可以设置水平方向或垂直方向的对齐方式。 PyQt5设置文本对齐方法: self.label.setAlignment(QtCore.Qt.AlignRight|QtCore.Qt.AlignVCenter) 两个参数一个是横向靠右,一个是纵向居中 Qt Designer设置文本对齐方法: 如图,水平默认的左对齐我改为了右对齐。 ?

    10.8K30发布于 2020-09-23
  • 来自专栏韩曙亮的移动开发专栏

    【CSS】vertical-align 垂直对齐 ( 块级元素对齐 | 行内元素 行内块元素对齐 | 基线对齐 | 垂直居中 | 顶部对齐 | 底部对齐 )

    可以设置四种对齐 : baseline 基线 / top 顶线 / middle 中线 / bottom 底线 ; 基线对齐 : 图片底部位置 与 文字基线 对齐 ; 这是默认的对齐方式 , 如果是 : 图片顶部 与 文字顶线 对齐 ; vertical-align: top; 底部对齐 : 图片底部 与 文字底线 对齐 ; vertical-align: bottom; 二、vertical-align 垂直对齐代码示例 ---- 代码示例 : <! ; } .three { /* 顶线对齐 - 图片顶部与文字顶线对齐 顶部对齐*/ vertical-align: top; } .four { /* 底线对齐 - 图片底部与文字底线对齐 ="one"> 基线对齐 : 图片底部与文字基线对齐

    中线对齐 : 图片中心与文字中心对齐

    5.3K30编辑于 2023-04-24
  • 来自专栏机器之心

    执行推理时能对齐语言模型吗?谷歌InfAlign带来一种对齐新思路

    在根据某个奖励微调生成式语言模型时,使用 KL 正则化的强化学习(KL-RL)来对齐生成式语言模型是一种常用框架。而 KL-RL 通常需要训练一个奖励模型,然后使用一个强化学习求解器。 其它方法还包括直接偏好优化、奖励模型蒸馏、best-of-N 蒸馏的不同变体版本。 在度量 KL-RL 框架的效果时,常用的指标是已对齐模型相较于参照模型在给定任务上的胜率。 于是,问题来了:给定一个已知的推理时间流程,我们可以对齐模型,从而优化相对于参照模型的推理时间胜率吗? 经验校准是这样的,首先对于强化学习训练数据中的每个提示词 x,从参照模型 π_ref 采样 K 个样本 z_1, z_2, ..., z_K。 然后,该团队对这些分数进行排序,计算每个响应对应的排名,并将这些值绘制为散点图,如图 2(左)所示。如果模型经过完美校准,则每个提示词的点都将位于 y = x 线上。

    22200编辑于 2025-02-03
  • 来自专栏深度学习自然语言处理

    大语言模型对齐的四种方法!

    Flan,Openai则提出InstructGPT,ChatGPT,大模型对齐工作受到广泛的关注。 目前,大模型对齐工作中,RLHF算法是能够达到最优的结果,RLHF通过人类反馈和PPO算法,能够有效的将模型和人类偏好进行对齐。但是RLHF也存在难以训练,训练显存占用较大的缺点。 1.预训练语言模型 使用经典的预测下一个token的自回归方式预训练一个语言模型。OpenAI选择InstructGPT。基于预训练得到的LM,生成训练奖励模型(RM,也叫偏好模型)的数据。 2. PPO需要采用KL散度来保证actor model和ref model不会差的太远,而RRHF在训练之前只使用模型本身进行采样,因此RRHF只需要1-2模型。 在ref model上采样y1和y2,构建偏好数据集 D={x{i},yw{i},yl{i}}i=1N 2. 在给定的数据集 D,πref,β 的基础上优化语言模型 πθ 。

    1.7K10编辑于 2024-05-11
  • 来自专栏资讯分享

    为什么价值对齐是大模型的必由之路?

    在大型AI模型开发中实现价值对齐是关键,这有助于减少潜在风险并确保技术产生积极影响。2. 构建基于信任的框架是实现技术和社会之间良好互动的重要因素,尤其在全球AI治理中显得尤为重要。3. 解决对齐困境的出路包括:达成全球共识的伦理价值体系、开发可解释的对齐技术路线、建设完善的对齐效果评估体系。5. 大模型价值对齐需要关注个体需求、集体规范、主体能动性,并兼顾技术实践与法律规制。6. 大模型价值对齐仍有理论局限,需要保持开放和审慎的态度,在实践中逐步推进。 刘鹏飞:技术开发人员容易低估大模型价值对齐的重要性我为什么会做大模型的价值对齐研究呢? 大模型的价值设计要解决的就是价值对齐问题。那么什么是对齐

    62420编辑于 2023-11-10
  • AI前沿动态:模型发布、超级计算与对齐挑战

    LWiAI播客第216期 - Grok 4, Project Rainier, Kimi K2我们的第216期节目,总结并讨论了上周AI领域的重大新闻!录制于2025年07月11日。 Grok的对齐挑战显现,出现反犹太主义回应,突显了在引导模型“寻求真相”的同时避免有害偏见的难度。 的大型AI超级计算集群——以下是目前已知信息(00:46:35) Elon Musk确认xAI正在购买海外发电厂并将其整体运往美国,为其新的数据中心供电——该数据中心将容纳100万个AI GPU,功耗高达2吉瓦 - MarkTechPost(00:58:33) Kimi K2:开放智能体智能(00:58:59) Kyutai发布具有2.2亿参数、220毫秒延迟、训练时长250万小时的流式文本转语音模型研究与进展 政策与安全(01:22:53) 评估前沿模型的隐蔽性和态势感知能力(01:25:49) 当思维链必要之时,语言模型难以规避监控(01:30:09) 为什么有些语言模型假装对齐而另一些则不会?

    17310编辑于 2025-12-16
  • 多头对齐:视觉语言模型知识蒸馏新方法

    多头对齐:视觉语言模型知识蒸馏新方法方法保留教师模型注意力头中编码的知识,即使学生模型的注意力头数量更少也能实现基于Transformer架构的大型机器学习模型最近在视觉和语言任务上展现出卓越的性能。 然而,这类大模型通常因速度问题难以满足实时应用需求,因此实际系统常采用知识蒸馏技术,将大模型的知识提炼到更精简、更快速的模型中。 传统的大型Transformer蒸馏通常将经过训练的大模型(教师模型)的注意力头与精简目标模型(学生模型)的注意力头进行一对一的对齐。然而,限制注意力头的数量正是学生模型降低复杂度的关键方式之一。 在今年的人工智能促进协会(AAAI)年会上,我们提出了一种替代方案:将教师模型所有注意力头的知识都蒸馏到学生模型所有注意力头中。 由于学生模型的头数少于教师模型,学生模型中的单个注意力头最终可能会编码教师模型中多个注意力头所包含的信息。

    13510编辑于 2026-02-14
  • 来自专栏机器之心

    AAAI 2026 Oral | 通过视觉安全提示与深度对齐实现大型视觉语言模型的安全对齐

    DAVSP 通过引入全新的视觉安全提示与深度对齐策略,在几乎不破坏模型正常能力的前提下,显著提升了大型视觉语言模型对恶意输入的抵御效果,为大型视觉语言模型的安全对齐提供了新的方法。 其次,仅依据模型最终输出是否安全来训练扰动(比如让模型尽量输出预设的拒绝语)属于浅层的对齐模型可能学到的是表面模式而非真正的安全准则。 方法与创新:深度对齐的视觉安全提示(DAVSP) DAVSP 整体思路:作者重新审视了将安全提示引入视觉模态的范式,提出视觉安全提示(VSP)来取代传统的图像全局扰动,并设计了深度对齐(DA)的训练策略让模型从内部真正理解何为 DAVSP 的第二项创新深度对齐(Deep Alignment)旨在深入模型内部,对其内部激活空间进行监督,挖掘并增强模型自身对「有害 / 无害」信息的区分能力。 关键组件作用:通过消融实验,作者验证了 DAVSP 的两大创新 —— 视觉安全提示和深度对齐 —— 缺一不可。移除深度对齐、仅对输出进行监督时,模型对恶意攻击的抵抗成功率大幅下降。

    36710编辑于 2025-11-26
  • 来自专栏计算机视觉战队

    基于深度模型的人脸对齐和姿态标准化

    今天的小故事将完了,开始说说大故事,也就是今天所要说的人脸对齐及人脸姿势标准化,希望有兴趣的您继续阅读下去,谢谢! 有挑战性的数据——AFEW * 4.0数据库 从显示接近真实世界的电影中收集的音频视频剪辑 方法: n图像特征 对齐的人脸图像: 64x64; 特征: HOG, dense SIFT, DCNN. 最后卷积层的输出作为最终图像特征:256x7x7=12,544 nHOG Block size: 16x16; stride: 8; # ofblocks: 7x7=49 # of cells per block: 2x2 ; # ofbins: 9; # of total dims: 2x2x9x49=1764 nDense SIFT Block size: 16x16; stride: 8; # ofpoints: 7x7 : 3 Deep learning for nonlinear regression Coarse-to-FineAuto-Encoder Networks (CFAN) 人脸对齐:从检测到的脸部预测面部标志

    1.1K40发布于 2018-04-17
  • 来自专栏三丰SanFeng

    字节对齐

    第三个变量c,自身对齐值为2,所以有效对齐值也是2,可以存放在0x0008到0x0009这两个字节空间中,符合0x0008%2=0。所以从0x0000到0x0009存放的都是B内容。 2,所以,其有效对齐值为1,假设C从0x0000开始,那么b存放在0x0000,符合0x0000%1= 0;第二个变量,自身对齐值为4,指定对齐值为2,所以有效对齐值为2,所以顺序存放在0x0002、0x0003 第三个变量c的自身对齐值为2,所以有效对齐值为2,顺序存放 在0x0006、0x0007中,符合0x0006%2=0。所以从0x0000到0x00007共八字节存放的是C的变量。 又C的自身对齐值为4,所以 C的有效对齐值为2。又8%2=0,C只占用0x0000到0x0007的八个字节。所以sizeof(struct C)=8. 2 步骤 1 确定结构体的有效对齐2 确定每个元素的有效对齐值 3 从上到下计算结构体的长度 4 将第3步计算出来的长度按1的值进行圆整 需要注意的值: 1 编译器默认对齐

    2.8K50发布于 2018-01-16
  • 来自专栏golang分享

    内存对齐

    2次结果拼接起来拿到所需数据。这样比较耗费性能,编译器会把各种类型的值安排到合适的位置,并占用合适的长度。每种类型的对齐边值就是它的对齐边界。 int16(2),int32(4),内存对齐要求数据存储地址以及占用的字节数都是它对齐边界的倍数。 ,为了访问未对齐的内存,处理器需要作2次内存访问,而内存对齐就只需要一次访问 64位字的安全访问保证 在x86-32上,64位函数使用Pentium MMX之前不存在的指令。 8 byte c int32 4 byte 最大对齐 8 byte d int16 2 byte } 内存对齐的第一个要求、存储这个结构体的起始地址是对齐边界的整数倍 假如不扩张到对齐边界的整数倍,这个结构体大小就是22字节,如果要使用长度为2的T类型数组,按照元素类型大小,会占用44字节,就会导致于第二个元素并没有内存对齐 所以只有每个结构体的大小是对齐值的整数倍

    5.2K21编辑于 2023-07-30
  • 来自专栏python3

    打印对齐

    3.1415926 >>> print("%d"%a)    #%d只能输出整数,int类 3 >>> print("%f"%a)  #%f输出浮点数 3.141593 >>> print("%.2f (1)右对齐 >>> print("PI=%10.3f"%a)     #约束一下,这个的含义是整数部分加上小数点和小数部分共计10位,并且右对齐 PI=     3.142 (2)左对齐 >> > print("PI=%-10.3f"%a)    #要求显示的左对齐,其余跟上面一样 PI=3.142 二、字符类型(str) 和数值类型类似,不过将%d、%f的占位符变为了%s的占位符。

    2.3K20发布于 2020-01-09
领券