首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏郑克松的专栏

    人脸对齐:ASM (主动形状模型)算法

    导语 :人脸对齐领域较早但是非常重要的ASM算法介绍 主动形状模型发表在95年,已经是比较老的模型了, 但是该算法是以后很多人脸对齐算法的基础,对理解人脸对齐领域算法有益,所以做了些研究。 下文内容主要有 1 面部几何约束 2 线性形状模型 3 特征点局部梯度模型 4 ASM搜索 一、 面部几何约束 1 全局刚性形变 2 局部非刚性形变 对于局部非刚性形变,在ASM中使用线性形状模型来建模这种变形 在介绍线性形状模型之前, 我们了解下怎么将原始形状向量去掉刚性变换,因为线性形状模型只是对非刚性变换建模的。 对齐效果 上图中每个特征点是一种颜色。 这样, 我们得到了每个样本对齐之后形状向量。把这些形状向量作为线性形状模型的输入。 这样, 我们建立了每个特征点的局部梯度模型--高斯分布模型

    6.5K20发布于 2017-08-24
  • 来自专栏资讯分享

    模型价值对齐:多维视角与前景

    第三,价值对齐以后还有哪些安全治理可以做的事?价值对齐知识大模型安全应用的前提之一。大模型的安全治理还涉及众多内容,例如隐私、版权、幻觉问题。 张拳石:基于可解释性的大模型可信评估和价值对齐从技术的角度来看,大模型的价值对齐背后有一个根本的问题,即大模型到底能否被解释清楚? 4)对齐问题,更多指模型的内在危害,使模型能够表征并且安全优化难以设定的目标,使其符合人类的价值观。第三种概念指的是“确保LLM回复安全内容的对齐技术”。 李珂:从人类教育的角度思考模型价值对齐在大模型落地方向中,我认为大模型价值对齐问题与人类教育有着相似之处。因此,我将从人类教育的角度探讨这一问题。价值对齐在做什么? 价值对齐的方法可以从教育学中找灵感。基于人类教育和模型价值对齐两个问题的对偶性,我们可以借鉴教育上的手段来思考如何设计更好的模型价值对齐方法。

    86411编辑于 2023-11-28
  • 来自专栏MixLab科技+设计实验室

    大语言模型对齐技术 - RLHF训练方法

    "abliteration"技术,通过识别LLM中的"拒绝方向"并正交化权重,解除模型审查机制。 实验显示该方法会降低模型性能,但后续DPO微调可恢复表现,最终得到高性能无审查的8B模型NeuralDaredevil。 核心要点: 技术原理:对比有害/无害指令的残差流激活差异,定位"拒绝方向"(如Llama 3的审查机制) 关键操作:通过权重正交化永久消除该方向,使模型不再拒绝敏感请求 性能影响:直接应用会导致MMLU 等指标下降(如Daredevil-8B分数降低) 修复方案:采用DPO偏好对齐微调(使用orpo-dpo-mix-40k数据集),恢复模型能力 伦理争议:暴露安全微调的脆弱性,需谨慎使用该技术

    14110编辑于 2026-03-24
  • 来自专栏CSDN博客专家-小蓝枣的博客

    PyQt5 技术篇-设置alignment对齐方式。Qt Designer设置文本对齐方式。居中、左对齐、右对齐、上对齐、下对齐

    通过alignment设置,展开后可以设置水平方向或垂直方向的对齐方式。 PyQt5设置文本对齐方法: self.label.setAlignment(QtCore.Qt.AlignRight|QtCore.Qt.AlignVCenter) 两个参数一个是横向靠右,一个是纵向居中 Qt Designer设置文本对齐方法: 如图,水平默认的左对齐我改为了右对齐。 ?

    10.8K30发布于 2020-09-23
  • 来自专栏韩曙亮的移动开发专栏

    【CSS】vertical-align 垂直对齐 ( 块级元素对齐 | 行内元素 行内块元素对齐 | 基线对齐 | 垂直居中 | 顶部对齐 | 底部对齐 )

    可以设置四种对齐 : baseline 基线 / top 顶线 / middle 中线 / bottom 底线 ; 基线对齐 : 图片底部位置 与 文字基线 对齐 ; 这是默认的对齐方式 , 如果是 : 图片顶部 与 文字顶线 对齐 ; vertical-align: top; 底部对齐 : 图片底部 与 文字底线 对齐 ; vertical-align: bottom; 二、vertical-align 垂直对齐代码示例 ---- 代码示例 : <! ; } .three { /* 顶线对齐 - 图片顶部与文字顶线对齐 顶部对齐*/ vertical-align: top; } .four { /* 底线对齐 - 图片底部与文字底线对齐 ="one"> 基线对齐 : 图片底部与文字基线对齐

    中线对齐 : 图片中心与文字中心对齐

    5.3K30编辑于 2023-04-24
  • 来自专栏机器之心

    执行推理时能对齐语言模型吗?谷歌InfAlign带来一种对齐新思路

    在根据某个奖励微调生成式语言模型时,使用 KL 正则化的强化学习(KL-RL)来对齐生成式语言模型是一种常用框架。而 KL-RL 通常需要训练一个奖励模型,然后使用一个强化学习求解器。 其它方法还包括直接偏好优化、奖励模型蒸馏、best-of-N 蒸馏的不同变体版本。 在度量 KL-RL 框架的效果时,常用的指标是已对齐模型相较于参照模型在给定任务上的胜率。 但是,在推理时间很少会使用已对齐模型,而是会通过一个推理时间流程来完成任务,比如 best-of-N 采样、best-of-N 越狱、思维链推理、自我一致性。 于是,问题来了:给定一个已知的推理时间流程,我们可以对齐模型,从而优化相对于参照模型的推理时间胜率吗? 使用奖励变换实现强化学习 为了解决以下定义 5 中的语言模型对齐问题,该团队提出了一个通用框架。 定义 5:令 T 为一个给定的推理时间流程,且 β > 0。

    21200编辑于 2025-02-03
  • 来自专栏深度学习自然语言处理

    大语言模型对齐的四种方法!

    作者:Asukka,北京邮电大学 AI院在读研究生 原文:https://zhuanlan.zhihu.com/p/673853716 编辑:青稞AI 语言模型对齐在20年就有相关工作,22年谷歌提出基于指令微调的 Flan,Openai则提出InstructGPT,ChatGPT,大模型对齐工作受到广泛的关注。 目前,大模型对齐工作中,RLHF算法是能够达到最优的结果,RLHF通过人类反馈和PPO算法,能够有效的将模型和人类偏好进行对齐。但是RLHF也存在难以训练,训练显存占用较大的缺点。 基于此,相关研究工作(RRHF, DPO)等也逐渐被提出,希望能够在较小的显存占用的情况下,实现对齐的工作。本文主要总结RLHF,RRHF,DPO,Flan的相关对齐工作。 FLAN https://arxiv.org/abs/2210.11416 这篇论文是ChatGPT之前做的比较好的对齐工作,其核心思想就是探究增加数据集的规模,增加模型的大小,增加COT的数据对于模型的性能和泛化能力的影响

    1.7K10编辑于 2024-05-11
  • 来自专栏资讯分享

    为什么价值对齐是大模型的必由之路?

    解决对齐困境的出路包括:达成全球共识的伦理价值体系、开发可解释的对齐技术路线、建设完善的对齐效果评估体系。5. 大模型价值对齐需要关注个体需求、集体规范、主体能动性,并兼顾技术实践与法律规制。6. 大模型价值对齐仍有理论局限,需要保持开放和审慎的态度,在实践中逐步推进。 刘鹏飞:技术开发人员容易低估大模型价值对齐的重要性我为什么会做大模型的价值对齐研究呢? 大模型的价值设计要解决的就是价值对齐问题。那么什么是对齐? 而从积极隐私的意义上来说,随着大语言模型或基础模型的能力越来越强,我们能在多大程度上,应该在多大程度上,限制个人利用大模型对齐自身的意志和价值,值得深思。最后,进行基于国际比较的展望。

    61120编辑于 2023-11-10
  • AI前沿动态:模型发布、超级计算与对齐挑战

    本期内容概览:xAI发布Grok 4,在多项基准测试中取得突破性性能,成为传统大型实验室之外的首个真正意义上的前沿模型,同时推出每月300美元的订阅服务。 Grok的对齐挑战显现,出现反犹太主义回应,突显了在引导模型“寻求真相”的同时避免有害偏见的难度。 (01:02:14) 数学推理能提升大语言模型的通用能力吗? 理解大语言模型推理的可迁移性(01:07:58) 衡量2025年初的AI对有经验开源开发者生产力的影响(01:13:03) 使用最小化最大遗憾来缓解目标误泛化(01:17:01) 大语言模型中的相关错误 政策与安全(01:22:53) 评估前沿模型的隐蔽性和态势感知能力(01:25:49) 当思维链必要之时,语言模型难以规避监控(01:30:09) 为什么有些语言模型假装对齐而另一些则不会?

    16710编辑于 2025-12-16
  • 多头对齐:视觉语言模型知识蒸馏新方法

    多头对齐:视觉语言模型知识蒸馏新方法方法保留教师模型注意力头中编码的知识,即使学生模型的注意力头数量更少也能实现基于Transformer架构的大型机器学习模型最近在视觉和语言任务上展现出卓越的性能。 然而,这类大模型通常因速度问题难以满足实时应用需求,因此实际系统常采用知识蒸馏技术,将大模型的知识提炼到更精简、更快速的模型中。 传统的大型Transformer蒸馏通常将经过训练的大模型(教师模型)的注意力头与精简目标模型(学生模型)的注意力头进行一对一的对齐。然而,限制注意力头的数量正是学生模型降低复杂度的关键方式之一。 在今年的人工智能促进协会(AAAI)年会上,我们提出了一种替代方案:将教师模型所有注意力头的知识都蒸馏到学生模型所有注意力头中。 由于学生模型的头数少于教师模型,学生模型中的单个注意力头最终可能会编码教师模型中多个注意力头所包含的信息。

    11910编辑于 2026-02-14
  • 来自专栏机器之心

    AAAI 2026 Oral | 通过视觉安全提示与深度对齐实现大型视觉语言模型的安全对齐

    DAVSP 通过引入全新的视觉安全提示与深度对齐策略,在几乎不破坏模型正常能力的前提下,显著提升了大型视觉语言模型对恶意输入的抵御效果,为大型视觉语言模型的安全对齐提供了新的方法。 其次,仅依据模型最终输出是否安全来训练扰动(比如让模型尽量输出预设的拒绝语)属于浅层的对齐模型可能学到的是表面模式而非真正的安全准则。 方法与创新:深度对齐的视觉安全提示(DAVSP) DAVSP 整体思路:作者重新审视了将安全提示引入视觉模态的范式,提出视觉安全提示(VSP)来取代传统的图像全局扰动,并设计了深度对齐(DA)的训练策略让模型从内部真正理解何为 DAVSP 的第二项创新深度对齐(Deep Alignment)旨在深入模型内部,对其内部激活空间进行监督,挖掘并增强模型自身对「有害 / 无害」信息的区分能力。 关键组件作用:通过消融实验,作者验证了 DAVSP 的两大创新 —— 视觉安全提示和深度对齐 —— 缺一不可。移除深度对齐、仅对输出进行监督时,模型对恶意攻击的抵抗成功率大幅下降。

    30810编辑于 2025-11-26
  • 来自专栏计算机视觉战队

    基于深度模型的人脸对齐和姿态标准化

    今天的小故事将完了,开始说说大故事,也就是今天所要说的人脸对齐及人脸姿势标准化,希望有兴趣的您继续阅读下去,谢谢! 有挑战性的数据——AFEW * 4.0数据库 从显示接近真实世界的电影中收集的音频视频剪辑 方法: n图像特征 对齐的人脸图像: 64x64; 特征: HOG, dense SIFT, DCNN. 比赛最终结果: ---- HERML 该实验证明了深度越深,效果越好(但是深到一个阈值界限,应该是有所下降或稳定) 但是DCNN+ HERML (set models)效果更好 ---- 现在开始说说人脸对齐的知识 : 3 Deep learning for nonlinear regression Coarse-to-FineAuto-Encoder Networks (CFAN) 人脸对齐:从检测到的脸部预测面部标志

    1.1K40发布于 2018-04-17
  • 来自专栏三丰SanFeng

    字节对齐

    对齐的实现: 通常,我们写程序的时候,不需要考虑对齐问题。编译器会替我们选择适合目标平台的对齐策略。当然,我们也可以通知给编译器传递预编译指令而改变对指定数据的对齐方法。 3.结构体或者类的自身对齐值:其成员中自身对齐值最大的那个值。 4.数据成员、结构体和类的有效对齐值:自身对齐值和指定对齐值中小的那个值。 第一个成员变量b的自身对齐值是1,比指定或者默认指定对齐值4小,所以其有效对齐值为1,所以其存放地址0x0000符合0x0000%1=0.第二个成员变量a,其自身对齐值为4,所以有效对齐值也为 4,所以只能存放在起始地址为 指定对齐值:#progma pack (value)时的指定对齐值value。 结构体或者类的自身对齐值:其成员中自身对齐值最大的那个值。 数据成员、结构体和类的有效对齐值:自身对齐值和指定对齐值中小的那个值。

    2.8K50发布于 2018-01-16
  • 来自专栏golang分享

    内存对齐

    每种类型的对齐边值就是它的对齐边界。int16(2),int32(4),内存对齐要求数据存储地址以及占用的字节数都是它对齐边界的倍数。 内存对齐的收益 提高代码平台兼容性 优化数据对内存的使用 避免一些内存不对齐带来的坑 有助于一些源码的阅读 为什么要对齐 列举一些常见的单位 位 bit 计算机内存数据存储的最小单位 字节 byte 接下来是c,它要对齐到4字节。所有成员放好还不算完,内存对齐的第二个要求是结构体整体占用字节数需要是类型对齐边界的整数倍,不够的话要往后扩张。所以要扩充到相当地址23这里。 golangci-lint run –disable-all -E maligned 结论 内存对齐是为了cpu更高效的访问内存中的数据 结构体对齐依赖类型的大小保证和对齐保证 地址对齐保证是: Golang 是否有必要内存对齐? Go 的内存对齐和指针运算详解和实践

    5.1K21编辑于 2023-07-30
  • 来自专栏python3

    打印对齐

    (1)右对齐 >>> print("PI=%10.3f"%a)     #约束一下,这个的含义是整数部分加上小数点和小数部分共计10位,并且右对齐 PI=     3.142 (2)左对齐 >> > print("PI=%-10.3f"%a)    #要求显示的左对齐,其余跟上面一样 PI=3.142 二、字符类型(str) 和数值类型类似,不过将%d、%f的占位符变为了%s的占位符。

    2.3K20发布于 2020-01-09
  • 来自专栏知识同步

    内存对齐

    使用伪代码表示: min(#pragma pack, 结构最大数据成员长度) * N 规则2 在数据成员完成各自对齐之后,结构(或联合)本身也要进行对齐对齐也按照#pragma pack指定的数值和结构 规则3 如果没有使用#pragma pack指令来显式的指定内存对齐的字节数,则按照默认字节数来对齐,各个平台的默认对齐规则如下:32位CPU默认按照4字节对齐;64位CPU默认按照8字节对齐。 /4 }; int main() { cout << sizeof(x); //8 } 上面两个如果在#pragma pack(8)下也是一样,因为int是4个字节,小于8,所以是4字节对齐

    1.6K30编辑于 2022-12-26
  • 来自专栏初学C++

    内存对齐

     内存对齐应用于三种数据类型中:struct、class、union;为什么要内存对齐:提高内存访问效率,减少cpu访问内存次数用sizeof运算符可以得到整个结构体占用内存的大小。 内存对齐:#pragma pack(字节数) 如果用1,那么内存之间就没有空隙了合理使用内存对齐规则,某些节省内存的做法可能毫无意义。 位域:位域定义与结构体定义相仿,其形式为:struct 位域结构名{ 位域列表 }其中位域列表的形式为:type [member_name] : width;图片结构体内存对齐规则:1、首先看有没有 自动补齐,b从4开始,到7结束,然后看c,c中最大是a,4字节,a从下标8开始,到11结束,b从12开始,到13结束,arr从14开始,到33结束,此时stu有26个大小,但是不是4的整数倍,所以内存对齐 ;当结构体中的最大的数据类型的大小 小于 宏定义的大小时,就会以结构体中最大的数据类型的大小来进行内存对齐#pragma pack(8) struct test { char a; int

    84840编辑于 2023-09-02
  • 来自专栏小鹏的专栏

    kaldi -- aidatatang_200zh脚本解析:获取对齐文件(对指定的数据进行对齐,作为新模型的输入)

    use_graphs(默认是false)判断是否需要重新构建图 1.1 compile-train-graphs //使用final.mdl重新构建图 2. gmm-align-compiled //对齐 3. gmm-boost-silence //模型平滑处理 4. steps/diagnostic/analyze_alignments.sh --cmd "$cmd" $lang $dir 备注

    1.1K20发布于 2021-07-20
  • 来自专栏DrugOne

    InstructPLM: 对齐蛋白质语言模型以遵循蛋白结构指令

    受此启发,作者利用受大型语言模型启发的跨模态对齐(cross-modality alignment)和指令微调(instruct fine-tuning)技术,将生成式蛋白质语言模型与蛋白质结构指令对齐 为了解决数据有限的问题,在大型视觉-语言模型领域出现了一种新的策略,即跨模态对齐,据说已被整合到GPT-4中(尽管GPT-4的技术细节尚未公开披露)。 跨模态对齐通过将预训练的视觉模型与预训练的语言模型仔细对齐,弥合了这一差距,从而实现了有效的跨模态生成、理解和推理。 因此,应对这一挑战需要开发专门为蛋白质量身定制的强大单模态模型对齐技术。 作者提出的模型InstructPLM,采用了一个轻量级的交叉注意力层,将一个固定的蛋白质主链编码器与一个固定的蛋白质语言模型解码器对齐,旨在教授蛋白质语言模型按照蛋白质结构指令设计序列。

    44210编辑于 2024-06-04
  • 来自专栏资讯分享

    AI大模型价值对齐:是什么,为什么,怎么做?

    在一定程度上,模型的大小和模型的风险、危害成正相关,模型越大,风险越高,对价值对齐的需求也就越强烈。 因此,为了让大模型更加安全、可靠、实用,就需要尽可能地防止模型的有害输出或滥用行为。这是当前AI价值对齐的一项核心任务。 AI价值对齐:为什么对大模型进行价值对齐,可以更好地应对大模型目前存在的一些突出问题。根据各界对于大模型突出问题的梳理,主要有如下四项:一是错误信息问题。业内称为人工智能的“幻觉”。 因此,价值对齐作为一个需要从技术上找到应对之策的实践性问题,已经成为AI大模型设计开发和部署过程中的一项基本原则,即:通过价值对齐的工具开发和工程化建设,努力确保AI以对人类和社会有益的方式行事,而不会对人类的价值和权利造成伤害或干扰 AI价值对齐:怎么做为了实现价值对齐,研发人员需要在模型层面让人工智能理解、遵从人类的价值、偏好和伦理原则,尽可能地防止模型的有害输出以及滥用行为,从而打造出兼具实用性与安全性的AI大模型

    1.3K31编辑于 2023-08-23
领券