新智元报道 来源:VB 编辑:元子 【新智元导读】Microsoft Research近日发表论文介绍了一种通过2D数据生成3D模型的新框架,其使用3D卷积GAN,利用2D图像提供的物体表面之间的曝光差异成功检测出凹形物体的内部结构 研究人员称,该框架是首个针对2D数据的3D模型的“可缩放”训练技术。 与以前的工作相反,研究人员试图利用功能齐全的工业渲染器,例如显示数据生成图像的软件。为此,他们训练了3D形状的生成模型,以便生成与2D数据集的分布相匹配的图像。 生成器模型采用随机输入向量(代表数据集特征的值)并生成3D对象的连续体素表示(3D空间中网格上的值)。 从3D模型生成的一系列合成数据集和一个现实生活的数据集,他们合成了来自不同对象类别的图像,并在整个训练过程中从不同的角度对其进行了渲染。
上一节介绍3D Tiles渲染调度的时候,我们提到目前Cesium支持的Cesium3DTileContent目前支持如下类型: Batched3DModel3DTileContent Instanced3DModel3DTileContent 3D Tiles也是基于状态,从UNLOADING开始,通过一系列的request,完成最初的数据加载过程,结束LOADING状态,进入Pocessing过程,也就是数据解析。 这里解释一下:3D Tiles中主要的数据部分就是glTF,而glTF也是基于状态管理的,无论是glTF的解析还是构造DrawCommand,只是state不同,都是在update方法中完成的。 如上是batchtable的内容,以及3d tiles给出的文档信息,其实batchtable就是一个json对象。 下次以个人的经验来谈一下3D Tile好和不好的部分,当作完结篇。
但是,如果想要将这种方法应用于 3D 生成(synthesis),需要对大规模的 3D 数据集进行标注并且在其上面训练,除此之外,还需对 3D 数据去噪的有效架构,但目前这两者都不存在。 在这项工作中,作者通过使用预训练的 2D 文本-图像的扩散模型,实现文本到 3D 合成。他们引入了基于概率密度蒸馏的损失函数,这也允许了2D扩散模型作为先验,用以优化参数图像生成器。 在该方法中,给定文本生成的 3D 模型可以从任意角度观察,通过任意照明重新点亮,或合成到任何 3D 环境中。 \mathbf{x}, \sigma_t^2 \mathbf{I}\right) 而如果利用这个结果,我们同时可以积分数据的密度以得到平滑后的数据分布。 如果我们按照DDPM等方案中的损失函数来面对该任务,那么对于任何一个生成的数据点 \mathbf{x}=g(\theta) 而言,我们的目标是学习到最优的3D Volume参数。
Pine 发自 凹非寺 量子位 | 公众号 QbitAI 用2D数据训练出来的模型,也能生成3D图像了。 输入简单的文本提示,就能生成3D模型,这个“AI画师”的技术如何? 直接看效果。 它生成的3D模型还具有密度、颜色。 并且能够在不同的光照条件进行渲染。 不仅如此,它甚至可以把生成的多个3D模型融合到一个场景里。 不过要把扩散模型直接用来进行3D合成需要大规模的标记3D数据集和有效的3D数据去噪架构,但目前这两个都还没有,只能另谋出路。 具体来说,就是用Imagen扩散模型来计算生成3D图像过程中的损失,对3D模型进行优化,那损失是如何计算呢? (还是用2D扩散模型输出3D图像) 甚至有网友发问: 下一版本的高分辨率3D成果什么时候会出来?两年吗? 论文的一作直接在下方调侃地评论道: 两周?
此前,OpenAI 的 DALL-E 2 或 Google 的 Imagen 和 Parti 等 AI 系统展示了 AI 将文本生成图像的潜力,但内容也仅限于 2D 图像和图形。 2021 年末时,谷歌通过 Dream Fields 首次展示了 3D AI 生成系统,将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合。 Apple GAUDI 是 3D 内饰专家 虽然谷歌致力于使用 Dream Fields 生成单个对象,但将生成 AI 扩展到完全不受约束的 3D 场景仍是一个尚未解决的问题。 在对四个不同数据集(包括室内扫描数据集 ARKitScences)的实验中,研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。 虽然现在 GAUDI 生成的 3D 场景视频质量还不是很高,但这也说明了 AI 在图像和视频技术这生成的另一种可能。
3D 内容创作的核心是逆向图形学,旨在从 2D 观测中恢复 3D 表征。考虑到创建 3D 资产所需的成本和劳动力,3D 内容创作的最终目标将是从海量的互联网二维图像中学习三维生成模型。 最近关于三维感知生成模型的工作在一定程度上解决了这个问题,多数工作利用 2D 图像数据生成以物体为中心的内容(例如人脸、人体或物体)。 然而,这类生成任务的观测空间处于有限域中,生成的目标占据了三维空间的有限区域。这就产生了一个问题,我们是否能从海量互联网 2D 图像中学习到无界场景的 3D 生成模型? 2)缺乏内容对齐:已有三维生成工作使用具备对齐性质的数据集(如人脸、人体、常用物体等),这些有界场景中的目标物体通常具备类似的语义、相近的尺度位置和方向。 该框架包含三个主要模块:1)高效且高表现力的鸟瞰(BEV)三维场景表征;2)学习场景通用表征的生成式神经哈希网格;3)由风格驱动的体积渲染器,并经过对抗学习的方式直接从二维图像中进行训练。
重新使用工具,切换到修改模式生成(特别提醒:修改模式是需要连接数据库的,需要进行对比找出新增的字段)。可以看到找出了刚才新增的Grade字段了,现在在数据库里面执行。 2.文档生成工具 上面我们已经创建好了学生信息表,又来了个需求这次我们需要和公司的其它部分进行交互了,他们需要一个表结构信息的文档,你会怎么处理呢? 首先我们通过在EXECL或者WORD里面添加学生信息表,然后通过数据字典生成工具生成了该表的创建语句,模拟了需求修改需要加字段的场景。 后续则是需要传递信息了,这个时候文档生成工具就派上用场了,通过文档工具可以生成WORD或者HTML版的数据库结构设计说明书,是不是传递更加方便了呢。 回到顶部 工具源代码下载 目前总共有经过了七个版本的升级,现在提供最新版本的下载地址 数据字典生成工具V2.0安装程序 最新安装程序 数据字典生成工具源代码 最新源代码 http://code.taobao.org
1.绘制一些列的2D ERP scalp maps 本案例中将绘制一系列的2-D scalp maps,其中每个图表明的是一个特定的潜伏期的电压分布。 2.绘制一些列的3D ERP scalp maps 在eeglab界面上操作:Plot > ERP map series > In 3-D,将会弹出查询窗口(如下),要求您创建并保存一个新的三维头部图三维样条线文件 此时有两种选择:如果已经为此通道位置结构生成了样条文件,则可以在第一个编辑框中将其输入此处(首先单击"使用现有样条文件或结构以激活编辑框",然后浏览 如果没有创建这样的文件,则需要生成一个。 请注意,如果您使用的是模板通道位置文件之一,例如(v4.6+)教程数据集,则Talairach转换矩阵字段(包含通道对齐信息)将自动填充。 在上图中,点击"OK",即可弹出3D scalp maps. ? 在上图中,可以点击任意一个图,会弹出一个子窗口来单独绘制该图。 ? 可以在子图中根据需求进行旋转等操作: ?
紧接上文思路继续介绍3D特征的基本概念问题。 ? RIFT (Rotation-Invariant Feature Transform) RIFT是一种局部特征描述法,且该方法扩展于SIFT。 (2)NARF不仅是描述符,还是检测器。 可以首先在数据集上运行兴趣点检测器再进行描述子描述 http://docs.pointclouds.org/trunk/classpcl_1_1_narf_keypoint.html 工作原理: ( D3 shape description functions: Matching 3D Models with Shape Distributions (Osada et. al.) (3) D2:对于D2函数,计算Pri和Prj之间的距离。然后检查连接两点的线是否完全位于表面(IN),表面外(OUT)或两者(MIXED)。
在深度学习模型的训练过程中,模型的复杂度不断提升,参数量不断增长,数据量就显得完全不足了,而数据增强是必不可少的,数据增强就是对有限的少量训练数据,通过各种变换操作生成大量的新数据。 ? 数据增强方法分为离线增强和在线增强两种,离线增强一般用于很小规模的数据集,在离线状态下增强几倍数据量。 2.数据旋转(Rotation) 对输入图像进行一定角度的中心旋转,对于常规的矩形图像,只有旋转180度的倍数才能保证图像尺寸不变。 ? cvtColor(image, cv2.COLOR_BGR2RGB) image_aug = cv2.cvtColor(augmented['image'], cv2.COLOR_BGR2RGB ,主要用于3D医学影像CT的数据增强。
1.绘制一些列的2D ERP scalp maps 本案例中将绘制一系列的2-D scalp maps,其中每个图表明的是一个特定的潜伏期的电压分布。 输入后点击"OK",出现如下界面: 2.绘制一些列的3D ERP scalp maps 在eeglab界面上操作:Plot > ERP map series > In 3-D,将会弹出查询窗口(如下) 此时有两种选择:如果已经为此通道位置结构生成了样条文件,则可以在第一个编辑框中将其输入此处(首先单击"使用现有样条文件或结构以激活编辑框",然后浏览 如果没有创建这样的文件,则需要生成一个。 请注意,如果您使用的是模板通道位置文件之一,例如(v4.6+)教程数据集,则Talairach转换矩阵字段(包含通道对齐信息)将自动填充。 在上图中,点击"OK",即可弹出3D scalp maps. 在上图中,可以点击任意一个图,会弹出一个子窗口来单独绘制该图。 可以在子图中根据需求进行旋转等操作:
Invesalius是专门应用于医学图像3D重建,输入数据必须是一个序列的2D的DICOM图像,可以是CT或者是MRI序列,输出的是3D表面轮廓,该工具就是为生成解剖学的物理模型而做准备的。 可以看到原始数据会以中轴切面,矢状切面,冠状切面来进行显示,而立体就是最后输出结果示意图。 ? 2、选取感兴趣区域 接下来就是要提取图像中感兴趣的区域了,比如要提取人体肋骨。 3、配置3D表面 3D表面配置可以设置透明度,直接默认值即可,然后下一步。 4、输出结果 直接输出立体图像和相应的3D表面轮廓结果。 ?
3D技术中一个特别热门的子领域是3D模型的生成。创造性地组合3D模型,从图像快速生成3D模型,以及为其他机器学习应用程序和模拟创建综合数据,这只是3D模型生成的众多用例中的少数几个。 ? 使用top-p = 0.9的核采样和地面真实网格(蓝色)生成的图像条件样本(黄色)。 但是,在3D深度学习研究领域,为数据选择合适的表示是成功的一半。 在计算机视觉中,数据的结构非常简单:由密集像素组成的图像,这些像素整齐均匀地排列在精确的网格中。3D数据的世界没有这种一致性。3D模型可以表示为体素,点云,网格,多视图图像集等。 3D重建问题和3D-R2N2方法 当今非常经典的PointNet论文为建模点云数据(例如3D模型的尖端)提供了蓝图。 它是一种通用算法,不会对3D模型的面或占用进行建模,因此无法仅使用PointNet来生成3D-R2N2采用的体素方法将我们都熟悉的2D卷积扩展到3D,并通过自然地从RGB图像生成水密网格。
最近,3D药物设计的生成模型因其在蛋白质口袋中直接设计配体的潜力而获得了广泛关注。然而,目前的方法通常存在采样时间非常慢或生成分子的化学有效性差的问题。 当应用于药物类分子数据集时,许多模型还会生成化学不现实或质量较差的样本。 对于将分子表示为字符串或2D图的分子生成器,针对特定蛋白质口袋的微调已被证明非常有效,并且在该领域已成为标准做法。 Semla架构 图 2 如图2所示,作者提出了Semla——一种可扩展的等变模型,它使用多头潜在图注意力机制,消息传递在压缩的潜在表示上进行。 由于现有的3D生成模型在推理时已经需要知道N,因此使用尺度OT时对采样没有额外的限制。 表 2 由于QM9只包含非常小的分子,GEOM Drugs作为区分模型性能的更有用的基准。表2比较了作者的模型在该数据集上的表现。
腾讯元宝首发的3D生成应用,利用一张图片即可生成3D角色的技术,是人工智能领域的一个重要创新。这种技术的应用会极大地影响娱乐、游戏开发、虚拟现实和在线购物等行业。 生成3D角色的过程涉及到先进的算法,如生成对抗网络,这些算法能够在训练过程中不断优化,提高生成的3D模型的质量和逼真度。 (图 1-1)(图 1-2)未来应用随着技术的成熟和普及,未来的在线购物平台可能会利用这项技术为用户提供实时的虚拟试穿体验,提升购物体验的同时,也减少了退货率。 用户可以快速生成个人3D角色,便于进行360度全方位查看,并可选择分享、转发或者公开。提供保存3D角色模型文件做二次编辑,以及生成3D打印链接,实现从虚拟模型到完整实体的创意体验。 (一)《Protolabs 2024年3D打印趋势报告》显示,3D打印市场正经历显著扩张,将人工智能技术和3D生成结合,可实现更高效、更高质量的内容生成。
这款创新的模型开创了结构化生成的新理念,能够直接从单张 2D 图像生成由多个、具有语义意义且可独立操作的部件构成的复杂 3D 网格模型。 高质量部件级数据集的构建 高质量、大规模且带有精确部件标注的 3D 数据集是训练结构化生成模型的关键。 为了解决这一数据瓶颈,PartCrafter 团队通过系统化地挖掘和整合多个主流 3D 资源库,自主构建了一个专为部件级生成任务服务的大规模数据集。 这个数据集的开放将为结构化 3D 生成领域的研究提供宝贵的资源。 2. 定性结果 从定性结果来看,PartCrafter 能够生成几何结构清晰、细节丰富的 3D 物体与场景。更重要的是,其组合式潜在空间的设计赋予了用户前所未有的控制能力。
脚本DB_DB2_HC_lhr_v7.0.0是DB2数据库脚本,执行后会产生DB2数据库的健康检查html报告。 )、gisql(国产达梦)、gsql(openGauss)、db2(DB2数据库)环境即可运行脚本 4、脚本内容可视化,可以看到脚本内容,因此可供学习数据库使用 5、兼容Oracle 10g、11g、12c ,只有1个SQL脚本,不存在嵌套调用脚本等其它问题 13、最终生成html文件格式的健康检查结果 14、Oracle数据库对巡检结果进行过滤,列出了数据库有问题的内容 15、对OS的信息提供了收集(单独脚本 ) 3、DB2数据库运行方式 需要有db2数据库客户端,运行方式如下: ① 客户端在Windows平台,连接到本地db2数据库: db2cmd db2 connect to lhrdb && db2 - 2、该脚本只能对当前的数据库进行检测,若需要检查其它数据库,请重新跑脚本,并修改连接到的数据库名称,例如:db2 connect to test; 4、html巡检结果 这里只列出部分结果,其它的详细内容可以参考
assignmentTable' => 'auth_assignment', 'itemChildTable' => 'auth_item_child', ], 生成权限表命令
机器之心专栏 机器之心编辑部 45 秒单张图片变 3D,无需大量 3D 数据和逐物体优化。 3D AI 生成最近发展得如火如荼,不少最新工作都能够从一句话 / 一张图生成高质量的三维模型。 方法 由于 3D 数据的稀缺性,学术界最近的绝大多数 3D AI 生成工作都通过利用 2D 扩散生成模型来指导 3D 表示(如 NeRF)的优化,从而实现 3D 内容生成。 由于这类方法通过从训练数据学习了有关多视角预测不一致性的先验知识,他们更有希望能从不一致的多视角预测中生成 3D 模型。 相比之下,One-2-3-45 生成结果的 3D 一致性要好很多。 研究者还提到了 OpenAI 的 Point-E 和 Shap-E 在训练时用到了数百万级别的内部 3D 数据。 由于 3D 数据的稀缺性,这样的训练数据规模目前对于很多研究者 / 机构来说还是比较严苛的条件。
脚本DB_DB2_HC_lhr_v7.0.0是DB2数据库脚本,执行后会产生DB2数据库的健康检查html报告。 )、gisql(国产达梦)、gsql(openGauss)、db2(DB2数据库)环境即可运行脚本 4、脚本内容可视化,可以看到脚本内容,因此可供学习数据库使用 5、兼容Oracle 10g、11g、12c ,只有1个SQL脚本,不存在嵌套调用脚本等其它问题 13、最终生成html文件格式的健康检查结果 14、Oracle数据库对巡检结果进行过滤,列出了数据库有问题的内容 15、对OS的信息提供了收集(单独脚本 ) 3、DB2数据库运行方式 需要有db2数据库客户端,运行方式如下: ① 客户端在Windows平台,连接到本地db2数据库: db2cmd db2 connect to lhrdb && db2 - 2、该脚本只能对当前的数据库进行检测,若需要检查其它数据库,请重新跑脚本,并修改连接到的数据库名称,例如:db2 connect to test; 4、html巡检结果 这里只列出部分结果,其它的详细内容可以参考