- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI科技大本营的专栏
苹果发布 AI 生成模型 GAUDI，文字生成 3D 场景
近日，苹果 AI 团队发布最新 AI 模型 GAUDI，它是基于 3D 场景的神经架构 NeRFs，可以根据文字生成 3D 室内场景。 2021 年末时，谷歌通过 Dream Fields 首次展示了 3D AI 生成系统，将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合。 Apple GAUDI 是 3D 内饰专家 虽然谷歌致力于使用 Dream Fields 生成单个对象，但将生成 AI 扩展到完全不受约束的 3D 场景仍是一个尚未解决的问题。 在对四个不同数据集（包括室内扫描数据集 ARKitScences）的实验中，研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。 虽然现在 GAUDI 生成的 3D 场景视频质量还不是很高，但这也说明了 AI 在图像和视频技术这生成的另一种可能。
1.1K20编辑于 2022-12-09 - 来自专栏最新医学影像技术
3D人体模型生成案例分享
Invesalius是专门应用于医学图像3D重建，输入数据必须是一个序列的2D的DICOM图像，可以是CT或者是MRI序列，输出的是3D表面轮廓，该工具就是为生成解剖学的物理模型而做准备的。 可以看到原始数据会以中轴切面，矢状切面，冠状切面来进行显示，而立体就是最后输出结果示意图。 ? 2、选取感兴趣区域 接下来就是要提取图像中感兴趣的区域了，比如要提取人体肋骨。 3、配置3D表面 3D表面配置可以设置透明度，直接默认值即可，然后下一步。 4、输出结果 直接输出立体图像和相应的3D表面轮廓结果。 ?
1.7K40发布于 2020-06-29 - 来自专栏DeepHub IMBA
使用PolyGen和PyTorch生成3D模型
3D技术中一个特别热门的子领域是3D模型的生成。创造性地组合3D模型，从图像快速生成3D模型，以及为其他机器学习应用程序和模拟创建综合数据，这只是3D模型生成的众多用例中的少数几个。 ? 使用top-p = 0.9的核采样和地面真实网格（蓝色）生成的图像条件样本（黄色）。 但是，在3D深度学习研究领域，为数据选择合适的表示是成功的一半。 在计算机视觉中，数据的结构非常简单：由密集像素组成的图像，这些像素整齐均匀地排列在精确的网格中。3D数据的世界没有这种一致性。3D模型可以表示为体素，点云，网格，多视图图像集等。 3D重建问题和3D-R2N2方法 当今非常经典的PointNet论文为建模点云数据（例如3D模型的尖端）提供了蓝图。 原始数据集非常大，因此为了节省时间，我在此处为您的实验提供了数据集的一个更轻量级，经过预处理的子集。该子集仅包含来自5个形状类别的模型，并且转换为n形后的顶点少于800个（如下所述）。
2.2K10发布于 2020-11-09 - 来自专栏DrugOne
MolFlow: 高效3D分子生成方法
最近，3D药物设计的生成模型因其在蛋白质口袋中直接设计配体的潜力而获得了广泛关注。然而，目前的方法通常存在采样时间非常慢或生成分子的化学有效性差的问题。 最后，作者比较了MolFlow与当前方法在生成高质量样本方面的能力，进一步展示了其强大性能。 3D药物设计的生成模型最近因其在蛋白质口袋中直接设计配体的潜力而引起了极大关注。 其他模型尝试训练无条件的3D分子生成器作为起点，尤其是那些应用扩散模型到分子坐标上的模型已经变得特别流行。 由于现有的3D生成模型在推理时已经需要知道N，因此使用尺度OT时对采样没有额外的限制。 分子生成结果 表 1 表1比较了MolFlow与现有方法在QM9数据集上的性能，除了唯一性之外，MolFlow在所有指标上都能匹敌或超过所有模型，同时使用的采样步骤比MiDi和EQGAT-diff少了5
67910编辑于 2024-07-18 腾讯元宝3D生成应用来了
腾讯元宝首发的3D生成应用，利用一张图片即可生成3D角色的技术，是人工智能领域的一个重要创新。这种技术的应用会极大地影响娱乐、游戏开发、虚拟现实和在线购物等行业。 生成3D角色的过程涉及到先进的算法，如生成对抗网络，这些算法能够在训练过程中不断优化，提高生成的3D模型的质量和逼真度。 用户可以快速生成个人3D角色，便于进行360度全方位查看，并可选择分享、转发或者公开。提供保存3D角色模型文件做二次编辑，以及生成3D打印链接，实现从虚拟模型到完整实体的创意体验。 （一）《Protolabs 2024年3D打印趋势报告》显示，3D打印市场正经历显著扩张，将人工智能技术和3D生成结合，可实现更高效、更高质量的内容生成。 （二）此技术的推出会对3D打印和个性化内容创造领域产生积极影响。（三）基于腾讯混元大模型打造的“3D角色梦工厂”，在技术上已具备生成动漫、建筑、游戏道具等类型的3D资产的能力。
2.4K10编辑于 2024-07-17- 来自专栏机器之心
支持二次编辑、导入虚拟引擎5，Stable Diffusion进化出3D生成功能
Stability AI 推出了 Stable 3D 私人预览版，能够自动生成 3D 对象，消除了大部分复杂度，允许非专业人员通过选择一张图像或草图或者编写一个文本 prompt，在几分钟内生成一个草稿质量的 3D 数据集和矢量化。 Stable 3D 是在 Stable Diffusion 和 Objaverse-XL 数据集的基础上构建的，后者是世界上最大的开源 3D 数据集之一。 Mostaque 认为，构建和渲染 3D 图像是一个资源密集型过程，Stable 3D 将比传统 3D 图像生成方法更有效。 Stable 3D 创建的对象会设置为「.obj」标准文件格式，并可以在 Blender 和 Maya 等 3D 工具中进一步编辑和改进，或者导入到虚拟引擎 5 或 Unity 游戏引擎中直接使用。
67340编辑于 2023-11-02 - 来自专栏机器之心
3D AI生成出新玩法了：无需数小时，只要45秒，单张图片即可生成 3D模型
机器之心专栏 机器之心编辑部 45 秒单张图片变 3D，无需大量 3D 数据和逐物体优化。 3D AI 生成最近发展得如火如荼，不少最新工作都能够从一句话 / 一张图生成高质量的三维模型。 方法 由于 3D 数据的稀缺性，学术界最近的绝大多数 3D AI 生成工作都通过利用 2D 扩散生成模型来指导 3D 表示（如 NeRF）的优化，从而实现 3D 内容生成。 由于这类方法通过从训练数据学习了有关多视角预测不一致性的先验知识，他们更有希望能从不一致的多视角预测中生成 3D 模型。 、输出的几何表示、结果的 3D 一致性、与输入的相似性，以及所需的 3D 数据规模上，具有多方面的优势。 由于 3D 数据的稀缺性，这样的训练数据规模目前对于很多研究者 / 机构来说还是比较严苛的条件。
4.6K30编辑于 2023-08-07 - 来自专栏新智元
3D卷积GAN飞起！微软“可缩放”新框架只需2D数据即可生成逼真3D模型
新智元报道 来源：VB 编辑：元子 【新智元导读】Microsoft Research近日发表论文介绍了一种通过2D数据生成3D模型的新框架，其使用3D卷积GAN，利用2D图像提供的物体表面之间的曝光差异成功检测出凹形物体的内部结构 研究人员称，该框架是首个针对2D数据的3D模型的“可缩放”训练技术。 与以前的工作相反，研究人员试图利用功能齐全的工业渲染器，例如显示数据生成图像的软件。为此，他们训练了3D形状的生成模型，以便生成与2D数据集的分布相匹配的图像。 生成器模型采用随机输入向量（代表数据集特征的值）并生成3D对象的连续体素表示（3D空间中网格上的值）。 从3D模型生成的一系列合成数据集和一个现实生活的数据集，他们合成了来自不同对象类别的图像，并在整个训练过程中从不同的角度对其进行了渲染。
1.2K31发布于 2020-03-11 - 来自专栏翩翩白衣少年
一款很Nice的3D生成工具，包括文生3D、图生3D、3D生3D等众多功能！
前言 今天要给大家分享一个很Nice的 3D 生成工具集—MVEdit！ 项目介绍 MVEdit 是一个基于控制的多视角编辑的通用3D扩散适配器，使用现成的2D稳定扩散模型进行3D生成和编辑。 生成：利用现成的 2D 稳定扩散模型，MVEdit 能够生成具有高质量纹理和结构的 3D 生成物。 • 多功能 demo UI：提供包括文本到 3D、图像到 3D、3D 到 3D 文字编辑和材质重构等全功能演示界面。 • 快速推理：仅需 2-5 分钟的推理时间，在质量和速度之间达到了出色的平衡。 • 顶尖性能：在文本引导的纹理生成和图像到 3D 生成等评估中表现出色。
1.7K10编辑于 2024-03-25 - 来自专栏AI科技大本营的专栏
玩转3D全息图像！AI即刻生成
计算机生成的全息(CGH)通过对衍射和干涉的数值模拟实现了高空间角度的3D投影。 长期以来，研究人员一直在研究制作全息图的技术，但是，现有的基于物理的方法无法生成具有按像素聚焦控制和精确遮挡的全息图。 研究人员通过引入具有4,000对RGB深度图像和相应的3D全息图的大规模CGH数据集(MIT-CGH-4K)进行训练。 ? 训练神经网络通常需要庞大的高质量数据集，而3D全息图以前没有这种数据集。 研究人员引入了大规模菲涅耳全息图数据集MIT-CGH-4K，该数据集由4,000对RGB深度（RGB-D）图像和相应的3D全息图组成。 研究人员创建的数据集具有三个重要功能，以使CNN能够学习逼真的3D全息图。
2K20发布于 2021-03-25 AI生成3D建筑，进入Vibe Modeling时刻
输出端给的是，一个几何+参数化逻辑底座的可编辑3D模型，可以导出到Rhino、Grasshopper、GLB等主流CAD/BIM流程。我也试了一下。 我拿北京央视「大裤衩」的一张草图，让Plamo生成对应的3D模型。最后生成成功了，但整体效果质量还有待提高。这是输入的草图与提示词：使用这张建筑草图作为中央电视台总部大楼三维质量模型研究的抽象参考。 生成了10分钟左右，结果是这样体量是没有对的，不过话说回来，我认为能生成已经非常不错了。 原因是web端（浏览器里做3D模型生成）有几个基础瓶颈要解决——浏览器内的几何内核、显存、长流程的状态管理——这些都是工程上很难绕过去的坎，Plamo能把流程跑通本身已经是突破。 除了Illoca，还有胡政涛的AtomicArch1人10个月，做了一款AI原生建筑3D设计软件，用14万行代码重写CAD底层、看到AIRILab最近在探索3D生成、哈佛系的Reer独家|哈佛系Reer
33610编辑于 2026-08-24- 来自专栏CreateAMind
3d数据集
, Manolis and Song, Shuran and Zeng, Andy and Zhang, Yinda}, journal={International Conference on 3D The dataset consists of several types of annotations: color and depth images, camera poses, textured 3D
1.5K20发布于 2018-07-24 - 来自专栏MixLab科技+设计实验室
生成专属于你的人工智能书【3D生成器】
<a-sphere position="1 1.25 -6" radius="1.25" color="#EF2D<em>5</em>E"></a-sphere> 完整的示例代码，更多请参考官方api文档： <html> rotation="0 45 0" color="#4CC3D9" ></a-box> <a-sphere position="1 1.25 -6" radius="1.25" color="#EF2D<em>5</em>E 需要先定义几个函数： 书名<em>生成</em> getTitle 书籍难度<em>生成</em> getLevel 配色<em>生成</em> getColors 此处采用的逻辑都是随机从库里<em>数据</em>（随机是最好的方法），例如配色的<em>生成</em>代码： function ： 1 根据封面的尺寸，等分，<em>生成</em>网格； 2 随机<em>生成</em>几个六边形或五边形； 3 计算<em>生成</em>的六边形及五边形按照正态分布随机摆放的位置及大小。 <em>5</em> <em>生成</em>背景图 比较重要的算法就是按照正态分布产生随机数的算法，代码： function mathNormal(x, mu, sigma) { mu = mu || 0; sigma = sigma
1.2K60发布于 2018-07-25 - 来自专栏章鱼的慢慢技术路
Direct3D 11 Tutorial 5: 3D Transformation_Direct3D 11 教程5：3D转型
在3D中，用于翻译的矩阵具有形式。 例如，要沿X轴（负X方向）移动顶点-5单位，我们可以将其与此矩阵相乘： 1 0 0 0 0 1 0 0 0 0 1 0 -5 0 0 1 如果我们将此应用于以原点为中心的立方体对象 ，则结果是该框向负X轴移动5个单位，如图5所示，在应用平移之后。 图5.旋转和平移的效果 ? 创建轨道 在本教程中，我们将转换两个多维数据集。 第一个将旋转到位，而第二个将围绕第一个旋转，同时在其自己的轴上旋转。 请注意，世界矩阵对于每个多维数据集都是唯一的，因此会为每个传递给它的对象进行更改。
2.8K40发布于 2018-12-04 - 来自专栏智能生信
arXiv｜使用深度生成模型在3D空间上生成类药分子
因此，将分子的三维条件纳入深度生成模型是非常有必要的，但目前在这个方向上的探索相当有限，仍然存在许多问题需要解决。 引入3D信息的一种方法是将现有的基于SMILES的生成模型建立在3D数据上。 然而，这些模型输出的分子不包含3D信息，通常需要一个额外的优化步骤来将分子嵌入到3D空间。一种更理想的方法是直接生成三维坐标。 为了使该网络能够生成类药分子，作者构建了ChEMBL数据集的类药分子子集，并创建了一个“专家轨迹”，用于生成数据集中的每个分子，然后通过模仿这些轨迹来训练L-Net。 与之前大多数用于3D分子的自回归模型相比，此方法在一次迭代中生成了所有连接到v∗的原子（图5）。这主要有两个优点。首先，它可以节省计算资源（因为状态编码器对每个步骤只运行一次）。 图5. L-Net的性能，以有效性和唯一性来衡量 图6a显示了几个随机生成的样本的拓扑和3D结构。目测来看，这些分子具有正确的局部几何形状。
2K20发布于 2021-10-08 - 来自专栏机器之心
无需任何3D数据，直接文本生成高质量3D内容，清华朱军团队带来重大进展
机器之心发布 机器之心编辑部 清华大学 TSAIL 团队最新提出的文生 3D 新算法 ProlificDreamer，在无需任何 3D 数据的前提下能够生成超高质量的 3D 内容。 这种技术可以从简单的文本描述中生成具体的 3D 模型，为设计师、游戏开发者和数字艺术家提供强大的工具。 然而，为了根据文本生成准确的 3D 模型，传统方法需要大量的标记 3D 模型数据集。 这些数据集需要包含多种不同类型和风格的 3D 模型，并且每个模型都需要与相应的文本描述相关联。创建这样的数据集需要大量的时间和人力资源，目前还没有现成的大规模数据集可供使用。 由谷歌提出的 DreamFusion [1] 利用预训练的 2D 文本到图像扩散模型，首次在无需 3D 数据的情况下完成开放域的文本到 3D 的合成。 stable-diffusion），Dreamfusion [1] 提出可以在不借助任何 3D 数据的情况下实现开放域的文到 3D 内容（text-to-3D）生成。
1.2K30编辑于 2023-05-31 超越传统3D生成：OccScene实现感知与生成的跨任务共赢
无需依赖真实标注，仅凭文字提示即可生成高质量3D场景在自动驾驶、机器人导航等领域，3D场景的感知与生成一直是研究热点。 然而，传统方法通常将这两个过程分离：生成模型仅仅作为数据增强工具，为下游感知任务提供合成数据。这种方法不仅灵活性有限，生成的场景也往往缺乏对感知任务有价值的细节。 近日，上海交通大学与宁波数字孪生研究院联合团队提出了一种名为OccScene的创新范式，将细粒度3D感知与高质量场景生成统一在同一个框架中，实现了跨任务的互利共赢。 传统方法的三大挑战现有3D场景生成方法面临三大核心问题：灵活性有限：依赖真实标注数据（如3D边界框、BEV地图）进行推理，标注成本高且难以生成多样化的边缘案例约束不足：使用区域级粗糙先验无法提供像素级细粒度语义和几何指导目标不明确 /视频及其对应语义占据，为自动驾驶和机器人领域带来了实际价值：无需标注数据即可生成多样化训练样本增强感知模型在复杂场景下的理解能力支持一致性视频生成与编辑，适应动态环境未来展望OccScene为3D场景理解与生成开辟了新路径
36010编辑于 2025-10-31- 来自专栏CreateAMind
5篇生成模型相关 paper
5 SEMANTIC INTERPOLATION IN IMPLICIT MODELS Yannic Kilcher, Aure ́lien Lucchi, Thomas Hofmann Department
62010发布于 2018-07-24 - 来自专栏相约机器人
gDNA：一种 3D 穿衣人体生成模型
连续且与分辨率无关的神经 3D 表示推动了 3D 刚体生成建模的最新进展。由于衣服的复杂相互作用、它们的拓扑结构和姿势驱动的变形，为穿着衣服的人建模是一项具有挑战性的任务。 通过学习个人的生成模型，马克斯普朗克智能系统研究所的研究人员希望使 3D 人类化身广泛可用。 它们提供了第一种方法来生成具有独特身份和形状的多样化 3D 虚拟个体，这些个体出现在各种服装风格和位置，具有逼真的细节，例如服装上的褶皱。 这是通过包含一个潜在空间来实现的，用于有条件地生成穿着衣服的人体形状和蒙皮重量。 该团队演示了第一种方法，该方法可以在姿势控制下生成各种 3D 衣服人体形状，并在姿势控制下仅使用姿势扫描。 结论 马克斯普朗克智能系统研究所的研究人员开发了 gDNA，这是一种 3D 穿衣人体生成模型，可以生成具有精确皱纹和明确姿势控制的各种穿衣人。
1.4K20编辑于 2022-06-07 - 来自专栏机器之心
开创全新通用3D大模型，VAST将3D生成带入「秒级」时代
DreamFusion 的优点是几乎不需要事先训练，实现了在没有 3D 数据的情况下生成物体 3D 表示，缺点是速度慢（长达数个小时）。 VAST 认为，AI 要想在 3D 生成领域获得长足发展，同样需要跳出对人类知识的依赖，凭借更庞大的数据和更多的计算「学习」一种「通用方法」。 复用强大的 2D 图像生成模型，以文字为条件，同步生成解耦的多视角一致的法向和基础色；2. 结合在大量 3D 数据训练的可泛化 3D 重建模型，从多视角图片生成基础 3D 先验；3. 由于优质、原生、多样化的 3D 数据集资源的稀缺，模型的最终表现受限，导致可以生成的 3D 内容有限，泛化能力不足。 在此基础上，可以再用5分钟的时间进行优化，优化后的 3D 模型可以接近人类手工制作的 3D 模型质量，成功率超过 95%。
2.2K10编辑于 2023-12-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号