- 综合排序
- 最热优先
- 最新优先
- 来自专栏翩翩白衣少年
一款很Nice的3D生成工具，包括文生3D、图生3D、3D生3D等众多功能！
前言 今天要给大家分享一个很Nice的 3D 生成工具集—MVEdit！ 项目介绍 MVEdit 是一个基于控制的多视角编辑的通用3D扩散适配器，使用现成的2D稳定扩散模型进行3D生成和编辑。 无需繁琐的训练，MVEdit 就能够快速生成高质量的3D物体，并提供全功能的UI界面，包含了诸如text to 3D、image to 3D、3D to 3D文字编辑和材质重构等功能。 生成：利用现成的 2D 稳定扩散模型，MVEdit 能够生成具有高质量纹理和结构的 3D 生成物。 • 顶尖性能：在文本引导的纹理生成和图像到 3D 生成等评估中表现出色。
1.7K10编辑于 2024-03-25 - 来自专栏CreateAMind
3d数据集
https://github.com/niessner/Matterport Matterport3D ? Paper Matterport3D: Learning from RGB-D Data in Indoor Environments If you use the Matterport3D data or code please cite: @article{Matterport3D, title={{Matterport3D}: Learning from {RGB-D} Data in Indoor , Manolis and Song, Shuran and Zeng, Andy and Zhang, Yinda}, journal={International Conference on 3D depth images, camera poses, textured 3D meshes, building floor plans and region annotations, object instance
1.5K20发布于 2018-07-24 - 来自专栏最新医学影像技术
3D人体模型生成案例分享
Invesalius是专门应用于医学图像3D重建，输入数据必须是一个序列的2D的DICOM图像，可以是CT或者是MRI序列，输出的是3D表面轮廓，该工具就是为生成解剖学的物理模型而做准备的。 可以看到原始数据会以中轴切面，矢状切面，冠状切面来进行显示，而立体就是最后输出结果示意图。 ? 2、选取感兴趣区域 接下来就是要提取图像中感兴趣的区域了，比如要提取人体肋骨。 3、配置3D表面 3D表面配置可以设置透明度，直接默认值即可，然后下一步。 4、输出结果 直接输出立体图像和相应的3D表面轮廓结果。 ?
1.7K40发布于 2020-06-29 - 来自专栏DeepHub IMBA
使用PolyGen和PyTorch生成3D模型
3D技术中一个特别热门的子领域是3D模型的生成。创造性地组合3D模型，从图像快速生成3D模型，以及为其他机器学习应用程序和模拟创建综合数据，这只是3D模型生成的众多用例中的少数几个。 ? 使用top-p = 0.9的核采样和地面真实网格（蓝色）生成的图像条件样本（黄色）。 但是，在3D深度学习研究领域，为数据选择合适的表示是成功的一半。 在计算机视觉中，数据的结构非常简单：由密集像素组成的图像，这些像素整齐均匀地排列在精确的网格中。3D数据的世界没有这种一致性。3D模型可以表示为体素，点云，网格，多视图图像集等。 3D重建问题和3D-R2N2方法 当今非常经典的PointNet论文为建模点云数据（例如3D模型的尖端）提供了蓝图。 它是一种通用算法，不会对3D模型的面或占用进行建模，因此无法仅使用PointNet来生成3D-R2N2采用的体素方法将我们都熟悉的2D卷积扩展到3D，并通过自然地从RGB图像生成水密网格。
2.2K10发布于 2020-11-09 - 来自专栏AI科技大本营的专栏
苹果发布 AI 生成模型 GAUDI，文字生成 3D 场景
近日，苹果 AI 团队发布最新 AI 模型 GAUDI，它是基于 3D 场景的神经架构 NeRFs，可以根据文字生成 3D 室内场景。 2021 年末时，谷歌通过 Dream Fields 首次展示了 3D AI 生成系统，将 NeRF 生成 3D 视图的能力与 OpenAI 的 CLIP 评估图像内容的能力相结合。 苹果 AI 团队发布的 GAUDI 是一种能够生成沉浸式 3D 场景的神经架构，可以根据文字提示创建 3D 场景。 例如，输入“穿过走廊”或“上楼梯”，就可以看到执行这一动作的 3D 场景视频。 Apple GAUDI 是 3D 内饰专家 虽然谷歌致力于使用 Dream Fields 生成单个对象，但将生成 AI 扩展到完全不受约束的 3D 场景仍是一个尚未解决的问题。 在对四个不同数据集（包括室内扫描数据集 ARKitScences）的实验中，研究人员表明 GAUDI 可以重建学习视图并匹配现有方法的质量。
1.1K20编辑于 2022-12-09 - 来自专栏DrugOne
MolFlow: 高效3D分子生成方法
最近，3D药物设计的生成模型因其在蛋白质口袋中直接设计配体的潜力而获得了广泛关注。然而，目前的方法通常存在采样时间非常慢或生成分子的化学有效性差的问题。 最后，作者比较了MolFlow与当前方法在生成高质量样本方面的能力，进一步展示了其强大性能。 3D药物设计的生成模型最近因其在蛋白质口袋中直接设计配体的潜力而引起了极大关注。 其他模型尝试训练无条件的3D分子生成器作为起点，尤其是那些应用扩散模型到分子坐标上的模型已经变得特别流行。 现有的3D分子生成器，使用完全连接的消息传递，表现出非常差的扩展性，无法处理更大的分子和更大的模型尺寸。最先进的无条件生成器在采样单批分子时需要数分钟，使其不适合基于RL的微调。 由于现有的3D生成模型在推理时已经需要知道N，因此使用尺度OT时对采样没有额外的限制。
67910编辑于 2024-07-18 腾讯元宝3D生成应用来了
腾讯元宝首发的3D生成应用，利用一张图片即可生成3D角色的技术，是人工智能领域的一个重要创新。这种技术的应用会极大地影响娱乐、游戏开发、虚拟现实和在线购物等行业。 生成3D角色的过程涉及到先进的算法，如生成对抗网络，这些算法能够在训练过程中不断优化，提高生成的3D模型的质量和逼真度。 用户可以快速生成个人3D角色，便于进行360度全方位查看，并可选择分享、转发或者公开。提供保存3D角色模型文件做二次编辑，以及生成3D打印链接，实现从虚拟模型到完整实体的创意体验。 （一）《Protolabs 2024年3D打印趋势报告》显示，3D打印市场正经历显著扩张，将人工智能技术和3D生成结合，可实现更高效、更高质量的内容生成。 （二）此技术的推出会对3D打印和个性化内容创造领域产生积极影响。（三）基于腾讯混元大模型打造的“3D角色梦工厂”，在技术上已具备生成动漫、建筑、游戏道具等类型的3D资产的能力。
2.4K10编辑于 2024-07-17- 来自专栏机器之心
3D AI生成出新玩法了：无需数小时，只要45秒，单张图片即可生成 3D模型
机器之心专栏 机器之心编辑部 45 秒单张图片变 3D，无需大量 3D 数据和逐物体优化。 3D AI 生成最近发展得如火如荼，不少最新工作都能够从一句话 / 一张图生成高质量的三维模型。 方法 由于 3D 数据的稀缺性，学术界最近的绝大多数 3D AI 生成工作都通过利用 2D 扩散生成模型来指导 3D 表示（如 NeRF）的优化，从而实现 3D 内容生成。 由于这类方法通过从训练数据学习了有关多视角预测不一致性的先验知识，他们更有希望能从不一致的多视角预测中生成 3D 模型。 相比之下，One-2-3-45 生成结果的 3D 一致性要好很多。 研究者还提到了 OpenAI 的 Point-E 和 Shap-E 在训练时用到了数百万级别的内部 3D 数据。 由于 3D 数据的稀缺性，这样的训练数据规模目前对于很多研究者 / 机构来说还是比较严苛的条件。
4.6K30编辑于 2023-08-07 - 来自专栏新智元
3D卷积GAN飞起！微软“可缩放”新框架只需2D数据即可生成逼真3D模型
新智元报道 来源：VB 编辑：元子 【新智元导读】Microsoft Research近日发表论文介绍了一种通过2D数据生成3D模型的新框架，其使用3D卷积GAN，利用2D图像提供的物体表面之间的曝光差异成功检测出凹形物体的内部结构 与以前的工作相反，研究人员试图利用功能齐全的工业渲染器，例如显示数据生成图像的软件。为此，他们训练了3D形状的生成模型，以便生成与2D数据集的分布相匹配的图像。 生成器模型采用随机输入向量（代表数据集特征的值）并生成3D对象的连续体素表示（3D空间中网格上的值）。 正如研究人员所解释的那样，在给定3D网格输入的情况下，它经过训练可以匹配现成渲染器的渲染输出。 采用3D卷积GAN架构，可以生成逼真的样本 在实验中，该团队为生成器采用了3D卷积GAN架构。 从3D模型生成的一系列合成数据集和一个现实生活的数据集，他们合成了来自不同对象类别的图像，并在整个训练过程中从不同的角度对其进行了渲染。
1.2K31发布于 2020-03-11 - 来自专栏机器之心
开创全新通用3D大模型，VAST将3D生成带入「秒级」时代
DreamFusion 的优点是几乎不需要事先训练，实现了在没有 3D 数据的情况下生成物体 3D 表示，缺点是速度慢（长达数个小时）。 OpenAI 在去年同期发布的 Point-E 则采用了在 3D 数据集训练的方案，还强调了「可以用单块 NVIDIA V100 GPU 在一到两分钟内生成 3D 模型」，但它在从文字到 3D 的转换过程中偶尔还是无法理解文本叙述的内容 VAST 认为，AI 要想在 3D 生成领域获得长足发展，同样需要跳出对人类知识的依赖，凭借更庞大的数据和更多的计算「学习」一种「通用方法」。 复用强大的 2D 图像生成模型，以文字为条件，同步生成解耦的多视角一致的法向和基础色；2. 结合在大量 3D 数据训练的可泛化 3D 重建模型，从多视角图片生成基础 3D 先验；3. 由于优质、原生、多样化的 3D 数据集资源的稀缺，模型的最终表现受限，导致可以生成的 3D 内容有限，泛化能力不足。
2.2K10编辑于 2023-12-21 - 来自专栏AI科技大本营的专栏
玩转3D全息图像！AI即刻生成
计算机生成的全息(CGH)通过对衍射和干涉的数值模拟实现了高空间角度的3D投影。 长期以来，研究人员一直在研究制作全息图的技术，但是，现有的基于物理的方法无法生成具有按像素聚焦控制和精确遮挡的全息图。 研究人员通过引入具有4,000对RGB深度图像和相应的3D全息图的大规模CGH数据集(MIT-CGH-4K)进行训练。 ? 训练神经网络通常需要庞大的高质量数据集，而3D全息图以前没有这种数据集。 研究人员引入了大规模菲涅耳全息图数据集MIT-CGH-4K，该数据集由4,000对RGB深度（RGB-D）图像和相应的3D全息图组成。 研究人员创建的数据集具有三个重要功能，以使CNN能够学习逼真的3D全息图。
2K20发布于 2021-03-25 AI生成3D建筑，进入Vibe Modeling时刻
Illoca这家企业我重新介绍下，是AI4ELAB持续追踪的企业，之前写过两篇DeepMind与Tesla老兵联手，用AI画布替掉Revit菜单栏，融资1300万美元产品更新|草图秒变可编辑3D模型，一张 输出端给的是，一个几何+参数化逻辑底座的可编辑3D模型，可以导出到Rhino、Grasshopper、GLB等主流CAD/BIM流程。我也试了一下。 我拿北京央视「大裤衩」的一张草图，让Plamo生成对应的3D模型。最后生成成功了，但整体效果质量还有待提高。这是输入的草图与提示词：使用这张建筑草图作为中央电视台总部大楼三维质量模型研究的抽象参考。 原因是web端（浏览器里做3D模型生成）有几个基础瓶颈要解决——浏览器内的几何内核、显存、长流程的状态管理——这些都是工程上很难绕过去的坎，Plamo能把流程跑通本身已经是突破。 除了Illoca，还有胡政涛的AtomicArch1人10个月，做了一款AI原生建筑3D设计软件，用14万行代码重写CAD底层、看到AIRILab最近在探索3D生成、哈佛系的Reer独家|哈佛系Reer
33610编辑于 2026-08-24- 来自专栏AI学习笔记
3D生成模型加速：Mobile-3D-GPT架构解析
模型参数优化图：高效的特征提取与融合在3D生成模型中，特征提取与融合是影响生成质量和效率的关键环节。Mobile-3D-GPT通过创新的特征提取和融合机制，提高了模型对3D数据的理解和生成能力。 以下是详细的训练过程介绍：数据准备在训练3D生成模型之前，需要准备高质量的3D数据集。这些数据集通常包含大量的3D模型文件（如OBJ、PLY格式），以及相应的纹理信息和标注数据。 数据预处理：对收集到的3D数据进行预处理，包括模型的标准化、采样、体素化等操作。例如，将所有3D模型缩放到统一的坐标范围内，对模型表面进行采样以生成点云数据，或者将模型转换为体素表示。 指标上相比基线模型A平均降低了约30%，表明生成的3D模型更接近真实数据分布。 对抗训练机制被应用于3D体素和点云数据的生成。2.
68710编辑于 2025-07-11 - 来自专栏机器之心
单张图像探索3D奇境：Wonderland让高质量3D场景生成更高效
第一作者为多伦多大学博士生梁汉文和Snap Inc.的曹军力，他们专注于视频生成以及3D/4D场景生成与重建的研究，致力于创造更加真实、高质量的3D和4D场景。 重建技术往往依赖于多视角数据或逐个场景 (per-scene) 的优化，且在处理背景和不可见区域时容易失真。 为解决这些问题，Wonderland 创新性地结合视频生成模型和大规模 3D 重建模型，实现了高效高质量的大规模 3D 场景生成： 向视频扩散模型中嵌入 3D 意识：通过向视频扩散模型中引入相机位姿控制 实验结果显示，该模型在多个数据集上的表现超越现有方法，包括视频生成的视角控制、视频生成的视觉质量、3D 重建的几何一致性和渲染的图像质量、以及端到端的生成速度均取得了优异的表现： 双分支相机条件策略：通过引入双分支相机条件控制策略 Zero-shot 3D 场景生成：在单图像输入的前提下，Wonderland 可进行高效的 3D 场景前向重建，在多个基准数据集（例如 RealEstate10K、DL3DV 和 Tanks-and-Temples
52900编辑于 2025-02-03 - 来自专栏机器之心
无需任何3D数据，直接文本生成高质量3D内容，清华朱军团队带来重大进展
机器之心发布 机器之心编辑部 清华大学 TSAIL 团队最新提出的文生 3D 新算法 ProlificDreamer，在无需任何 3D 数据的前提下能够生成超高质量的 3D 内容。 这种技术可以从简单的文本描述中生成具体的 3D 模型，为设计师、游戏开发者和数字艺术家提供强大的工具。 然而，为了根据文本生成准确的 3D 模型，传统方法需要大量的标记 3D 模型数据集。 这些数据集需要包含多种不同类型和风格的 3D 模型，并且每个模型都需要与相应的文本描述相关联。创建这样的数据集需要大量的时间和人力资源，目前还没有现成的大规模数据集可供使用。 由谷歌提出的 DreamFusion [1] 利用预训练的 2D 文本到图像扩散模型，首次在无需 3D 数据的情况下完成开放域的文本到 3D 的合成。 stable-diffusion），Dreamfusion [1] 提出可以在不借助任何 3D 数据的情况下实现开放域的文到 3D 内容（text-to-3D）生成。
1.2K30编辑于 2023-05-31 - 来自专栏相约机器人
gDNA：一种 3D 穿衣人体生成模型
连续且与分辨率无关的神经 3D 表示推动了 3D 刚体生成建模的最新进展。由于衣服的复杂相互作用、它们的拓扑结构和姿势驱动的变形，为穿着衣服的人建模是一项具有挑战性的任务。 通过学习个人的生成模型，马克斯普朗克智能系统研究所的研究人员希望使 3D 人类化身广泛可用。 它们提供了第一种方法来生成具有独特身份和形状的多样化 3D 虚拟个体，这些个体出现在各种服装风格和位置，具有逼真的细节，例如服装上的褶皱。 这是通过包含一个潜在空间来实现的，用于有条件地生成穿着衣服的人体形状和蒙皮重量。 该团队演示了第一种方法，该方法可以在姿势控制下生成各种 3D 衣服人体形状，并在姿势控制下仅使用姿势扫描。 结论 马克斯普朗克智能系统研究所的研究人员开发了 gDNA，这是一种 3D 穿衣人体生成模型，可以生成具有精确皱纹和明确姿势控制的各种穿衣人。
1.4K20编辑于 2022-06-07 - 来自专栏媒矿工厂
CVPR 2023 | MIME: 人物感知的 3D 场景生成
为了训练 MIME，本文构建了一个包含交互人物和自由空间人物的 3D 场景数据集 3D FRONT HUMAN。 为了训练 MIME，我们向 3D FRONT 数据集中填充 3D 人物，构建了名为 3D FRONT Human 的新数据集。 一个包含交互人物和自由空间人物的 3D 场景数据集，该数据集通过将 RenderPeople 的静态姿势和 AMASS 的运动数据填充至 3D FRONT 来构建。 方法 图 2：方法总览。 我们通过在 3D FRONT 中的 3D 房间中填充互动人物来生成一个包含大量房间和各种人物互动的新数据集 3D FRONT HUMAN。 FID 分数和类别 KL 散度用于评估生成场景相较真实场景的真实性与多样性。 表 2：PROXD 数据集上的 3D 物体准确性比较。
83110编辑于 2024-01-23 - 来自专栏我爱计算机视觉
3D生成模型同台竞技，魁首究竟花落谁家！
近两年，得益于Diffusion模型在2D领域取得的巨大成功以及Objaverse系列大规模3D数据集的开源，3D物体生成领域已经进入迅速发展阶段，3D生成模型数量激增。 同时，为了给社区提供一些直觉上的启发，我们推出3DGen-Arena，一个公开、匿名的评测平台，集成了目前流行的19个开源3D生成模型（包括9个文生3D模型和13个图生3D模型，详情参看下图）。 几何合理性：一个优秀的3D生成模型需要具备广泛且合理的3D几何先验知识。 几何精细度：提升几何精细度是提升3D生成质量的重要方向。 考虑到部分文生3D模型漫长的训练时长，以及我们复杂的数据后处理，目前3DGen-Arena暂不支持开放式输入的在线生成。 3D生成领域是3D视觉领域的重要分支，无论是在学界还是业界，都有着广泛的应用前景和发展潜力。面对生成模型的不断推陈出新，一个全面、有效、鲁棒的评价体系是迫切需要的。
41810编辑于 2024-05-22 - 来自专栏机器之心
Stable Video 3D震撼登场：单图生成无死角3D视频、模型权重开放
其中 SV3D_u 基于单个图像输入生成轨道视频，不需要相机调整；SV3D_p 通过适配单个图像和轨道视角扩展了生成能力，允许沿着指定的相机路径创建 3D 视频。 Huggingface 地址：https://huggingface.co/stabilityai/sv3d 技术概览 Stable Video 3D 在 3D 生成领域实现重大进步，尤其是在新颖视图生成 下图为使用 Stable Video 3D 模型及其输出时，通过 3D 优化改进后的 3D 网格生成示例。 下图为使用 Stable Video 3D 生成的 3D 网格结果与 EscherNet、Stable Zero123 的生成结果比较。 实验结果 Stability AI 在未见过的 GSO 和 OmniObject3D 数据集上，评估了静态和动态轨道上的 Stable Video 3D 合成多视图效果。
1.3K10编辑于 2024-03-26 AI 生成的模型怎么放进 3D 虚拟世界
它由AI生成，从一张图开始，最后变成一个可以在浏览器里走进去的场景。中间没有打开3D建模软件，也没有把模型外包出去。这件事的意义不在于"能生成一个模型"——生成模型现在很多人都在做。 真正的问题是：生成出来的东西，能不能在一个实时运行的3D世界里用起来。模型好看，塞进场景卡到没法用，等于没用。下面把完整流程拆成九步。每一步说清它解决什么，也说明哪些环节目前还是人工的。 为什么"能生成模型"不等于"世界能跑起来"3D场景在浏览器里卡顿，多数时候原因不在渲染管线，而在两件事：要让浏览器下载多少字节，以及每帧要提交多少次drawcall。 所以看生成结果时，要看的不是"像不像"，而是从多个角度是否都成立。第二步：图片之后是模型图片确认之后转到3D模型。这里出现第一个必须处理的问题：从图片生成的模型，多边形数量通常过量。 ，适合对数据归属有要求的机构常见问题需要3D建模基础吗？
7310编辑于 2026-10-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号