- 综合排序
- 最热优先
- 最新优先
开源实时数字人---OpenTalking
最近我们把自己做实时数字人过程中的一套工程框架整理了一下，开源出来了，项目叫 OpenTalking。 简单来说，我们希望它能把 LLM、TTS、STT、WebRTC、字幕事件、角色音色、用户打断、前端交互和数字人视频驱动模型这些东西串起来，让一个数字人真正可以进行实时对话。 比如你刚开始只是想看看实时数字人产品的完整流程，那么可以直接用 Mock 模式。 我觉得这也是现在实时数字人领域很重要的一个趋势：模型本身当然重要，但系统工程同样重要。 我们把它开源出来，一方面是希望给做数字人的开发者一个可以直接上手的工程起点，另一方面也希望和更多对实时数字人感兴趣的人一起讨论：数字人到底应该怎么从一个演示视频，走向一个真正可用的交互产品。
2.6K10编辑于 2026-05-21- 来自专栏agent平台
AgentScope第3式·数字人底座
AgentScope第3式·数字人底座别让每篇教程换一个Demo，先把宿主冻结下来。 |v[新需求]冻结一个最小数字人底座，供后续26章增量开发|v[冲突]底座没有边界，实时通信与AgentRuntime职责混住|v[后果]每加一个能力就重写宿主，教程讲不深，工程不可复用我是老李，做过几个 同样一个“数字人”页面，三套后端、三套表结构、三种实时方案，共同点是没人知道下周该改哪一份。 任务是：在AgentScopeJava正式进入之前，先把最小交互数字人底座冻结下来，后续26章全部在它上面增量开发。不换场景、不换仓库、不换表。 Q3→因为它是唯一能同时验证配置、实时链路和推理的入口。管理端的增删改查只能证明“数据存对了”，只有运行页能证明“用户真的完成了一次交互”。
17121编辑于 2026-09-24 - 来自专栏量子位
人人都能有数字替身：量子动力FACEGOOD发布AI交互实时数字人
转载自量子动力 量子位 编辑 | 公众号 QbitAI 今日，量子动力 FACEGOOD 发布了一款基于AI交互全实时数字人，次世代人机交互恐怕越来越近了。 数字技术的出现催生出数字人这一崭新的视觉元素。 与真人相比，数字人物作为对人类自身透视的客体，具有其独特的传播优势。要使数字人物更好地被受众所接受，其身上所负载的文化内涵也是不容忽视的。 但随着人工智能等相关技术的不断进步，数字人物技术也得到不断的发展。 数字人物的运动机理与真实人物的生物解剖学是不相符的。他的动作是由骨架驱动的，而不是肌肉组织驱动。 这要求工程师要了解掌握生物解剖学和雕塑艺术等相关知识，并通过平时的大量观察和生活积累，练就了较高的把握能力后，才有可能塑造出一个生动逼真具有生命质感的数字人。
70730发布于 2019-04-24 - 来自专栏MixLab科技+设计实验室
数字人1024
VRM是一种用于处理 VR 应用程序的人形 3D 化身（3D 模型）数据的文件格式。它基于glTF2.0，任何人都可以自由使用。 所以，开发者们，都应该来研究^_^ 下文将从技术、体验设计、最新趋势，3个角度研究数字人。 数字人爱因斯坦 Digital Einstein UNEEQ 数字人爱因斯坦是体验式人工智能的一个例子，甚至是下一代人机交互。利用数字人实现个性化互动体验，为用户提供有意义、富有情感的互动。 UNEEQ对比了三种互动方式：聊天机器人、数字人、人类 那么，数字人如何帮助您提供有价值的个性化体验呢？ Alethea概括了几种：作为元宇宙的NPC、实时聊天机器人应用、虚拟角色商城等等
1.2K20发布于 2021-11-08 - 来自专栏MixLab科技+设计实验室
数字人全集
请查阅 Mixlab·社群数字人讨论合辑 数字人·专题分享合辑目录 #01 数字人驱动方式 离线式驱动 实时驱动 跨平台数字人形象统一接入工具 #02 数字人虚拟偶像制作 虚拟偶像创作与运营指南 # vonage 专业文本转语音工具 # Synthesia 运用TTS + first order motion 的数字人视频生成工具 1.2 实时驱动 上述案例多用于“离线式”的数字人应用场景 如果需要与数字人进行实时的交流沟通，有项目采用的是 ASR+TTS+Audio2face 方案。 2.详尽的用户与数字人交流评估系统。 3.多种综合的算法模型保证用户舒适的交流体验。 4.支持数字人进行图像消息的理解与回复。 ； 2.多维通道的数字人交互体验； 3.情感计算与用户情感度量方法。
4.1K52编辑于 2022-04-16 - 来自专栏HyperAI超神经
在线教程丨刘强东数字人首秀交易额破5千万！用GeneFace++ 生成实时说话数字人
近日，京东创始人刘强东化身「采销东哥 AI 数字人」，在京东家电家居和超市的采销直播间开启了自己的直播首秀。 IDC 曾在《中国 AI 数字人市场现状与机会分析 2022 》中表明，预计到 2026 年中国 AI 数字人市场规模将达到 102.4 亿元。 其中，GeneFace++ 作为一种通用且稳定的实时音频驱动 3D 说话人脸生成技术，通过改进唇形同步、视频质量和系统效率，首个实现了实时说话人的生成。 在训练过程中，涉及音频与面部运动的映射学习、域适应性的迁移学习，以及 landmark 驱动的 3D 人像实时渲染技术学习等，最终使模型具备根据任意音频生成高质量、实时、唇音同步的 3D 说话人脸视频的能力 登录 hyper.ai，在「教程」页面，选择「GeneFace++ 数字人 Demo」。点击「在线运行此教程」。 2. 页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。 3.
67510编辑于 2024-04-26 - 来自专栏高速公路那点事儿
【AI+交通】3-交通数字人产品的探讨
目前在高速公路行业大家比较熟悉的有河北高速的“简璐璐”，这个数字人是2023年百度智能云联合河北高速集团共同孵化的，高速公路行业首个智慧公路AI数字人，开启了对话式交互系统改变行业的步伐。 交通数字人目前来说，分为两种形态，一种是二维或三维的数字人，在平台界面呈现；一种是以机器人的形式展现。 二者只是载体不一样，核心还是需要高速公路各个业务系统来支撑。 如何实现呢？ 02-如何实现交通数字人 交通数字人的形象制作目前不是瓶颈，许多大厂都推出了数字人生成平台，其数据交互及处理能力是核心。 那么如何实现？ 但是AI智能体为我们快速实现数字人提供了可行性。 这里有个概念一直模糊：数字人的后端基于AI智能体，那么大模型还需要吗？ 大模型更侧重于对大量数据的学习和对各种问题的泛化回答能力。 虚拟数字人可与用户进行多模态互动，实时“面对面”交流，并为管理者和参观者提供展示讲解、信息查询和大屏互动等智能服务，支撑沉浸式互动新体验。
35700编辑于 2025-07-03 CANN赋能AIGC“数字人”革命：实时视频换脸与表情驱动实战
这里写目录标题 引言 一、CANN在实时数字人应用中的技术价值 二、实时数字人系统架构设计 核心模块功能说明： 三、CANN实时数字人核心代码实现 3.1 实时视频流处理框架 3.2 CANN优化人脸检测实现 摘要：数字人（Digital Human）作为AIGC领域最具商业价值的应用之一，对模型推理的实时性、保真度提出了极高要求。 文章包含完整的模型转换、实时视频流处理代码及性能对比数据，揭秘CANN如何让AIGC数字人“活”起来。 cann组织链接 ops-nn仓库链接 一、CANN在实时数字人应用中的技术价值 数字人技术的核心在于“实时”与“高保真”的平衡。 未来，随着CANN对Transformer架构的进一步优化，实时数字人应用将实现更复杂的情感表达和语义交互，为AIGC开启全新的应用场景。
37810编辑于 2026-05-06- 来自专栏DevOps
AI数字人：AI数字人制作初探及相关开源简介
广义上讲可以说是计算机模拟出的具有人的形态的虚拟人都叫做数字人，在平常的观感上，数字人是整合了人物形象模拟、人物声音克隆、自然语言处理、知识图谱解析等众多世界领先的人工智能技术的可视化数字虚拟人。 它具备人类的外观和行为模式，数字人具有人类身体的外观形体结构，表现出来的行为模式是与人类相仿的，数字人的影像通常是呈现出某种人类的活动。 下面收集了几个开源的数字人项目，整理出来了，大家一起学习，希望对大家有所帮助。 一、SadTalker https://github.com/OpenTalker/SadTalker 它可以通过音频驱动图像，生成真实感的3D人脸动画，使得人物可以“开口说话”。 而想要达到实时互动的效果，比如视频聊天机器人，需要生成计算人物表情甚至动作，延迟是少不了，而且现有技术条件下，需要消耗巨大的算力，一般的公司或者个人无法承担。除非有牛X的创新的技术出现。
1.8K10编辑于 2024-03-29 - 来自专栏产品笔记
如何搭建3D虚拟数字人自动捏脸系统
随着数字人产品不断的迭代和发展，对于用户来说，属于自己的个性化的数字人不可或缺，在数字人产品中常见的3D数字人个性化设定的方式主要由3种进行捏脸，模板选择方式、自由调整方式、自动捏脸。 第一步：3D基础头模 数字人要生成3D捏脸的结果，首先要需要制作一个3D的基础头模。3D基础头模往往是由脸、眼睛、鼻子、睫毛、牙齿、头发等多个部分组合而成。 在数字人制作中，美工通过3Dmax或Maya等3D建模工具制作出的头模内在的模型表征都是多边形网格。数字人角色的捏脸效果可以通过改变网格结构的组合，顶点位置及贴图等多种方式实现。 第五步：渲染 使用Unity基于数字人3D基础头模以及带有用户人脸特征的形状关键点和颜色特征进行个性化3D模型数字人生成。 Unity是一款跨平台的2D和3D游戏引擎，除了可以研发电子游戏外，还可以用于实时三维动画等类型内容的创作。
2.1K50编辑于 2023-09-09 - 来自专栏翩翩白衣少年
Soul 开源实时数字人「性能怪兽」！
数字人这个赛道，这两年卷得飞起。 从最初的静态虚拟主播，到后来的 AI 驱动口型同步，再到如今的全实时流式生成，技术迭代的速度让人眼花缭乱。但说实话，开源领域真正能落地的方案，一直不多。 为什么？ 直接把数字人门槛打下来了，是一款个人开发者和小团队也能玩得起的工业级的实时数字人模型。 项目介绍 SoulX-FlashHead 是 Soul AI Lab 团队开源的一个实时流式数字人生成框架。 它主打一个核心理念：让工业级实时数字人技术真正普惠。 这个项目有多强？ ，单卡 4090 可达 10.8 FPS 就是你用一张消费级显卡（家用游戏级PC电脑），就能跑起来一个实时数字人服务。 3、高并发支持 Lite 版支持 3 路并发流式推理。 什么概念？一台机器可以同时服务 3 个用户的实时数字人交互。这对于想要搭建数字人服务的团队来说，意味着更高的资源利用率和更低的运营成本。
1.9K10编辑于 2026-03-16 - 来自专栏机器之心
SIGGRAPH 2025｜Large Avatar Model：单图秒级打造超写实3D交互数字人，跨平台超实时驱动渲染
LAM（Large Avatar Model）的提出，旨在通过单张图像实现实时可驱动的 3D 高斯头像生成，突破传统方法对视频数据或复杂后处理的依赖，为轻量化、跨平台的 3D 数字人应用提供新思路。 ：https://www.modelscope.cn/studios/Damo_XR_Lab/LAM_Large_Avatar_Model 核心亮点： 单图秒级生成超写实 3D 数字人 WebGL 跨平台超实时驱动渲染，手机跑满 120FPS 低延迟实时交互对话数字人 SDK 已全开源 方法 LAM 的核心目标是：单图输入、一次前向传播生成可驱动的 3D 高斯头像，无需后处理网络，并兼容传统图形渲染管线实现跨平台实时渲染 例如将真人头像转化为油画风格时，模型保留几何结构仅调整颜色与纹理等： 交互对话数字人解决方案 以 LAM 为基础，通义实验室构建了完整的智能交互对话数字人解决方案，融合通义千问大语言模型、通义语音算法、 即使用开源的代码库，就可以实现输入一张图片，生成超写实 3D 数字人，进行实时的对话聊天。
2.1K10编辑于 2025-06-21 能源数字孪生教程 数字人交互API
JavaScript API 文档以下是提供的 JavaScript 方法的详细文档：
4000编辑于 2026-08-11- 来自专栏agent平台
第3篇·嘲风·登高探路：数字人如何调用外部工具？
人的那层判断，被替换成了一个概率模型。冲突也就在这里：模型对工具的认知只有“看得见”——它看见名字、描述和参数定义。至于这个工具有什么权限、重复调用会怎样、超时之后结果到底成没成，它一概不知道。 文档是写给人看的，人看完会去遵守；描述是写给模型看的，模型看完只会去模仿。你在描述里写“金额单位是分”，模型大概率会照做，但“大概率”不是约束。 这条经验可以推广：凡是回灌给模型的内容，都应当按“模型能据此做什么”来设计，而不是按“人看着方便”来设计。 先立闸与表再谈广与深能力可渐增边界不可松11、小结展开代码语言：TXTAI代码解释Q1→因为工具只做了定义没做治理，模型重复提议时执行侧没有幂等拦截，超时还被当成可重试Q2→不交给模型，鉴权在应用侧：可见工具按调用者裁剪，执行侧二次校验Q3→
15821编辑于 2026-10-19 - 来自专栏RTSP/RTMP直播相关
基于RTMP的智慧数字人|AI数字人传输技术方案探讨
技术背景 随着智慧数字人、AI数字人的兴起，越来越多的公司着手构建全息、真实感数字角色等技术合成的数字仿真人虚拟形象，通过“虚拟形象+语音交互（T-T-S、ASR）+自然语言理解（NLU）+深度学习” 一个有“温度”的智慧数字人，有多个维度组成，如图像识别、语音识别、语义理解等，本文主要阐述的是如何把这样一个智慧数字人，通过编码传输，以更低的延迟和好的体验，呈现给用户。 技术实现 本文以Windows平台为例，从技术角度探讨智慧数字人的实时编码传输。 IntPtr user_data, UInt32 event_id, Int64 param1, Int64 param2, UInt64 param3, event_id, event_log); } 总结 以上是大概的流程，通过采集Unity的音视频数据，编码打包传输，发送到RTMP服务端，客户端直接拉取RTMP流数据，延迟在毫秒级，用户体验良好，在智慧数字人等交互场景
77240编辑于 2022-03-26 - 来自专栏agent平台
降SpringAI阿里第3掌-见龙在田-数字人底座
降SpringAI阿里第3掌-见龙在田-数字人底座模型能跑通，不等于产品能跑起来。 展开代码语言：TXTAI代码解释[读者]正在把AI数字人/语音助手往生产推的Java工程师[痛点]示例散、链路断，模型调用和实时音频各写一套，越写越重[现在读]后面15章都要复用同一套底座，必须先把契约冻住 手上这套教程仓库springaialibabapractice已经走到第3掌，前两掌把选型和环境底子铺完了，这一掌要动真格：把后面15章都要共用的那个“最小交互数字人Demo”冻下来。 01、故事老李带的是一个三人小队，接了个很典型的需求：客户要在网页上点开一个“数字人主播”，既能打字提问，也能直接开口说话，主播要把答案念出来。 任务是：在两周内交付一个能被后续15章复用的最小交互数字人Demo，并且把它的契约、表结构和链路边界一次性冻住。当时手里的方案有两份代码。
19321编辑于 2026-09-28 AI数字人直播系统源码技术解析：如何实现实时互动与智能讲解
对于企业而言，搭建AI数字人直播系统，并不是简单地生成一个数字人形象，而是需要将AI大模型、语音识别、语音合成、数字人驱动、直播推流、实时互动以及后台业务系统进行整合。 三、直播间如何实现实时互动实时互动是AI数字人直播系统区别于普通录播系统的重要功能。传统数字人直播可能只是提前生成视频，然后循环播放。 3. 音视频稳定性AI数字人直播不仅仅是AI问题，还涉及实时音视频。需要考虑：网络抖动推流中断音画同步视频编码CDN分发断线重连4. AI、大模型、知识库、数字人、实时音视频和传统业务系统的融合。 “用户提问”到“数字人实时回答”的完整闭环。
35200编辑于 2026-09-08- 来自专栏AI智能体开发
AI数字人的测试
AI数字人的测试是一个复杂的过程，需要综合考虑技术、用户体验和安全性等多个方面。以下是基于最新搜索结果的AI数字人测试方法、标准和框架。 测试方法功能测试：确保AI数字人能够执行其设计的所有功能，如自然语言处理、情感识别、动作生成等。可以通过预定义的测试用例来验证这些功能。性能测试：评估AI数字人的响应速度、处理能力和资源消耗。 安全性和隐私测试：检查AI数字人是否符合相关的安全和隐私标准，如数据加密、用户认证和访问控制。测试标准自然语言处理的准确性：AI数字人需要能够准确理解用户的语言，并提供相关的回答。 情感识别的准确性：如果AI数字人需要处理情感信息，需要测试其情感识别的准确性。可以使用情感分析工具来评估其性能。动作和表情的自然度：AI数字人的动作和表情需要自然流畅，以增强用户的沉浸感。 NVIDIA ACE平台：NVIDIA的ACE平台提供了一套工具和服务，用于创建和部署交互式数字头像。它结合了语音识别、自然语言理解和实时渲染等关键技术，支持在云原生架构上进行可扩展的部署。
74410编辑于 2025-03-21 - 来自专栏宜达数字
数字人内部分享
数字人：其实就是高精度3D人物建模。 窗口 插件 image.png 帮助 图片 散开的菜单栏 工具栏 如何制作自己的数字人
73610编辑于 2022-12-10 - 来自专栏数据库与编程
自制数字人播报视频
本教程带您一下自制属于你自己的数字人播报视频，即通过人脸图像和一段语音音频生成照片说话视频。 update-alternatives --install /usr/local/bin/python3 python3 /usr/bin/python3.8 2 ! sudo dpkg --remove --force-remove-reinstreq python3-pip python3-setuptools python3-wheel ! bash scripts/download_models.sh 4、生成数字人播报视频 准备照片和音频文件，照片必须要有清楚的头像，音频随便找一段讲话的音频即可： 照片：examples/source_image /face.png 音频文件：examples/driven_audio/jack.mp3 # 此处指定数字人图片为face.png 音频文件为 jack.mp3 img = 'examples/source_image
89610编辑于 2024-01-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号