- 综合排序
- 最热优先
- 最新优先
开源实时数字人---OpenTalking
最近我们把自己做实时数字人过程中的一套工程框架整理了一下，开源出来了，项目叫 OpenTalking。 简单来说，我们希望它能把 LLM、TTS、STT、WebRTC、字幕事件、角色音色、用户打断、前端交互和数字人视频驱动模型这些东西串起来，让一个数字人真正可以进行实时对话。 比如你刚开始只是想看看实时数字人产品的完整流程，那么可以直接用 Mock 模式。 如果你想进一步在消费级显卡上跑一个真实的数字人，可以尝试本地推理路线，比如 QuickTalk 或 Wav2Lip 这类方案。它们更适合单机验证和轻量部署，适合开发者在自己的机器上做实验。 我们把它开源出来，一方面是希望给做数字人的开发者一个可以直接上手的工程起点，另一方面也希望和更多对实时数字人感兴趣的人一起讨论：数字人到底应该怎么从一个演示视频，走向一个真正可用的交互产品。
29010编辑于 2026-05-21- 来自专栏量子位
人人都能有数字替身：量子动力FACEGOOD发布AI交互实时数字人
转载自量子动力 量子位 编辑 | 公众号 QbitAI 今日，量子动力 FACEGOOD 发布了一款基于AI交互全实时数字人，次世代人机交互恐怕越来越近了。 数字技术的出现催生出数字人这一崭新的视觉元素。 与真人相比，数字人物作为对人类自身透视的客体，具有其独特的传播优势。要使数字人物更好地被受众所接受，其身上所负载的文化内涵也是不容忽视的。 但随着人工智能等相关技术的不断进步，数字人物技术也得到不断的发展。 数字人物的运动机理与真实人物的生物解剖学是不相符的。他的动作是由骨架驱动的，而不是肌肉组织驱动。 这要求工程师要了解掌握生物解剖学和雕塑艺术等相关知识，并通过平时的大量观察和生活积累，练就了较高的把握能力后，才有可能塑造出一个生动逼真具有生命质感的数字人。
67230发布于 2019-04-24 - 来自专栏AI科技评论
2D 数字人，深陷代理「骗」局
最后，张娜娜只有将售卖数字人时获取的款项退给商家，从此退出数字人直播的赛道，而向数字人公司拿代理权的费用则自己默默全款承担。 帮助其他用户区分虚拟与现实，特别是易混淆场景； 其二是，虚拟人需在平台进行注册，虚拟人技术使用者需实名认证； 其三是，虚拟人背后的真人使用者，必须进行实名注册和认证；使用已注册的虚拟人形象进行直播时，必须由真人驱动进行实时互动 2 风口浪尖的代理模式 数字人的技术，着实无罪。 代理的商业模式，无可厚非。 但是在数字人产业生态中，如何去运用代理模式？代理模式可以被运用到什么程度？这却是十分重要且值得商榷的。 不久前，雷峰网在深圳硅基智能的分享会上观察到，主讲人会在整堂课上花 2/3 的时间向参课学员去讲解如何快速打造 IP ，如何让 IP 流量变现，而与数字人相关的内容讲解则只占了极少的时间。 并且，数字人主播在体验和试用产品方面也较为局限。比如，在服饰领域，目前的技术还无法达到实时在线换装；在美妆领域，数字人去演示化妆品的上脸效果时，也会显得有些违和。
91220编辑于 2023-11-10 - 来自专栏javascript趣味编程
数字人轻松学习Blender系列之八：建模-2
2、按E 挤压 再按Y约束轴向，移动一段距离，按鼠标左键确定。 挤压线成面： 1、切换边模式，选择这个新形成的一个的线段。 2、按E 再按Z ，移动一段距离，新生成的边被拉成了面。 2、选择区块，这些面沿着平均法线方向挤出。挤出的各个边相互平行。 3、选择“”各块“”方式挤压，每个面将沿着各自法线方向挤出，但挤出的面并没有分开。 2、挤压命令在工具栏的位置： 二、生成厚度 把一个由面构成的模型生成有厚度的模型。 做这件事情方法很多啊！ 1、建立一个球体，按数字键盘1 转换前视图。打开“后边选择可见”。 2、按B 框选上面所有点。 3、按X 删除点。这是一个不封闭的薄壳半球。 6、在厚度输入框调整数字--改变厚度。 7、生成厚度。这个修改器是参数化控制的，本身对原模型没有破坏改变。你可以删除修改器，还原模型原样；你也可以随时调整厚度，非常方便。
1.9K10发布于 2021-10-08 - 来自专栏AI技术体系搭建过程
数字人关键技术2：TTS文本转语音
使用场景在数字人领域，TTS（文本转语音）是数字人与用户实现自然、流畅语音交流的核心能力。TTS技术赋能数字人具备“发声”能力，实现文字到语音的无缝转化。使用场景主要包括：1. 实时语音响应 数字人在客服、导览、教育等场景中，通过TTS技术将后台生成的文本内容即时转换为语音，使交互更加自然生动，提升用户体验和亲和力。2. 个性化声音塑造 借助TTS，数字人可以拥有不同的声音风格、语调和情感表达，满足品牌调性或用户偏好，增强数字人的形象辨识度和感染力。3. 百度智能云TTS 具有高质量普通话及多地方言声音，支持实时合成，价格亲民，API调用便捷。2. 阿里云语音合成 声音风格多样，灵活调节语速、语调，支持多语言。3. 通过介绍和示例，相信你已具备入门TTS技术的基础，期待你能在实际数字人项目中灵活应用，打造出更加智能和贴心的语音体验。
90610编辑于 2025-09-15 - 来自专栏产品笔记
2D虚拟数字人如何实现人物表达
首先我们了解到虚拟数字人根据人物图形资源的维度，数字人可以分为2D和3D两大类。2D数字人从外形上可以分为2D真人和2D卡通。 “两纵”是指 2D 和 3D 虚拟数字人，其中 3D 虚拟数字人需要额外使用三维建模技术生成数字形象，信息维度增加，所需的计算量更大。 2D、3D虚拟数字人均已实现嘴型动作的智能合成， 2D、3D虚拟数字人嘴型动作智能合成的底层逻辑类似，都是建立输入文本到输出音频（TTS：text-to-speech）与输出视觉信息的关联映射，主要是对已采集到的文本到语音和嘴型视频 而2D虚拟数字人嘴型视频是像素表达，3D虚拟数字人嘴型动画是3D模型对应的 BlendShape 的向量表达。 这里主要介绍2D虚拟数字人的驱动方式。 ---- 2D数字人人物表达 2D数字人人物表达主要是通过语音驱动2D数字人嘴型动作进行智能合成。
2.4K20编辑于 2023-09-09 - 来自专栏MixLab科技+设计实验室
数字人1024
数字人爱因斯坦 Digital Einstein UNEEQ 数字人爱因斯坦是体验式人工智能的一个例子，甚至是下一代人机交互。利用数字人实现个性化互动体验，为用户提供有意义、富有情感的互动。 Digital Einstein将发现问题里的知识并使用WolframAlpha的数据库进行实时回复。 自主动画，能够对外部刺激自主反馈，包括：超现实CGI、表情渲染、注视方向、合成语音、实时手势、人物性格。 UNEEQ对比了三种互动方式：聊天机器人、数字人、人类 那么，数字人如何帮助您提供有价值的个性化体验呢？ Alethea概括了几种：作为元宇宙的NPC、实时聊天机器人应用、虚拟角色商城等等
1.1K20发布于 2021-11-08 - 来自专栏MixLab科技+设计实验室
数字人全集
请查阅 Mixlab·社群数字人讨论合辑 数字人·专题分享合辑目录 #01 数字人驱动方式 离线式驱动 实时驱动 跨平台数字人形象统一接入工具 #02 数字人虚拟偶像制作 虚拟偶像创作与运营指南 # vonage 专业文本转语音工具 # Synthesia 运用TTS + first order motion 的数字人视频生成工具 1.2 实时驱动 上述案例多用于“离线式”的数字人应用场景 如果需要与数字人进行实时的交流沟通，有项目采用的是 ASR+TTS+Audio2face 方案。 我先做一下归纳总结～ 1.数字人 & 社交 2.数字人 & 文娱产业 3.数字人 & 情感陪伴 4.数字人 & 工业产品与场景 ......持续探索中～ 3.1 数字人 & 社交 名片、简历等物件与各类社交活动都需要充分展现个人的亮点信息 2.详尽的用户与数字人交流评估系统。 3.多种综合的算法模型保证用户舒适的交流体验。 4.支持数字人进行图像消息的理解与回复。
3.9K52编辑于 2022-04-16 2张显卡即可20FPS流式生成！SoulX-LiveAct开启“小时级”实时数字人交互新时代
该模型通过创新的 Neighbor Forcing 策略和 ConvKV Memory 机制，在仅需2张H100/H200显卡的情况下，实现了20 FPS的实时流式推理，且支持真正意义上的“无限时长”生成 挑战：实时数字人的“长跑”难题 目前的自回归（AR）扩散模型在视频生成上展现了巨大潜力，但在迈向“小时级”甚至“无限时”实时交互时，面临着两大瓶颈： 训练不一致性：传统的Forcing策略在传播过程中存在扩散状态不匹配 ，导致信号不稳定，数字人容易在长时间生成后“崩坏”。 多模态驱动：支持图像、音频及文本指令驱动，能够生成表情生动、情绪可控且拥有丰富全身动作的数字人。 对于实时数字人，这无异于自杀。 传统做法：缓存所有历史帧的 Key 和 Value，显存随时间“爆炸”。 SoulX-LiveAct 的解法：我们引入了基于卷积的键值记忆网络（ConvKV）。
37110编辑于 2026-04-02- 来自专栏HyperAI超神经
在线教程丨刘强东数字人首秀交易额破5千万！用GeneFace++ 生成实时说话数字人
近日，京东创始人刘强东化身「采销东哥 AI 数字人」，在京东家电家居和超市的采销直播间开启了自己的直播首秀。 此次直播活动观看人次超 2 千万，交易总额超 5 千万，充分彰显了AI 数字人在电商直播领域的巨大潜力。 IDC 曾在《中国 AI 数字人市场现状与机会分析 2022 》中表明，预计到 2026 年中国 AI 数字人市场规模将达到 102.4 亿元。 其中，GeneFace++ 作为一种通用且稳定的实时音频驱动 3D 说话人脸生成技术，通过改进唇形同步、视频质量和系统效率，首个实现了实时说话人的生成。 登录 hyper.ai，在「教程」页面，选择「GeneFace++ 数字人 Demo」。点击「在线运行此教程」。 2. 页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。 3.
53410编辑于 2024-04-26 CANN赋能AIGC“数字人”革命：实时视频换脸与表情驱动实战
这里写目录标题 引言 一、CANN在实时数字人应用中的技术价值 二、实时数字人系统架构设计 核心模块功能说明： 三、CANN实时数字人核心代码实现 3.1 实时视频流处理框架 3.2 CANN优化人脸检测实现 摘要：数字人（Digital Human）作为AIGC领域最具商业价值的应用之一，对模型推理的实时性、保真度提出了极高要求。 文章包含完整的模型转换、实时视频流处理代码及性能对比数据，揭秘CANN如何让AIGC数字人“活”起来。 cann组织链接 ops-nn仓库链接 一、CANN在实时数字人应用中的技术价值 数字人技术的核心在于“实时”与“高保真”的平衡。 三、CANN实时数字人核心代码实现 3.1 实时视频流处理框架 import cv2 import numpy as np from cannie import StreamProcessor, Tensor
15410编辑于 2026-05-06CANN × ROS 2：为智能机器人打造实时 AI 推理底座
CANN × ROS 2：为智能机器人打造实时 AI 推理底座 在自动驾驶小车、巡检机器人、服务机械臂等场景中，机器人需要在毫秒级时间内完成： 多摄像头目标检测 激光雷达点云分割 语音指令理解 路径规划决策 而 ROS 2（Robot Operating System 2） 作为主流机器人中间件，提供了模块化、实时性、安全通信等关键特性。 需求 ROS 2 提供 CANN 提供 模块化架构 Node / Topic / Service 模型即服务（Model-as-a-Service） 实时通信 DDS（Data Distribution 四、性能实测：机器人平台对比 测试平台：四轮巡检机器人（搭载 CANN 支持芯片，16GB RAM，30W TDP） 任务 CANN + ROS 2 CPU + ROS 2 GPU + ROS 2 YOLOv8 结语：让机器人真正“看得清、听得懂、反应快” CANN 与 ROS 2 的结合，不是简单的“加速器插件”，而是重构了机器人智能的底层执行范式。
32510编辑于 2026-02-09- 来自专栏DevOps
AI数字人：AI数字人制作初探及相关开源简介
广义上讲可以说是计算机模拟出的具有人的形态的虚拟人都叫做数字人，在平常的观感上，数字人是整合了人物形象模拟、人物声音克隆、自然语言处理、知识图谱解析等众多世界领先的人工智能技术的可视化数字虚拟人。 它具备人类的外观和行为模式，数字人具有人类身体的外观形体结构，表现出来的行为模式是与人类相仿的，数字人的影像通常是呈现出某种人类的活动。 下面收集了几个开源的数字人项目，整理出来了，大家一起学习，希望对大家有所帮助。 没错，支持实时摄像头！ 总结一下，“你可以让任何图片说任何话”，“你可以让任何人说任何话。” 五、Text2Speech 文本生成音频。 而想要达到实时互动的效果，比如视频聊天机器人，需要生成计算人物表情甚至动作，延迟是少不了，而且现有技术条件下，需要消耗巨大的算力，一般的公司或者个人无法承担。除非有牛X的创新的技术出现。
1.5K10编辑于 2024-03-29 - 来自专栏山河已无恙
基于 Wav2Lip-GFPGAN 深度学习模型 数字人Demo
所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》 ---- 2Demo简单介绍 Wav2Lip-GAN Wav2Lip-GAN 是一种基于生成对抗网络 /Wav2Lip-GFPGAN_Python_Demo 3涉及到的模型和安装包下载 Wav2Lip 可以在项目中看到下载路径: https://github.com/Rudrabha/Wav2Lip Wav2Lip wav2lip (wav2lip) C:\Users\山河已无恙\Documents\GitHub\Wav2Lip-GFPGAN>conda list ..... \Wav2Lip-master\inference.py --checkpoint_path .\Wav2Lip-master\checkpoints\wav2lip.pth --face . [libx264 @ 000001ba2a798d80] i8 v,h,dc,ddl,ddr,vr,hd,vl,hu: 18% 18% 48% 3% 2% 2% 2% 3% 3% [libx264
2.4K31编辑于 2023-08-21 - 来自专栏翩翩白衣少年
Soul 开源实时数字人「性能怪兽」！
数字人这个赛道，这两年卷得飞起。 从最初的静态虚拟主播，到后来的 AI 驱动口型同步，再到如今的全实时流式生成，技术迭代的速度让人眼花缭乱。但说实话，开源领域真正能落地的方案，一直不多。 为什么？ 直接把数字人门槛打下来了，是一款个人开发者和小团队也能玩得起的工业级的实时数字人模型。 项目介绍 SoulX-FlashHead 是 Soul AI Lab 团队开源的一个实时流式数字人生成框架。 它主打一个核心理念：让工业级实时数字人技术真正普惠。 这个项目有多强？ 一台机器可以同时服务 3 个用户的实时数字人交互。这对于想要搭建数字人服务的团队来说，意味着更高的资源利用率和更低的运营成本。 4、全开源 代码、模型权重、文档，全部开放。 2、高保真音画同步 音频驱动的口型同步是数字人的核心能力。
1.1K10编辑于 2026-03-16 - 来自专栏RTSP/RTMP直播相关
基于RTMP的智慧数字人|AI数字人传输技术方案探讨
技术背景 随着智慧数字人、AI数字人的兴起，越来越多的公司着手构建全息、真实感数字角色等技术合成的数字仿真人虚拟形象，通过“虚拟形象+语音交互（T-T-S、ASR）+自然语言理解（NLU）+深度学习” 一个有“温度”的智慧数字人，有多个维度组成，如图像识别、语音识别、语义理解等，本文主要阐述的是如何把这样一个智慧数字人，通过编码传输，以更低的延迟和好的体验，呈现给用户。 技术实现 本文以Windows平台为例，从技术角度探讨智慧数字人的实时编码传输。 :{1:D2}:{2:D2}:{3:D2} " + "{4:D4}/{5:D2}/{6:D2}", DateTime.Now.Hour, DateTime.Now.Minute, event_id, event_log); } 总结 以上是大概的流程，通过采集Unity的音视频数据，编码打包传输，发送到RTMP服务端，客户端直接拉取RTMP流数据，延迟在毫秒级，用户体验良好，在智慧数字人等交互场景
65840编辑于 2022-03-26 - 来自专栏AI技术应用
AI数字人的测试
AI数字人的测试是一个复杂的过程，需要综合考虑技术、用户体验和安全性等多个方面。以下是基于最新搜索结果的AI数字人测试方法、标准和框架。 测试方法功能测试：确保AI数字人能够执行其设计的所有功能，如自然语言处理、情感识别、动作生成等。可以通过预定义的测试用例来验证这些功能。性能测试：评估AI数字人的响应速度、处理能力和资源消耗。 安全性和隐私测试：检查AI数字人是否符合相关的安全和隐私标准，如数据加密、用户认证和访问控制。测试标准自然语言处理的准确性：AI数字人需要能够准确理解用户的语言，并提供相关的回答。 情感识别的准确性：如果AI数字人需要处理情感信息，需要测试其情感识别的准确性。可以使用情感分析工具来评估其性能。动作和表情的自然度：AI数字人的动作和表情需要自然流畅，以增强用户的沉浸感。 NVIDIA ACE平台：NVIDIA的ACE平台提供了一套工具和服务，用于创建和部署交互式数字头像。它结合了语音识别、自然语言理解和实时渲染等关键技术，支持在云原生架构上进行可扩展的部署。
60410编辑于 2025-03-21 - 来自专栏数据库与编程
自制数字人播报视频
本教程带您一下自制属于你自己的数字人播报视频，即通过人脸图像和一段语音音频生成照片说话视频。 nvidia-smi --query-gpu=name,memory.total,memory.free --format=csv,noheader 2、安装环境及下载源代码 ! update-alternatives --install /usr/local/bin/python3 python3 /usr/bin/python3.8 2 ! bash scripts/download_models.sh 4、生成数字人播报视频 准备照片和音频文件，照片必须要有清楚的头像，音频随便找一段讲话的音频即可： 照片：examples/source_image /face.png 音频文件：examples/driven_audio/jack.mp3 # 此处指定数字人图片为face.png 音频文件为 jack.mp3 img = 'examples/source_image
74710编辑于 2024-01-22 - 来自专栏MixLab科技+设计实验室
数字人DAO - 加入方式
研究型社交： #以DAO的方式开展数字人的共创小组 在发起的时候，想着本活动全靠自驱力，也想看看到底有多少人能坚持下来，发现大家的参与度还是很高的。 当前积分累积情况： ML1033 +3 ML1365 +3 ML1680 +3 ML16 +3 ML1201 +3 ML1525 +3 ML1148 +3 ML360 +3 ML1202 +3 ML1696 +2 1 共创主题： 待定 2 创作： 每周六在discord提交一个内容，围绕数字人（关联性需50%以上），获得+1积分。 内容形式不限，需要有知识密度，举个例子： 一段结合案例的思考 # 一段代码-实验 形象设计稿 人物设定的思考 实操数字人的教程 实操数字人的经验 数字人论文解读 # 数字人案例解读 数字人相关的分享-语音
62230编辑于 2022-05-25 - 来自专栏宜达数字
数字人内部分享
数字人：其实就是高精度3D人物建模。 窗口 插件 image.png 帮助 图片 散开的菜单栏 工具栏 如何制作自己的数字人
67810编辑于 2022-12-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号