微软又上大分！刚刚开源一款 0.5B 轻量级实时 TTS 模型，还能边想边说！

开源星探

发布于 2026-03-16 20:22:36

2550

文章被收录于专栏：翩翩白衣少年翩翩白衣少年

如果说 2024 年我们解决了大模型「脑子」聪明不聪明的问题，那么 2025 年，我们正在疯狂解决 AI「嘴巴」利不利索的问题。

大家平时用各种 AI 助手语音模式时，你问了一个问题，对面沉默了 2-3 秒（虽然他在思考），然后突然给你念一段完美的稿子。

这种体验虽然准确，但不像真人。

真人是怎么说话的？真人在脑子里组织语言的同时，嘴巴就已经开始动了。我们会有停顿、有语气、甚至会边想边说。

「实时流式对话」才是 AI 语音的终极形态。

就在这两天，微软低调地开源了一款名为 VibeVoice-Realtime-0.5B 的轻量级 TTS 模型。

别看它只有 0.5B 参数，它却做到了目前市面上大多数巨型模型做不到的事：文本还在往外蹦，它的声音就已经开口说了。

300 毫秒就能说话，边输入边朗读，长文不卡顿，还能多人自然对话。

主要特点

• 真正的实时发声：首包延迟仅约 300ms。
• 交错窗口架构：一边说话一边续写音频。
• 多角色自然对话：支持最多 4 个角色自然对话。
• 情绪识别表达：虽然小体量，但是也支持情绪识别与表达。
• 上下文记忆：10 分钟保持语气不乱，最长可到 90 分钟。
• 中英文支持：中文支持也有，只是当前版本中文比英文差一点。

快速入手

VibeVoice-Realtime-0.5B 是微软 VibeVoice 语音模型系列下最新成果，都是百分百 Python 代码开源。

具体安装步骤如下：

1、克隆 VibeVoice 仓库

git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice

2、安装项目依赖

pip install -e

3、下载模型

from huggingface_hub import snapshot_download
snapshot_download("microsoft/VibeVoice-Realtime-0.5B", local_dir="/content/models/VibeVoice-Realtime-0.5B")

4、启动 VibeVoice 实时演示

import subprocess, re, time, threading

srv = subprocess.Popen(
    "python /content/VibeVoice/demo/vibevoice_realtime_demo.py --model_path /content/models/VibeVoice-Realtime-0.5B --port 8000",
    shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True, bufsize=, universal_newlines=True,
)
cf = subprocess.Popen(
    "./cloudflared tunnel --url http://localhost:8000 --no-autoupdate",
    shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True, bufsize=, universal_newlines=True,
)

public_url = None
server_ready = False
url_pattern  = re.compile(r"(https://[a-z0-9-]+\.trycloudflare\.com)")

def read_srv():
    global server_ready
    for ln in srv.stdout:
        print(ln.strip())
        if "Uvicorn running on" in ln:
            server_ready = True

def read_cf():
    global public_url
    for ln in cf.stdout:
        m = url_pattern.search(ln)
        if m:
            public_url = m.group()
            break

threading.Thread(target=read_srv, daemon=True).start()
threading.Thread(target=read_cf,  daemon=True).start()


while True:
    if server_ready and public_url:
        print(f"✅ Public URL: {public_url}\n");
        public_url = None
    time.sleep(0.25)

当然如果需要在线体验，推荐下面这个方式：

HF 在线DEMO：

https://huggingface.co/spaces/anycoderapps/VibeVoice-Realtime-0.5B