我用 WorkBuddy 造了一个"活的"AI 虚拟形象：小墨从 0 到 V17 成长史（附全部踩坑实录） 

前言：我是一个普通用户，不是专业程序员。这篇文章记录我和 WorkBuddy 一起把一个"会说话的图片"养成一个

有记忆、会表演、能干活、还天天自己学习

的 AI 虚拟形象的全过程。所有功能都在一台 Windows 电脑上跑通，手机随时随地能用。踩过的坑全部实录，希望能帮你少走弯路。

一、小墨现在是什么样子（先看结果）

：离线中文语音识别（说话秒出字）+ 神经网络语音合成（带 caching，同句二次回答 <0.01 秒）

：三层记忆系统（短期便签 / 长期日记 / 结构化事实库），每晚 22:00 自动把当天聊天归纳进记忆，重启不掉

：会眨眼（随机双连眨）、微笑、点头、摇头、歪头；说到（挥手动画）（转身动画）这类标记时，还会播放 AI 生成的"真人级"动作视频

：有交办通道（说"交办：查个资料"就落任务）、有自动任务（每天研修、归纳、复盘三班倒）

：手机在任何网络都能访问（Cloudflare 隧道 + token 鉴权）

：V1 → V17，全程快照可回退，进化日志记到 LV.15

这一切的开发过程，90% 是我对着 WorkBuddy 说人话完成的。

[手机浏览器]     [电脑浏览器]        （两端同一页面，哪台说话哪台响）

[voice_server.py] ── Python HTTP 服务：静态资源/TTS/ASR/消息总线/设备仲裁

     ├── bridge_daemon.py  规则引擎：新闻/天气/笑话/古诗/算数/彩蛋动作，本地技能秒回

     ├── brain_worker.py   主脑：本地技能优先 → 未识别交给 LLM（DeepSeek）兜底

     ├── memory_store.py   记忆系统：短期/长期/facts 三层

     └── monitor.py        守护进程：健康检查，谁挂了自动拉谁

：能离线的绝不联网（语音识别、技能回复），隐私又快

：规则没命中才走大模型，省钱省延迟

：大改前整版备份，出问题整版回退

台阶 1：让手机在外网也能找到她（Cloudflare 隧道）

家用宽带没有公网 IP，用 cloudflared 一行命令把本地服务映射成 HTTPS 域名：

：静态资源白名单（其余一律 404）、公网模式强制 token、IP 网段限制。教训：安全要在开公网

台阶 2：语音输入本地化（最大的一次踩坑）

浏览器自带的 Web Speech API 要连 Google，国内根本不可用。方案：网页录音 → 手动重采样成 16k WAV → POST 给服务端 → 

初版用 vosk 小模型（43MB），识别一般

（78MB），准确率质的飞跃，长句一字不差

：vosk 模型放在中文路径下直接报 "Folder does not contain model files"——Kaldi 的 C++ 底层打不开中文目录。

）。这一个坑耗了我一个多小时。

台阶 3：进程守护（被事故逼出来的）

某天四个后台进程全挂了 50 分钟没人发现。痛定思痛写了 monitor.py：每 90 秒 ping 一次服务，进程死了自动 spawn 拉活，异常写告警日志。从此再没瘫痪过。

 允许两个进程同时绑同一端口！新旧代码并存时，

，导致"改了代码不生效"的灵异现象。排查方法：

 看 LISTENING 的 PID 数量。从此立下铁律：

重启服务前必须先杀干净旧进程

台阶 4：记忆系统（让她"认识你"）

三层设计（对应人类记忆的巩固机制）：

：每天 22:00 由自动化任务把当天聊天

成"对话主题/主人关心的事/新事实/待办"四节写入

：结构化键值（生日、偏好、朋友名字…），启动时灌进 system prompt

短期记忆从第一天起就没写进去过

。静默 try/except 是双刃剑，关键路径上一定要留痕。

台阶 5：让形象"活"起来（零成本动画方案）

不换图、不用 3D 建模，纯前端实现：

：闭 100ms→睁 170ms 拟真曲线，15% 概率双连眨

：呼吸浮动、双频摇摆、说话微点头（CSS keyframes）

：定稿立绘 + 表情贴片图层（ov3 系列），天然对齐零重影

 括号标记，前端解析后驱动动画，

——这是给 AI 发明的一套"DSL"，成本几乎为零

台阶 6：肢体彩蛋（AI 视频管线）

头颈表情够了，手臂动作怎么办？用图生视频模型：定稿立绘作首帧 → 生成挥手/转身/拥抱的 5 秒视频 → 播放时背景先渐变成视频同款浅色渐变底（用 OpenCV 逐帧采样出的真实底色）→ 无缝融入。 

，如果"先挂白幕再播视频"，被拦截时就是一片白屏。正确姿势是

，被拦截就定格首帧等用户点一下——永远不要让用户看到空白的舞台。

四、让她自己成长：自动化飞轮

这是我最满意的部分——用 WorkBuddy 自动化任务搭了一个成长闭环：

加上交办通道（说"交办：××"就落任务执行交付）和知识图谱脑图（节点带语音讲解+资料+视频链接），

"研修(学)→知识库(存)→学堂(教)→档案(查)→反哺进化(用)"这个飞轮就自己转起来了

五、给同样想做虚拟形象的朋友 5 条建议

：形象图、音色一旦定稿锁死，后面所有进化都不改这两样，避免反复重绘

：高频技能走本地规则（0 延迟 0 成本），闲聊才交给大模型

：原始对话 ≠ 记忆，归纳压缩后的才是；结构化事实库比全文检索实用得多

：V1 到 V17 每版可回退，每次升级记录"做了什么/为什么/验证结果"——这是你最值钱的资产

UI 时序改动必须开真浏览器实测

： autoplay 策略、z-index、缓存版本号，三个地方最容易"改了不生效"

Live2D 正式拆件（手臂关节级驱动）

端侧小模型兜底（断网也能聊）

把"彩蛋动作生成器"做成独立小工具

AI 时代最重要的能力不是写代码，而是把想法拆成 AI 能执行的步骤，然后把重复的部分交给自动化。

 小墨的成长史就是我和 WorkBuddy 的协作史。

小墨成长史-我用 WorkBuddy 造了一个"活的"AI 虚拟形象

保真说明图，肝了6天，积分都没有了，请大家帮助，需要获取积分！感谢！！！

（本项目全程使用 WorkBuddy 开发：对话式开发 + 自动化任务 + AI 生成素材。欢迎交流，评论区见~）

#WorkBuddy #AIAgent #虚拟形象 #数字人 #自动化 #效率工具

以上内容版权归属AI工具使用者，欢迎转载，谢谢（创作者2026-9-9）

社区教程_小墨成长史-我用 WorkBuddy 造了一个"活的"AI 虚拟形象：小墨从 0 到 V17 成长史（附全部踩坑实录6天创造）

人工智能

开发工具

客户端

我用WorkBuddy零代码打造AI虚拟形象小墨，从会说话的图片进化到有记忆、会表演、能干活的自学习数字人。全程实录V1到V17踩坑史：本地语音识别、三层记忆系统、LLM表演语言、自动化成长飞轮。手机电脑全端可用，附5条避坑建议。

WorkBuddy企业版限时双倍 Credits 活动

workbuddy

2026上云采购 | AI焕新·智启新局

热销域名限时优惠，新客首年免费！


domain

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区教程_小墨成长史-我用 WorkBuddy 造了一个"活的"AI 虚拟形象：小墨从 0 到 V17 成长史（附全部踩坑实录6天创造）

社区教程_小墨成长史-我用 WorkBuddy 造了一个"活的"AI 虚拟形象：小墨从 0 到 V17 成长史（附全部踩坑实录6天创造）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐