肉包 Roubao：首款无需电脑的开源 AI 手机自动化助手

项目背景：2025 年 12 月，字节跳动联合中兴发布了「豆包手机助手」，可自动操作手机完成复杂任务。但首批工程机一机难求，二手市场价格居高不下。 于是有了「肉包」 —— 一个完全开源、基于视觉语言模型（VLM）的 AI 手机自动化助手。 名字来源很简单：作者不爱吃素。

一、项目亮点

• 无需电脑：完全摆脱 ADB 数据线与 PC 端 Python 环境，安装 App 即可使用。
• 原生 Android 实现：基于 Kotlin 开发，截图、分析、决策、执行全部在手机本地完成。
• 多 Agent 协作机制：借鉴 Claude Code 的设计思想，采用 Tools / Skills 双层架构，实现任务规划与执行解耦。
• 高度可定制：支持通义千问、GPT-4V、Claude 以及本地 Ollama 等多种模型后端。

二、方案对比

三、整体技术架构

肉包的核心设计理念，是将复杂的 GUI 自动化过程拆解为两个正交维度：

• 原子能力（How）：系统可以“做什么”
• 用户意图（What）：用户“想要什么”

3.1 Tools 层：原子能力集合

Tools 层负责执行最底层、可复用的物理或系统操作，包括但不限于：

• search_apps：智能搜索已安装应用（支持拼音与语义匹配）。
• deep_link：通过协议直接跳转到 App 内指定页面。
• shell / http：执行系统命令或调用外部 HTTP API。
• screenshot / tap / swipe：基础屏幕采集与触控操作能力。

这些工具本身不具备“目标感”，只负责可靠执行。

3.2 Skills 层：用户意图封装

Skills 层面向最终用户，负责将自然语言意图映射为可执行策略，支持两种核心模式：

• Delegation（委托模式） 直接通过 DeepLink 调用本身具备 AI 能力的应用（如小美、即梦等），特点是速度快、路径短、成功率高。
• GUI 自动化模式 面向普通应用，采用“截图 → 分析 → 操作 → 再截图”的闭环，由 Agent 逐步完成任务。

四、界面与交互展示

肉包采用 Material 3 设计规范，整体风格简洁现代，支持流畅动画与完整的中英文双语切换。

在这里插入图片描述

五、关键依赖：为什么需要 Shizuku？

出于系统安全考虑，Android 普通应用默认无法：

• 模拟其他应用的点击操作
• 读取或分析其他应用的界面内容

传统解决方案通常依赖 电脑端 ADB，这与“随时随地自动化”的目标相悖。

Shizuku 提供了一种优雅且合规的中间方案：

1. 用户仅需通过无线调试启动一次 Shizuku 服务；
2. 肉包即可在非 Root 情况下获得 ADB 级别能力；
3. 所有敏感信息（如 API Key）均采用 AES-256-GCM 加密存储；
4. 一旦检测到支付类页面，系统会自动中止操作，避免风险。

六、快速上手

6.1 前置条件

• Android 8.0 及以上设备
• 已安装并启动 Shizuku
• 一个可用的 VLM API Key（国内用户推荐使用阿里云百炼）

6.2 使用示例

直接对肉包输入自然语言指令，例如：

• “帮我点个附近好吃的汉堡”
• “打开网易云音乐并播放每日推荐”
• “把我手机里最后一张照片发到微博”

七、项目路线图

已完成（v1.x）

• 原生 Kotlin 核心框架
• 智能应用分类与语义搜索
• Delegation 快速路径支持

开发中（v2.0）

• 无障碍服务混合模式（索引点击与坐标点击自动切换）
• UI 树感知能力，减少纯视觉分析带来的误判
• 宏脚本系统，支持操作序列的录制与回放

长期规划

• 多应用协作，跨 App 联动完成复杂工作流
• 边缘侧 AI，支持本地运行轻量级 VLM，实现离线自动化

八、开发者指南

如需自行构建与安装：

# 克隆仓库
git clone https://github.com/Turbo1123/roubao.git
cd roubao

# 构建并安装
./gradlew assembleDebug
./gradlew installDebug

项目地址：https://github.com/Turbo1123/roubao