• 简体中文
  • 开始使用

    告诉 Tapilot 你想做什么,它会在安卓手机上打开应用、点击和输入。先完成一件小事,再核对屏幕上的实际结果。Powered by Midscene。日常使用不需要电脑、数据线或 root。

    需要 Android 11 及以上的 ARM64 手机,以及受支持的视觉模型。Agent 在手机上运行,模型推理由你配置的模型服务完成。

    下载与版本

    从飞书固定下载地址获取 APK,按系统提示允许该来源安装。当前下载文件为 Tapilot-0.1.9-beta-arm64.apk,发布于 2026 年 11 月 4 日,安装包不可调试,沿用已有测试版签名,并非应用商店正式版。不同签名的安装包不能相互覆盖。

    备用下载:GitHub Release 同版本 APK。Release 同时提供 SHA-256 校验文件和第三方源码材料。

    功能以实际安装的构建为准。后续源码中的改动不会自动进入现有下载包;支持某项能力的源码,也不代表旧包已经具备该能力。设置页可检查已发布更新。

    配置模型和权限

    1. 在设置中配置兼容的 HTTPS 视觉模型 API 地址、模型名和密钥,或在可用时选择 ChatGPT 连接入口。只有支持的视觉模型才能执行手机任务。
    2. 在安卓无障碍设置中启用 Tapilot 设备控制。它负责截图、手势、系统导航和文字输入;视觉目标由 Midscene 根据截图定位。需要其他权限时,按系统提示授予。
    3. 选择执行方式:自动执行(YOLO)、关键操作确认或每次操作确认。新安装默认自动执行,发送任务前可在输入区切换。
    4. 先试一个简单、可见的任务,再查看真实画面和执行记录。锁屏、受保护页面、自绘输入控件或厂商后台限制都可能使任务失败。

    第一件事:计算 12 × 8

    1. 确认手机已安装计算器,并保持解锁。
    2. 回到 Tapilot,输入 打开计算器,计算 12 × 8。 发送消息。
    3. 等它操作。Tapilot 使用手机主屏幕,执行时先不要点击或切换应用;如果所选执行方式要求确认,按提示确认。
    4. 检查计算器上的结果是否为 96,再打开执行报告,查看实际动作和截图。
    5. 如果卡住或结果不对,仍在运行时先点击停止。查看当前画面,说明哪里不对后再尝试。不能只凭一句“已完成”判断成功。

    这个任务直接使用聊天输入框,不需要先配置语音或连接电脑。

    可选的后台屏幕(实验性)

    默认在手机主屏执行任务。想试用独立屏幕时,打开 设置 → 后台屏幕(实验性),明确授权 Shell 辅助,并按手机内的无线调试向导完成配对。支持此流程的手机不需要电脑。允许悬浮预览后,打开 用于聊天任务,普通聊天中的手机操作就会使用后台屏幕;兼容性试用收在 高级选项 中。

    通过悬浮预览核对结果。需要手动操作时,先选择 我来处理,等执行停止后再操作;准备好后明确选择 继续。关闭悬浮窗、关闭功能或辅助断连都会停止任务,恢复连接不会自动续跑。需要 Android 12 或更高版本;应用兼容性因设备而异,不保证受保护页面或熄屏操作可用。部分手机重启后需要手动重新开启无线调试。

    通过 HTTP 连接自托管模型

    0.1.9 下载版支持可信网络中的 HTTP 模型地址。

    填写兼容 OpenAI 的基础地址,例如 http://192.168.1.100:8000/v1,并选择受支持的视觉模型。手机必须能访问该服务;localhost 指的是手机自身,不是电脑。应用仍要求填写 API Key;如果服务端不需要鉴权,可以填写 local 等非空占位值。

    HTTP 会以明文发送 API Key、消息和截图,仅在可信网络中使用,其他情况优先使用 HTTPS。这项支持适用于执行任务的模型 API,可选的语音润色仍要求 HTTPS。

    推进任务与核对结果

    任务执行中可以补充要求,或点击停止。需要重试时明确发起;应用重启不会自动重放被打断的任务。遇到结果不确定的情况,先查看当前画面,避免重复执行已经发生的操作。

    每次手机操作结束后,另采截图核对当前要求。跨页面任务分别保留各页读数,再汇总回答。打开执行报告可回放 Midscene 的截图、模型计划、动作和错误;缺少画面证据时,不能仅凭一句“已完成”判断成功。

    语音输入与对话

    在 设置 → 语音输入 中单独配置火山引擎或 Deepgram。火山引擎需要豆包语音服务的 API Key,不能使用方舟模型密钥;应用内提供控制台和配置指南入口。填写后点击 检查连接 保存并验证。

    长按输入框开始录音,松手发送;滑入取消区域后松手取消。可选的语音润色使用单独配置的 HTTPS 模型,润色失败时保留识别原文。

    支持连续语音的构建可点击声波开始对话,另配播报服务后听取回答。跨应用语音会话由前台服务维持,通知栏提供暂停和结束入口。当前通过按钮打断,不支持唤醒词或说话直接打断;具体入口以安装版本为准。

    从电脑通过 Wi-Fi 操作

    需要支持无线控制的 Tapilot 构建,以及电脑上的 Android Use 插件。电脑与手机建立配对后,通过固定证书的 TLS 连接传输画面和操作,不需要 USB 或 ADB。

    在电脑插件中打开配对页面,用 Tapilot 扫描电脑二维码,再确认手机。连接期间保持手机解锁,并只让一个控制端操作。配对另一台电脑会替换原来的授权;涉及私人登录时,使用插件的隐私暂停,完成后再恢复。

    无线配对和插件支持随构建更新,不能仅凭 0.1.9 版本号判断是否可用。

    模型可能误读画面,第三方应用的兼容性也有差异;服务商可能收取费用。参阅隐私与权限,了解截图、语音和报告的去向。