• 繁體中文
  • 開始使用

    告訴 Tapilot 你想做什麼,它會在 Android 手機上開啟應用程式、點擊和輸入。先完成一件小事,再核對畫面上的實際結果。Powered by Midscene。日常使用不需要電腦、傳輸線或 root。

    需要 Android 11 以上的 ARM64 手機,以及受支援的視覺模型。Agent 在手機上執行,模型推論由你設定的模型服務完成。

    下載與版本

    從飛書固定下載網址取得 APK,依系統提示允許該來源安裝。目前下載檔案為 Tapilot-0.1.9-beta-arm64.apk,發布於 2026 年 11 月 4 日,安裝套件不可偵錯,沿用既有測試版簽章,並非應用程式商店正式版。不同簽章的安裝套件無法互相覆蓋。

    備用下載:GitHub Release 同版本 APK。Release 同時提供 SHA-256 校驗檔案和第三方原始碼材料。

    功能以實際安裝的建置為準。後續原始碼變更不會自動進入現有下載套件;原始碼支援某項能力,也不代表舊套件已具備。設定頁可檢查已發布的更新。

    設定模型與權限

    1. 在設定中填寫相容的 HTTPS 視覺模型 API 網址、模型名稱和金鑰,或在可用時選擇 ChatGPT 連接入口。手機任務需要受支援的視覺模型。
    2. 在 Android 無障礙設定中啟用 Tapilot 裝置控制。它提供截圖、手勢、系統導覽和文字輸入;視覺目標由 Midscene 根據截圖定位。需要其他權限時,依系統提示授予。
    3. 選擇執行方式:自動執行(YOLO)、關鍵操作確認或每次操作確認。新安裝預設自動執行,可在傳送任務前從輸入區切換。
    4. 先試簡單、可見的任務,再查看實際畫面和執行紀錄。鎖定或受保護的畫面、自繪輸入元件與廠商背景限制都可能使任務失敗。

    第一件事:計算 12 × 8

    1. 確認手機已安裝計算機,並保持解鎖。
    2. 回到 Tapilot,輸入 開啟計算機,計算 12 × 8。 傳送訊息。
    3. 等它操作。Tapilot 使用手機主畫面,執行時先不要點擊或切換應用程式;如果所選執行方式要求確認,按提示確認。
    4. 檢查計算機上的結果是否為 96,再開啟執行報告,查看實際動作和截圖。
    5. 如果卡住或結果不對,仍在執行時先點擊停止。查看當前畫面,說明哪裡不對後再嘗試。不能只憑一句「已完成」判斷成功。

    這個任務直接使用聊天輸入框,不需要先設定語音或連接電腦。

    可選的背景畫面(實驗性)

    預設在手機主畫面執行任務。想試用獨立畫面時,開啟 設定 → 背景畫面(實驗性),明確授權 Shell 輔助,並依手機內的無線偵錯指引完成配對。支援此流程的手機不需要電腦。允許浮動預覽後,開啟 用於聊天任務,一般聊天中的手機操作就會使用背景畫面;相容性試用收在 進階選項 中。

    透過浮動預覽核對結果。需要手動操作時,先選擇接管,等執行停止後再操作;準備好後明確選擇繼續。關閉浮動視窗、關閉功能或輔助斷線都會停止任務,恢復連線不會自動繼續執行。需要 Android 12 以上;應用程式相容性因裝置而異,不保證受保護畫面或關閉螢幕後可操作。部分手機重新啟動後需要手動重新開啟無線偵錯。

    透過 HTTP 連接自架模型

    0.1.9 下載版支援可信網路中的 HTTP 模型網址。

    填寫相容 OpenAI 的基礎網址,例如 http://192.168.1.100:8000/v1,並選擇受支援的視覺模型。手機必須能存取該服務;localhost 指的是手機本身,不是電腦。應用程式仍要求填寫 API Key;如果伺服器不需要驗證,可以填寫 local 等非空佔位值。

    HTTP 會以明文傳送 API Key、訊息和截圖,僅在可信網路中使用,其他情況優先使用 HTTPS。這項支援適用於執行任務的模型 API,可選的語音潤飾仍要求 HTTPS。

    推進任務與核對結果

    任務執行中可以補充要求,或點擊停止。需要重試時明確發起;應用程式重啟不會自動重播被打斷的任務。結果不確定時,先查看目前畫面,避免重複執行已發生的操作。

    每次手機操作結束後,獨立擷取畫面核對目前要求。跨頁面任務分別保留各頁讀數,再彙整回答。開啟執行報告可重播 Midscene 的截圖、模型計畫、動作和錯誤;缺少畫面證據時,不能只憑一句「已完成」判斷成功。

    語音輸入與對話

    在 設定 → 語音輸入 中獨立設定火山引擎或 Deepgram。火山引擎需要豆包語音服務的 API Key,不能使用方舟模型金鑰;應用程式內提供控制台和設定指南。填寫後點擊 檢查連線 儲存並驗證。

    長按輸入框開始錄音,放開傳送;滑入取消區域後放開取消。可選的語音潤飾使用獨立設定的 HTTPS 模型,失敗時保留辨識原文。

    支援連續語音的建置可點擊聲波開始對話,另設播報服務後聽取回答。跨應用程式語音由前景服務維持,通知列提供暫停和結束入口。目前透過按鈕打斷,不支援喚醒詞或說話直接打斷;具體入口以安裝版本為準。

    從電腦透過 Wi-Fi 操作

    需要支援無線控制的 Tapilot 建置,以及電腦上的 Android Use 外掛。配對後透過固定憑證的 TLS 連線傳輸畫面和操作,不需要 USB 或 ADB。

    在電腦外掛中開啟配對頁面,用 Tapilot 掃描電腦 QR 碼,再確認手機。連線期間保持手機解鎖,並只讓一個控制端操作。配對另一台電腦會取代原有授權;涉及私人登入時,使用外掛的隱私暫停,完成後再恢復。

    無線配對與外掛支援隨建置更新,不能僅憑 0.1.9 版本號判斷是否可用。

    模型可能誤讀畫面,第三方應用程式的相容性也有差異;服務商可能收費。參閱隱私與權限,了解截圖、語音和報告的去向。