讓 AI 自己看畫面、動你的滑鼠鍵盤
它在你的資料夾裡，幫你把檔案做好。
產出＝做好的檔案它用自己的游標，幫你直接動畫面。
產出＝它替你點完了AI 用自己的游標，看畫面、點按鈕、打字，操作你 Mac／Windows 上的 App 與網頁。
背後是 GPT-5.5 的內建能力；Mac 版還會讀 App 的無障礙結構（AX Tree），比「截圖猜座標」更準。
傳產的 ERP／進銷存——點發票、按按鈕，終於有人能代勞。
讀記錄 → 整理成 Word → 把行程加進日曆，一條龍跑完。
重現「只有點 GUI 才會跑出來」的 bug，給它眼睛去看。
碰你資料夾裡的檔案、跑指令。只動程式碼／檔案時用。
公開網頁、本機預覽，看不到登入內容。預覽自己做的網頁時用。
你已登入的 Chrome（Gmail／CRM）。要進登入後網站做事時用。
本機桌面 App，看得到螢幕一切。跨沒 API 的軟體時用。
最強・最該小心另有 Cloud 雲端模式：在隔離容器跑、碰不到你本機、最安全但較慢，適合純改程式碼。
| 🍎 macOS | 🪟 Windows | |
|---|---|---|
| 執行 | 背景執行、不搶你的滑鼠鍵盤，你能同時做別的事 | 前景接管：會移動你的游標、打字，那台電腦你暫時不能搶用 |
| 鎖定 | Locked Use：關螢幕上鎖也能跑，可從手機遠端觸發 | 需裝置解鎖且連網、目標 App 留在桌面可見 |
| 上線 | 2026-04-16 | 2026-05-29 |
⚠ 地區紅線：EEA（歐洲經濟區）／英國／瑞士暫不支援；台灣可用。
技術上「能做什麼」——能寫哪、能不能連網。等於先圍一道牆。
Read Only／workspace-write…「何時必須先問你」——擴權、連網、破壞性動作要舉手。
on-request 是預設避免它繞過自己的安全機制。
最高權限，一律留給「人」。
那一聲確認，必須是你按的。
每一步都要看畫面、判讀。
卡 captcha／Cloudflare 過不去。
認錯下拉選單，甚至卡無窮迴圈。
關鍵處，還是得你出手。
佐證：OWASP 2026/06 報告把提示注入列為 agent 頭號威脅；OpenAI 自承無法保證完全防住——所以人要在場。
40+ 張雜亂票券丟資料夾，依日期分類整出行程，約 2–3 分鐘。
讀記錄整成 Word，再把下次會議自動加進 Google 日曆。
操作十幾年前、沒有 API 的進銷存——替舊軟體裝上眼睛和手。
出差手機交辦 → 電腦開檔案總管、開 Outlook 寄信（那台被佔用）。
開瀏覽器、登入後台，把訂單匯出成 Excel。
從大綱做投影片再匯出 PDF 到桌面——最適合 demo。
掃 QR 連線 → 手機看進度、核准指令、切模型、派新任務。
2026-05-14 起關螢幕也能執行；偵測到你動鍵鼠，就立刻重新上鎖。
Locked Use例：每天 8:30 自動抓新聞進 Excel、每週一產出週報。
Automations好的排程指令要含：任務範圍／資料來源／輸出格式／什麼情況不用回報。
為什麼安全：先複製副本再給它、只整理不刪、成果是一份新檔，可以當場驗證。
先看 demo 影片，把概念弄懂。
照上面任務跑，每一步先看再放行。
用 @Chrome 試「公開儀表板讀數字回報」（純讀取零風險）。
Computer Use＝給 Agent 一雙手，能碰沒 API 的東西。
越強越要小心——能用結構化工具就先用。
安全靠設計（沙箱＋核可＋紅線）＋你人在場。
跨 App、操作沒 API 的舊軟體、重現 GUI 問題 → 用 Computer Use；單純改檔／看公開網頁 → 一般 Codex 或內建瀏覽器就好。
《我在用 Agent》L2 延伸完｜安全第一，小步試