Gemini for macOS 加入 computer use:Mac 桌面代理是甚麼、怎樣用
2026年11月20日
Mac 版 Gemini 加入 computer use:背景視窗代你操作桌面軟件,可暫停、可逐項批准,但暫時只限美國英語與付費訂閱。
2026 年 11 月 19 日,Google 在官方部落格公布,Mac 版 Gemini 應用程式加入 computer use。名字抽象,做的事情很實在:Gemini 會在你的 Mac 上開一個背景視窗,替你點選單、填表格、在幾個軟件之間搬資料,你的滑鼠和螢幕同時可以繼續做別的事。
過去用 Mac 版 Gemini 處理工作,多數是複製貼上。把一段文字、一份 PDF 的內容丟進對話框,拿回一段整理好的答案。computer use 換掉了這個交棒方式,你可以把整個流程交出去,包括那些沒有開放 API 的桌面軟件。
這篇講四件事:它在 Mac 上實際怎樣運作、要滿足甚麼條件才用得到、它在哪一步會停下來問你、以及哪些工作不應該交給它。如果你用的是 Windows 或 Android,這項功能暫時與你無關,原因寫在後面。
computer use 是甚麼:Gemini 在你的 Mac 上另開一個工作視窗
先講機制。Gemini 不是接管你的滑鼠,它在一個隔離的背景視窗裡做背景操作,並在對話中顯示即時預覽。9to5Google 的描述是「不會搶走你的螢幕」,你的游標留在原位,可以一邊回信一邊看它跑流程。
這個設計解決了桌面代理最實際的麻煩。真接管螢幕的方案,你只能在它做完之前乾等;Gemini 這個做法把「它在做事」和「你在做事」分開,兩邊同時進行。
技術上它做的是點擊與鍵入。開選單、拉捲軸、在欄位裡打地址、按下一頁,全部由模型判斷下一步。對用戶來說,這種能力的意思是你不用再為每個軟件找外掛或捷徑。
跟舊版 Task 的分別:由讀檔案變成代你操作
Mac 版 Gemini 本來就有 Task 功能,前身叫 Gemini Spark。它的範圍窄得多,只能在 Connected Apps 的配合下讀取本機檔案,例如透過 @Gmail 或 @Google Calendar 取資料。讀得到,但動手不了。
computer use 把權限往前推了一步。同一個應用程式裡,Gemini 現在可以在桌面軟件和網頁之間完成多步驟任務,包括導航選單和填寫表格。這一步的距離不小:讀檔案的代理像一個助手幫你翻資料,會動手的代理則像有人坐在你旁邊幫你按。
當中的技術選擇也值得說明。Task 走的是接駁介面,軟件要支援才接得上;computer use 走的是畫面,只要你看得到的按鈕,它就有機會按得到。代價是速度與穩定度:介面改版、彈出視窗、載入動畫,都會影響它的判斷。
Google 選擇在這個時間點推出,背景不難理解。TechCrunch 指出,OpenAI、Anthropic 與 Meta 的桌面應用程式早已提供同類功能,Google 在這一輪算是補課。同一個星期,Google 才剛擴大 Gemini Tasks 的推送範圍。
怎樣叫出 Mac 桌面代理:@Computer use 與 Connectors
入口寫在提示詞裡。9to5Google 的走查指出,使用時在提示中加入 @Computer use,Gemini 就會以桌面代理模式處理你交代的任務,而不是只回一段文字。
可用軟件在設定裡一欄一欄列出來。在 Customize 之下的 Connectors,會見到新增的 Desktop 分類,裡面有 Blender 與 Autodesk Fusion,跟原有的 Git、Obsidian 並排。這一欄同時是你控制範圍的地方,你可以決定 Gemini 可以使用哪些應用程式。
用家要習慣的是「先授權,後交代」。第一次使用某個軟件,Gemini 需要你放行;之後它才可以在那個軟件裡點擊與輸入。這個順序跟手機上一次過給出全部權限不同,逐個軟件放行雖然囉唆,但出事時影響範圍收得住。
安全閥門:暫停、停止與逐項批准
真正決定這類功能能否日常使用的,是刹車而不是引擎。Gemini 的刹車有三個層次,官方描述得很清楚:你可以隨時一鍵停止,可以暫停,也可以在動作執行前逐項批准。
遇到登入與付款,Gemini 會主動停下來。這一點值得強調,因為登入與付款是桌面代理最容易出事的地方:一組密碼、一次結帳,錯了就收不回。官方說法是敏感操作需要確認,也就是說它不會自己按下「確認付款」。
逐項批准的模式最囉唆,但最適合第一次用。你會看到它打算按哪個按鈕、填哪一格,逐個放行。用上一兩星期,多數人會放寬到只在關鍵步驟才檢查,這個轉換點每個人都不同。
三個層次的分別在於誰承擔判斷。全自動模式下,判斷由模型做,你只負責事後查看結果;逐項批准則把判斷留給你,模型只負責執行。中間的暫停功能最容易被低估,它讓你在看到預覽之後才決定要不要繼續,等於把「反悔」的時間點往後推到動作發生之前。
四類實際任務:由報價單到簡報
官方給的例子集中在重複而瑣碎的工作。第一類是批量處理素材,例如在設計軟件裡為一批照片統一調色,或者在 3D 軟件裡搭好場景的基礎設定。
第二類是表格與報價。從本機 PDF 抽出重量、尺寸、地址,填進貨運報價的多個欄位。這類工作在貿易與物流公司很常見,香港與台灣的中小企尤其多,同一份報價單要在三個網站各填一次。
第三類是把即時數據變成簡報。從不同地區的儀表板抓指標與截圖,再組成一份 Google Slides。第四類是批量上架,分析一個資料夾裡的衣服照片,查價、記錄細節、在轉售平台開好草稿。
四類工作的共同點是步驟多、判斷少。這也是 computer use 目前最合理的定位:它替你走完流程,決定仍然由你下。
誰用得到:美國、英語與 Google AI 訂閱
限制講明白比較省事。這項功能初期只在美國推出,只支援英語,使用時需要 Mac 版 Gemini 應用程式,並且要有 Google AI Plus、Pro 或 Ultra 訂閱。Mac 版應用程式由 Google 官方網站提供下載,安裝後以 Google 帳號登入。
三個條件疊起來,香港與台灣的用家短期內用不到。官方沒有公布擴區時間,也沒有說會否支援其他語言,所以任何「下個月輪到亞洲」的說法都只是猜測。
訂閱門檻也值得算一算。computer use 不是獨立產品,它掛在既有的 AI 訂閱之上,也就是說你本來就要為 Gemini 付費,這項功能才算加值。對已經在用 Google AI Pro 的人,這是多出來的能力;對沒有訂閱的人,它不構成訂閱的理由。
限制與風險:不該交給它的工作
有幾類工作我不會交給它,理由與能力無關,與可逆性有關。付款、刪除檔案、寄出對客戶的正式郵件,這三類一旦做錯就收不回,寧願自己按。代理再準,出錯的機率也不是零。
隱私是第二個要留神的地方。Gemini 看得到你放行軟件裡的所有內容,包括畫面上順帶出現的客戶資料、內部報表、私人訊息。授權之前值得問一句:這個軟件視窗裡,有沒有不該讓第三方模型讀到的東西。
第三個限制是記錄。你做過的事有痕跡,它做過的事未必有。目前未見 Gemini 提供逐項操作日誌,也就是說出問題時,你未必能還原它按過哪幾個按鈕。這一點在需要問責的場景很關鍵。
檔案版本是另一個容易忽略的位。代理在同一個資料夾裡改名、移動、覆寫,如果那個資料夾同時掛着 iCloud 或 Google Drive 同步,衝突版本會安靜地出現,等你幾日後打開才發現。要交出去之前,先確認那份檔案有備份,或者本身在版本控制之下。
結論:先當成實習生,不要當成遙控器
computer use 在 Mac 上的意義,是把「問答」推進到「代辦」。它會在同一個螢幕上幫你走完重複流程,遇到登入與付款會停手,你也可以逐項批准。對每天要在幾個桌面軟件之間搬資料的人,這是實在的減負。
現階段它更適合當成一個實習生:交代清楚、看着它做頭幾次、出錯成本低的工作先放手。想要試的人,先確認自己有合資格的美國區帳號與 Google AI Pro 或以上的訂閱,再從一個不會造成損失的任務開始,例如整理一個資料夾。習慣了它的節奏,再決定要不要把權限放寬。