Framework Desktop 擴充 NVIDIA GPU：用 OCuLink 外接 RTX 5070 Ti

我在去年 2025/9 月，買了一台 AMD Ryzen AI Max+ 395 的 Framework Desktop 來跑 LLM 大模型，之前寫過開箱文。

雖然不是 Nvidia 在大部分情況下用 AMD 也能跑，特別是 GGUF 模型推論用 llama + vulkan 引擎就行。但如果是開源的 PyTorch 相關的 AI 專案，安裝範例都是以 Nvidia CUDA 為預設，每次想試就需要特別改裝 ROCm 版本的 PyTorch 去實驗相容性，會比較麻煩，而且也不總是可行。

例如，最近也在做 AI 推薦系統，會用到 PyTorch 等深度學習模型訓練。這種記憶體需求不算大，但若有 CUDA 支援，開發上會很有幫助，而且 production 最後也是 Nvidia GPU 環境。另外就是跑小模型例如 Embeddings、Reranker、OCR 或 ASR 語音辨識的話，其實記憶體需求也不大，但算力夠快會很有效益，可以多做即時語音辨識應用。這幾個任務我最後用 5070 Ti 大約會比 AMD gfx1151 快 3至4 倍，還是非常有感。

於是，我開始留意怎麼替這台工作站電腦加上一張 Nvidia 顯卡，最後採用的成功方案是: 從 M.2 插槽接出 OCuLink 擴充，外接 Nvidia RTX 5070 Ti 16GB 和獨立電源供應器供電，總花費約5W。

如此記憶體需求大的模型放 AMD Ryzen AI Max+ 395 能跑、開發 AI 模型和小模型則用 Nvidia RTX 5070 Ti 跑得快。畢竟如果要記憶體容量大，又要算力超快，現在就是超貴，分開訴求組成一台雙 GPU 工作站也是個折衷思路。

閱讀全文〈Framework Desktop 擴充 NVIDIA GPU：用 OCuLink 外接 RTX 5070 Ti〉

愛好 AI Engineer 電子報 🚀 OpenAI GPT-5.6 發布 #40

歡迎訂閱 📬 愛好 AI Engineer 電子報 過往期數點這 📚

Hello! 各位 AI 開發者大家好 👋

最近我開始升級到 OpenAI GPT-5.6 API 了。這次不只是模型能力升級，也帶來不少值得 Agent 開發者關注的 API 更新。

首先，GPT-5.6 分成三種型號：Sol 是能力最強的旗艦模型，適合複雜 coding、研究與專業任務；Terra 在能力、速度與價格之間取得平衡；Luna 則主打低成本與高流量工作。

有趣的是，從官方公布的 Artificial Analysis Coding Index 可以看到，隨著 reasoning.effort 提高，Luna 或 Terra 可以超越高一級模型的低推理設定。模型選擇因此變成兩個維度：要選多大的模型，以及願意讓它思考多久。這也讓多模型調度更有發揮空間。如果是非用戶即時的任務 latency 不重要時，可以考慮多用 Luna 模型把推理程度調高，以此來節省成本。

閱讀全文〈愛好 AI Engineer 電子報 🚀 OpenAI GPT-5.6 發布 #40〉

給 Agent 開發者的 Harness Engineering 駕馭工程系列 🚀 愛好 AI Engineer 電子報  #39

歡迎訂閱 📬 愛好 AI Engineer 電子報 過往期數點這 📚

這是 2026/6/26 在 生成式 AI 開發者年會 分享的演講投影片(html)，這個題目可說是 2026 年上半年最熱門的 AI 工程主題，這次趁著準備演講，好好梳理了一次。

➡️ 給 Agent 開發者的 Harness + Loop Engineering 投影片

網路上多數 Harness Engineering 的文章，是站在 coding agent 使用者的角度，回答「harness 由哪些元件組成」。我這次的切入點不一樣：定位在自行開發 AI Agent 的工程師，而 coding agent 只是目前最成熟的 Agent 產品範例。我更想回答的問題是如何設計 Agent 的回饋，從工具執行內、request 之間、單輪結束、到外層 loop，由內而外四個時機點，這是我自己整理出來的論述框架，希望對大家開發 AI Agent 產品有幫助。

演講介紹

當前的 AI Agent 已經能拆解任務、擁有技能、操作檔案、執行程式，卻仍常常自信地宣稱「完成了」，產出實際上卻仍不完整。它有能力把事情做出來，但「做得對不對、做完了沒」是接下來的挑戰。

這場演講將講解如何為它搭好 harness 框架，特別是如何在 Agent 運作的不同時機點，搭建檢查與修正的回饋(feedback loop)，讓 Agent 不再「自我感覺良好」就交差，而是對著明確的目標持續迭代、驗證到通過為止。演講內容將會搭配案例與不同主流工具的作法對比，聚焦在我們開發 Agent 產品時，也能夠參考實作的工程設計。

給 Agent 開發者的駕馭工程 系列文章

這場演講搭配有 9 篇的 blog 系列《給 Agent 開發者的駕馭工程》在 👉 blog.aihao.tw

  1. 基礎: Deep Agent 的六項內建能力
  2. 核心: Agent 要的是回饋迴路,不是完美提示
  3. 回饋時機一: 工具回傳值, 是寫給 agent 的回饋
  4. 回饋時機二: 兩次 model request 之間,把訊息注入執行中的 agent
  5. 回饋時機三: 單輪結束的驗收, Goal 與 Outcomes
  6. 回饋時機四: 外層 Loop, Ralph、Symphony 與 Cron
  7. 進階: 自我改進 Harness, Meta-Harness 與爬坡
  8. 收尾: 會過期的 Harness, Model-Harness-Fit 與 Bitter Lesson
  9. 自建 Agent 的框架選型: 全套 Deep Agent 還是從基礎構建?

愛好 AI Engineer 電子報 🚀 Claude Fable 來了 + Tokenmaxxing 失靈中 #38

歡迎訂閱 📬 愛好 AI Engineer 電子報 過往期數點這 📚

Hello! 各位 AI 開發者大家好 👋

話說 tokenmaxxing 就是「能燒多少 token 就燒多少」的意思：同時開一堆 agent、塞超長 context、能用貴模型就不用便宜的，讓 token 用量衝越高越好。

一開始它幾乎是個正面的詞，不少公司搞起「token 消耗排行榜」，結果一堆公司燒爆預算。這根本是 AI 時代的「用程式碼行數衡量生產力」。然而隨著模型漲價、coding agent 又繼續進步、能燒 token 的招式越來越多（例如新的 Goal 功能、loop 排程、dynamic workflow 等等），這套玩法逐漸失靈。

一方面新模型本身漲價，GPT-5.5 是 GPT-5.4 的兩倍價，Opus 4.7/4.8 則因為換了 tokenizer 造成隱形漲價，大約是 4.6 的 1.4 倍；另一方面，近期 OpenAI 和 Anthropic 都全面推出新的 Enterprise 企業方案計價，一律 API 計費、沒有訂閱折扣，得照 token 用量付滿 API 價格，那種 $100、$200 訂閱方案的大幅折扣，大型企業客戶已經沒得用了。

一個人一個月燒幾千美金，也許還能接受生產力有大幅增加；但當價格一路漲到一個人一個月要燒上萬美金時，整個 tokenmaxxing 現象就需要反思划不划算，不能無腦開最強模型去消耗 tokens 了，得開始思考如何更有效率。

近期大新聞就是 6/9 Anthropic 發表 Claude Fable 5 與 Mythos 5，是 Opus 之上的新「Mythos 等級」。其中 Fable 5 是公開的降級版本，內建更嚴格的安全分類器，會把約 5% 的敏感請求轉去給 Opus 4.8 處理；而真正的 Mythos 5 則只開放給 Project Glasswing 的資安夥伴。

🔥 Fable 5 各方評測下來是真的超強，幾乎各項評測都拿第一，但也真的貴，是 Opus 4.8 的兩倍以上，加上性能降級問題：大約 5% 被降級到 Opus 4.8，主要是資安、生物、化學領域（我在這篇有寫到），還有 ZDR 問題，會強制保留資料 30 天。

訂閱方面，6/22 前還可以算在 Claude 訂閱額度內，6/23 之後就得走 API 計費，沒有訂閱折扣了（官方說到時候再看看，可能有變動）。

說到訂閱，SemiAnalysis 各買一份 Anthropic / OpenAI 訂閱，把每週額度跑爆來實測（出處X），發現訂閱制其實被大幅補貼，實際榨得出的價值遠超月費。大家以為 $200/月 頂多換到 ~$2,000/月 的 token，結果發現補貼大得多：$200 的 claude-max-20x 最多能榨出約 $8,000 的 API 計價用量，OpenAI 的 chatgpt-pro-20x 更到 $14,000。因此訂閱費其實是比 API 收費少很多的生意，但目前若直接大幅砍額度，會引爆民怨，所以他們判斷之後很可能會把新功能、新模型只允許用 API 收費，訂閱維持補貼但拿不到最新的，也就是 Anthropic 這次在 Fable 上的做法。總之，目前訂閱制能用這麼多額度享受最頂尖模型，幾乎是不可持續的，大家要有心理準備了。接下來 OpenAI 即將推出 gpt-5.6/gpt-6，可以觀察看看他們會怎麼應對這個趨勢。

⬇️ 以下是自上期以來，使用 AI 整理生成的文章 ⬇️

內容很多，我就不一一點評摘要了，特別推薦的我放個 👍

閱讀全文〈愛好 AI Engineer 電子報 🚀 Claude Fable 來了 + Tokenmaxxing 失靈中 #38〉

愛好 AI Engineer 電子報 🚀 大神 AK 加入 Anthropic #37

歡迎訂閱 📬 愛好 AI Engineer 電子報 過往期數點這 📚

Hello! 各位 AI 開發者大家好 👋

幾個我關注的消息:

🧠 大神 Andrej Karpathy 宣佈加入 Anthropic — 本週最大八卦新聞（AK 推文）

🔊 OpenAI 新的 Realtime Models — OpenAI 發了三個即時語音模型: GPT-Realtime-2（即時語音模型）、GPT-Realtime-Translate（70+ 語言即時翻譯）、GPT-Realtime-Whisper（串流語音轉文字）。（官方文章）

📊 社群風向: Claude 4.7 不如預期，GPT-5.5 好評 + Codex App 繼續大爆發 — Claude Opus 4.7 四月中出來後，社群體感覺得沒有明顯提升，甚至有退步的聲音。更讓 API 用戶不滿的是，4.7 換了新的 tokenizer，相同的輸入會產生多 20–45% 的 tokens（官方說法是 1.0–1.35x，Simon Willison 實測最高到 1.47x）。雖然每 token 單價沒變，但實際帳單是變貴的，OpenRouter 真實流量分析顯示成本增加 12–27%，等於是隱性漲價（分析1、2）。相比之下 GPT-5.5 評價普遍正面，Codex App 搭配 GPT-5.5 之後實用性再上一個台階，兩家競爭越來越激烈了。

🪦 OpenAI API 關閉 fine-tuning 模型微調功能，至於 Claude API 從頭到尾都沒提供，Gemini API 曾經有但現在也關閉了(要在 Vertex AI 裡面還可以微調舊的 Gemini 2.5)。
對多數 AI 工程來說, 微調從來就不是主流路線。做 prompt/context/harness engineering 幾乎就夠忙了。
如果需要微調的話，現在只能用開源模型了。（我的觀察）

🤖 最近覺得厲害的黑科技: Interaction Models — 前 OpenAI CTO Mira Murati 創辦的 Thinking Machines Lab 發表了一個原生支援「邊說邊聽邊思考」的即時 AI 模型。目前的即時語音 AI（包括 OpenAI GPT-Realtime 和 Gemini Live）本質上還是「輪流說話」的回合制，要先透過 VAD 偵測你講完，模型才開始回覆。而這個 Interaction Models 透過每 200 毫秒的微輪次，讓模型不再有明確的「你的回合 / 我的回合」邊界，持續同時處理音訊、影像和文字三模態，還有前台互動模型 + 後台推理模型的雙層架構。

他們設計的幾個全新 benchmark（主動開口、適時插話、即時辨識影片動作邊界等），用 GPT-Realtime-2.0 測幾乎都是零分，因為回合制架構根本無法處理「持續感知 + 主動回應」的任務。推薦看他們網頁上 Figure 8 的 demo，體驗完全不同等級。沒想到即時互動可以做到這種程度，Realtime AI 的天花板被往上推了一大截。（我的觀察）

📺 Google I/O 2026 — 有興趣的可以去看 Google 官方整理的 100 項公告。

⬇️ 以下是自上期以來，使用 AI 整理生成的文章 ⬇️

內容很多，我就不一一點評摘要了，特別推薦的我放個 👍

閱讀全文〈愛好 AI Engineer 電子報 🚀 大神 AK 加入 Anthropic #37〉

愛好 AI Engineer 電子報 🚀 AI 工具大換血: Claude Code + Codex 新組合 #36

歡迎訂閱 📬 愛好 AI Engineer 電子報 過往期數點這 📚

Hello! 各位 AI 開發者大家好 👋

距離上一期間隔有點久，這段時間除了工作忙碌，我的 AI 工具也有了新的變化。

上一期介紹的 OpenClaw 我已經換掉，改用 Claude Code CLI 搭配 tmux 跟 tailscale 這套組合，將 Agent 跑在我的 Framework Desktop Ubuntu Desktop 電腦上開 --remote-control --dangerously-skip-permissions --chrome 持續跑著。原因很現實，就是 Claude Opus 跑 OpenClaw 的 API 帳單實在不是長久之計，近期如果要玩可以試試用 ChatGPT 訂閱，但我已經跳船了。

回頭講 tmux 可以讓你開多個指令視窗，並能切換前景背景(其實我十幾年前就用 screen 了，最近才換 tmux)，好讓 Claude Code 能持續跑著，而 tailscale 可以讓伺服器和我的筆電，在任何地方都像內網一樣連通，筆電可以很方便 SSH 進去，手機可用 Moshi app。Claude Code 的 Remote Control 功能也可以讓我從瀏覽器或手機 Claude app 連上對話使用，這功能一開始推出時還會斷線，現在蠻穩的。反倒是 Telegram channel 功能不夠穩，同時多開 Agents 的情況下有問題，我用了一陣子就放棄了(也許最近有改進?)。

我個人 AI Agent 助理改採用 Claude Code，但我日常 AI coding 工具，反倒從 Claude Code 逐漸換到 OpenAI Codex 了，最近新版 Codex app 加上 GPT-5.5 開 fast mode 又快又好，訂閱給的 tokens 量又多。我其實認為 AI Coding 用 CLI 只是暫時解，單純是因為 IDE 還沒摸索出適合的人類介面，只好回到 CLI 才能發揮最大模型能力不被 GUI 所限制。一旦 GUI 設計出適合的人類介面，體驗超過 CLI 是必然的。

這方面 OpenAI 對於 app 的投入我覺得比 CLI 做得更好。不是每個人都喜歡折騰 tmux 設置多切割畫面背一堆快捷鍵，Codex app 的設計是在左側欄用專案區分對話，可以隨時切換不同專案多工，中間是 agent 對話，右側欄可以審查輸出結果，看 code diff 並針對留言，因此就不一定都需要開 Code Editor 了(這個我也改用 Zed 打開速度超快)。還有 in-app browser 可以讓 Agent 操作，而新的 Computer Use 也很有趣(詳見我的觀察)。總之，我現在是 Claude $100 + OpenAI $100 雙訂閱，如果你要用 Codex，我推薦試試它的桌機版，而不是 CLI。

AI 時代的先行者優勢很短暫，後進者只要跟得上就有機會超車，當然也可能反轉後又再反轉。不只 AI 廠商如此，個人學習、企業導入也都是如此。早期進場的，如果沒有跟著新模型迭代、捨不得拋棄舊做法和舊工具，很可能還不如新進場的人。共勉之。

⬇️ 以下是自上期以來，使用 AI 整理生成的文章 ⬇️

內容很多，我就不一一點評摘要了，特別推薦的我放個 👍

閱讀全文〈愛好 AI Engineer 電子報 🚀 AI 工具大換血: Claude Code + Codex 新組合 #36〉