😆 👨🏻💻 ✨ 🚀 💰
在 Framework Desktop 擴充 NVIDIA GPU：用 OCuLink 外接 RTX 5070 Ti 之後，發現 Nvidia 顯卡的新天地。
相比跑 LLM，我認為跑 Embedding、Reranker、Decision Model 在地端用來開發 AI 應用更大有可為，用 5070Ti、5080 消費級高階顯示卡來跑就足夠快(甚至比呼叫雲端 API 還快了)，已經能滿足 production 應用的需求。而且雖然顯卡 ram 不多，但因為這類模型夠小，一張卡就放得下，因此可以很容易就透過多張卡平行跑來提高吞吐量跟速度。
例如，RAG 匯入新文件時，需要一次產生大量 Embeddings，就可以把資料分給兩張卡，各自計算。Reranker 一次要重排 100 筆文件，也可以拆成兩批平行處理，最後再合併分數排序即可。Decision Model 每筆判斷彼此獨立，也能用同樣的方式分工。
閱讀全文〈Framework Desktop 擴充第二張 NVIDIA GPU：用 OCuLink 外接 RTX 5080〉
我在去年 2025/9 月，買了一台 AMD Ryzen AI Max+ 395 的 Framework Desktop 來跑 LLM 大模型，之前寫過開箱文。
雖然不是 Nvidia 在大部分情況下用 AMD 也能跑，特別是 GGUF 模型推論用 llama + vulkan 引擎就行。但如果是開源的 PyTorch 相關的 AI 專案，安裝範例都是以 Nvidia CUDA 為預設，每次想試就需要特別改裝 ROCm 版本的 PyTorch 去實驗相容性，會比較麻煩，而且也不總是可行。
例如，最近也在做 AI 推薦系統，會用到 PyTorch 等深度學習模型訓練。這種記憶體需求不算大，但若有 CUDA 支援，開發上會很有幫助，而且 production 最後也是 Nvidia GPU 環境。另外就是跑小模型例如 Embeddings、Reranker、OCR 或 ASR 語音辨識的話，其實記憶體需求也不大，但算力夠快會很有效益，可以多做即時語音辨識應用。這幾個任務我最後用 5070 Ti 大約會比 AMD gfx1151 快 3至4 倍，還是非常有感。
於是，我開始留意怎麼替這台工作站電腦加上一張 Nvidia 顯卡，最後採用的成功方案是: 從 M.2 插槽接出 OCuLink 擴充，外接 Nvidia RTX 5070 Ti 16GB 和獨立電源供應器供電，總花費約5W。
如此記憶體需求大的模型放 AMD Ryzen AI Max+ 395 能跑、開發 AI 模型和小模型則用 Nvidia RTX 5070 Ti 跑得快。畢竟如果要記憶體容量大，又要算力超快，現在就是超貴，分開訴求組成一台雙 GPU 工作站也是個折衷思路。
閱讀全文〈Framework Desktop 擴充 NVIDIA GPU：用 OCuLink 外接 RTX 5070 Ti〉
Hello! 各位 AI 開發者大家好 👋
最近我開始升級到 OpenAI GPT-5.6 API 了。這次不只是模型能力升級，也帶來不少值得 Agent 開發者關注的 API 更新。
首先，GPT-5.6 分成三種型號：Sol 是能力最強的旗艦模型，適合複雜 coding、研究與專業任務；Terra 在能力、速度與價格之間取得平衡；Luna 則主打低成本與高流量工作。
有趣的是，從官方公布的 Artificial Analysis Coding Index 可以看到，隨著 reasoning.effort 提高，Luna 或 Terra 可以超越高一級模型的低推理設定。模型選擇因此變成兩個維度：要選多大的模型，以及願意讓它思考多久。這也讓多模型調度更有發揮空間。如果是非用戶即時的任務 latency 不重要時，可以考慮多用 Luna 模型把推理程度調高，以此來節省成本。
這是 2026/6/26 在 生成式 AI 開發者年會 分享的演講投影片(html)，這個題目可說是 2026 年上半年最熱門的 AI 工程主題，這次趁著準備演講，好好梳理了一次。
網路上多數 Harness Engineering 的文章，是站在 coding agent 使用者的角度，回答「harness 由哪些元件組成」。我這次的切入點不一樣：定位在自行開發 AI Agent 的工程師，而 coding agent 只是目前最成熟的 Agent 產品範例。我更想回答的問題是如何設計 Agent 的回饋，從工具執行內、request 之間、單輪結束、到外層 loop，由內而外四個時機點，這是我自己整理出來的論述框架，希望對大家開發 AI Agent 產品有幫助。
當前的 AI Agent 已經能拆解任務、擁有技能、操作檔案、執行程式，卻仍常常自信地宣稱「完成了」，產出實際上卻仍不完整。它有能力把事情做出來，但「做得對不對、做完了沒」是接下來的挑戰。
這場演講將講解如何為它搭好 harness 框架，特別是如何在 Agent 運作的不同時機點，搭建檢查與修正的回饋(feedback loop)，讓 Agent 不再「自我感覺良好」就交差，而是對著明確的目標持續迭代、驗證到通過為止。演講內容將會搭配案例與不同主流工具的作法對比，聚焦在我們開發 Agent 產品時，也能夠參考實作的工程設計。
這場演講搭配有 9 篇的 blog 系列《給 Agent 開發者的駕馭工程》在 👉 blog.aihao.tw
Hello! 各位 AI 開發者大家好 👋
話說 tokenmaxxing 就是「能燒多少 token 就燒多少」的意思：同時開一堆 agent、塞超長 context、能用貴模型就不用便宜的，讓 token 用量衝越高越好。
一開始它幾乎是個正面的詞，不少公司搞起「token 消耗排行榜」，結果一堆公司燒爆預算。這根本是 AI 時代的「用程式碼行數衡量生產力」。然而隨著模型漲價、coding agent 又繼續進步、能燒 token 的招式越來越多（例如新的 Goal 功能、loop 排程、dynamic workflow 等等），這套玩法逐漸失靈。
一方面新模型本身漲價，GPT-5.5 是 GPT-5.4 的兩倍價，Opus 4.7/4.8 則因為換了 tokenizer 造成隱形漲價，大約是 4.6 的 1.4 倍；另一方面，近期 OpenAI 和 Anthropic 都全面推出新的 Enterprise 企業方案計價，一律 API 計費、沒有訂閱折扣，得照 token 用量付滿 API 價格，那種 $100、$200 訂閱方案的大幅折扣，大型企業客戶已經沒得用了。
一個人一個月燒幾千美金，也許還能接受生產力有大幅增加；但當價格一路漲到一個人一個月要燒上萬美金時，整個 tokenmaxxing 現象就需要反思划不划算，不能無腦開最強模型去消耗 tokens 了，得開始思考如何更有效率。
近期大新聞就是 6/9 Anthropic 發表 Claude Fable 5 與 Mythos 5，是 Opus 之上的新「Mythos 等級」。其中 Fable 5 是公開的降級版本，內建更嚴格的安全分類器，會把約 5% 的敏感請求轉去給 Opus 4.8 處理；而真正的 Mythos 5 則只開放給 Project Glasswing 的資安夥伴。
🔥 Fable 5 各方評測下來是真的超強，幾乎各項評測都拿第一，但也真的貴，是 Opus 4.8 的兩倍以上，加上性能降級問題：大約 5% 被降級到 Opus 4.8，主要是資安、生物、化學領域（我在這篇有寫到），還有 ZDR 問題，會強制保留資料 30 天。
訂閱方面，6/22 前還可以算在 Claude 訂閱額度內，6/23 之後就得走 API 計費，沒有訂閱折扣了（官方說到時候再看看，可能有變動）。
說到訂閱，SemiAnalysis 各買一份 Anthropic / OpenAI 訂閱，把每週額度跑爆來實測（出處X），發現訂閱制其實被大幅補貼，實際榨得出的價值遠超月費。大家以為 $200/月 頂多換到 ~$2,000/月 的 token，結果發現補貼大得多：$200 的 claude-max-20x 最多能榨出約 $8,000 的 API 計價用量，OpenAI 的 chatgpt-pro-20x 更到 $14,000。因此訂閱費其實是比 API 收費少很多的生意，但目前若直接大幅砍額度，會引爆民怨，所以他們判斷之後很可能會把新功能、新模型只允許用 API 收費，訂閱維持補貼但拿不到最新的，也就是 Anthropic 這次在 Fable 上的做法。總之，目前訂閱制能用這麼多額度享受最頂尖模型，幾乎是不可持續的，大家要有心理準備了。接下來 OpenAI 即將推出 gpt-5.6/gpt-6，可以觀察看看他們會怎麼應對這個趨勢。
內容很多，我就不一一點評摘要了，特別推薦的我放個 👍
閱讀全文〈愛好 AI Engineer 電子報 🚀 Claude Fable 來了 + Tokenmaxxing 失靈中 #38〉
Hello! 各位 AI 開發者大家好 👋
幾個我關注的消息:
🧠 大神 Andrej Karpathy 宣佈加入 Anthropic — 本週最大八卦新聞（AK 推文）
🔊 OpenAI 新的 Realtime Models — OpenAI 發了三個即時語音模型: GPT-Realtime-2（即時語音模型）、GPT-Realtime-Translate（70+ 語言即時翻譯）、GPT-Realtime-Whisper（串流語音轉文字）。（官方文章）
📊 社群風向: Claude 4.7 不如預期，GPT-5.5 好評 + Codex App 繼續大爆發 — Claude Opus 4.7 四月中出來後，社群體感覺得沒有明顯提升，甚至有退步的聲音。更讓 API 用戶不滿的是，4.7 換了新的 tokenizer，相同的輸入會產生多 20–45% 的 tokens（官方說法是 1.0–1.35x，Simon Willison 實測最高到 1.47x）。雖然每 token 單價沒變，但實際帳單是變貴的，OpenRouter 真實流量分析顯示成本增加 12–27%，等於是隱性漲價（分析1、2）。相比之下 GPT-5.5 評價普遍正面，Codex App 搭配 GPT-5.5 之後實用性再上一個台階，兩家競爭越來越激烈了。
🪦 OpenAI API 關閉 fine-tuning 模型微調功能，至於 Claude API 從頭到尾都沒提供，Gemini API 曾經有但現在也關閉了(要在 Vertex AI 裡面還可以微調舊的 Gemini 2.5)。
對多數 AI 工程來說, 微調從來就不是主流路線。做 prompt/context/harness engineering 幾乎就夠忙了。
如果需要微調的話，現在只能用開源模型了。（我的觀察）
🤖 最近覺得厲害的黑科技: Interaction Models — 前 OpenAI CTO Mira Murati 創辦的 Thinking Machines Lab 發表了一個原生支援「邊說邊聽邊思考」的即時 AI 模型。目前的即時語音 AI（包括 OpenAI GPT-Realtime 和 Gemini Live）本質上還是「輪流說話」的回合制，要先透過 VAD 偵測你講完，模型才開始回覆。而這個 Interaction Models 透過每 200 毫秒的微輪次，讓模型不再有明確的「你的回合 / 我的回合」邊界，持續同時處理音訊、影像和文字三模態，還有前台互動模型 + 後台推理模型的雙層架構。
他們設計的幾個全新 benchmark（主動開口、適時插話、即時辨識影片動作邊界等），用 GPT-Realtime-2.0 測幾乎都是零分，因為回合制架構根本無法處理「持續感知 + 主動回應」的任務。推薦看他們網頁上 Figure 8 的 demo，體驗完全不同等級。沒想到即時互動可以做到這種程度，Realtime AI 的天花板被往上推了一大截。（我的觀察）
📺 Google I/O 2026 — 有興趣的可以去看 Google 官方整理的 100 項公告。
⬇️ 以下是自上期以來，使用 AI 整理生成的文章 ⬇️
內容很多，我就不一一點評摘要了，特別推薦的我放個 👍
閱讀全文〈愛好 AI Engineer 電子報 🚀 大神 AK 加入 Anthropic #37〉