😆 👨🏻💻 📚 🚀 💰
這是 2024/4/17 我在生成式 AI 小聚做的一場10分鐘短講，介紹幾套 Prompt 自動最佳化的工具和 Papers 發展:
投影片: gamma.app/docs/Prompt–hjhqmaqlpqtcfxo
以下是所有引用到的內容連結:
話說大語言模型 LLM 的運算和推論成本都是用 Tokens 數量來計算的，輸入的內容都得轉成 Tokens 序列來運算，輸出則轉回來。
但是呢，其實每一家用的 Tokenizer (分詞器)都不太一樣，因此相同的文本，拆出來的 tokens 數量是不一樣的。因此很多模型的推論成本比較、Context window 長度限制比較等等，實際應用時都不太準確，特別是非英文的語言，各家差異非常大。
一樣的文本，若能用比較少的 Tokens 數來表示，推論速度會比較快、成本也會比較划算，畢竟計價也是用 tokens 數計算的，先予敘明。
具體會差多少，以下是我的測試結果，使用了繁體中文約八萬多個字(政府報告和管理學講義)做出來的實驗結果。另外也做了英文也是約八萬字(兩篇部落格文章)。
閱讀全文〈[繁體中文評測] 各家 LLM Tokenizer 分詞器〉
話說 OpenAI 今年一月新出的 Embeddings 模型(將文字轉成語意向量)，可以透過傳參數指定不同的維度大小，這背後使用的是一種叫做 Matryoshka 俄羅斯套娃的嵌入表示方式，非常酷。
Paper: Matryoshka Representation Learning
這酷的地方在於，你可以丟棄任意長度的尾部，僅使用開頭也是有效的!
例如呼叫 text-embedding-3-large 模型得到 3072 高維度的向量後，可把後面 2048 個數字丟棄，只使用前面 1024 個也是有效的。
只要做個向量正規化(normalization)調整一下長度單位， 就會得到跟傳 1024 維度參數得到的向量數字一模一樣!
這有什麼用呢? 可以做多層檢索加速，準備階段只需要呼叫模型算一次高維度，你就可以自己縮小到不同維度存下來。
向量搜索時，先用低維度例如 256 維度初步篩選一次(可用ANN加速)，這會比較快因為維度低。
接著再用 3072 高維度來排序過濾第二次(可用KNN更準)，這樣就精準啦。
歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這
我是 ihower，這一期推薦一些科普性質、工程師使用 ChatGPT 的心得文章。
片長18分鐘的生成式 AI 概論，介紹了 GenAI 是什麼、基本原理、AI 時代的心態等等，是非常棒的入門科普影片，插圖動畫非常讚，推薦給所有人。
作者 Henrik Kniberg 也蠻眼熟的，十幾年前看過他的 Scrum and XP from the Trenches 書，是入門 Scrum 和 XP 非常棒的入門書。
閱讀全文〈愛好 AI Engineer 週報 🚀 生成式 AI 科普和使用心得 #10〉歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這
Hello! 你好 👋
我是 ihower，自上期發刊後，這一個多月各大廠商馬不停蹄推出了一批新模型，讓我們回顧一下消息和重點整理。
🔝Google Gemini Pro 1.5 (2024/2/15) 超長的 Context window
Google 推出的 Gemini Pro 1.5 特色在於高達 1000k 的 context window，這對於 RAG 應用的開發將帶來不少影響，詳見我看技術報告的一些心得和留言。
不過一直到今天，無論是 Gemini Ultra 或是 Gemini Pro 1.5，都還是無法使用 API 方式進行實際評測，讓人對於不斷 翻 車 的 Google 感到憂心啊。
🔥OpenAI Sora (2024/2/15) 無情輾壓競爭對手
在 2/15 同一天(故意?)發布，搶光 Google 風采的 OpenAI Sora，是個完全是降維打擊的 Text-to-Video 影片生成模型。
當人家的影片生成還只是幾秒鐘微微動幾下的時候，Sora 直接提升到長達一分鐘的短影片。
除了 OpenAI 的技術報告，微軟也有出篇 Paper 回顧整理。另外推薦以下兩個科普影片:
* Sora，OpenAI 突破性的影片生成模型！10分鐘了解其原理以及可能的影響
* Sora Q&A | 何時可用？OpenAI 沒講的事？
歡迎訂閱 愛好 Generative AI Engineer 電子報 aihao.eo.page/ai-engineer
過往期數點這
Hello! 你好 👋
春節就要到了，先在這兒向大家拜早年 🧧🧧🧧
知名新產品分享網站 Product Hunt 公佈了 2023 年度最佳新產品，果然是滿滿的 AI 風味。冠軍是 GPT-4 模型，接著是瀏覽器 Arc Max, 知識管理工具 Notion AI 和 Google Gemini 模型。更多和 AI 相關的得獎產品還有:
* AI Model 有 GPT-4, Midjourney v5, DALL-E 3 和 Mistral 7B
* AI Product 有 Dora AI (網頁生成)、Bard、Chat.D-ID (虛擬人對話)、Pika (影片生成)
* AI Features 有 Notion AI, Guidde AI (錄影轉成 Step-by-Step 文件)、Arc Max (瀏覽器)、Trickle (截圖轉知識庫)
* AI Infra 有 Langfuse(監控)、Eden AI (整合 LLM APIs)、LLM Spark (建立 LLM App)