生成式 AI 為什麼能快速產生流暢內容，卻也會自信地捏造引用、提供過時資訊？AI Capabilities and Limitations 從四個機器特性出發，整理下一個詞元預測、知識截止與 embeddings 嵌入的能力邊界；本文涵蓋前七堂，互動模擬器仍待實際操作。
圖：模擬器從手機的自動完成玩起，訊息打到一半時，下面三個候選詞就是依照目前內容給出的下一個詞。
| 步驟 | 在做什麼 | |---|---| | **「訓練」您的模型** | 用 5 則訊息統計詞與詞之間的連結，建立頻率表；每列正規化後得到下一個詞的機率分佈 | | **來做一些取樣** | 根據目前內容挑下一個詞；課程也用 sampling 描述現代語言模型的這個過程 | | **擴大規模** | 從 5 則訊息增加到 169 則，觀察不重複詞語、上下文和轉移數如何成長 | | **旋鈕（knobs）** | 自己選挑詞規則：總是挑最高機率、半隨機、提升最可能選項的權重、忽略門檻以下、只看前 N 個、哥布林模式純隨機。這就是 temperature、top-k、top-p 的直覺版 | | **橋樑** | 把馬可夫鏈和 LLM 的步驟並排比較 | 圖：用五則訊息統計詞與詞之間的連結，就得到一張轉移矩陣；`i` 後面接 `think` 出現 3 次，整列正規化後就是下一個詞的機率分佈。
| 步驟 | 馬可夫鏈 | LLM | |---|---|---| | 1. 讀取上下文 | 最後一個詞：`think` | 到目前為止的整個對話 | | 2. 計算分佈 | 在表格中查詢一列 | 經過數十億個參數的前向傳播，包含注意力機制、嵌入、前饋層、殘差連接與層正規化 | | 3. 取樣下一個詞元 | `we 32% / the 16% / i 11%` | 同樣從一個機率分佈取樣 | 這張橋樑把 LLM 的來歷接起來：取樣這件事可以追溯到馬可夫在 1906 年提出的想法，後來一路經過手機的 n-gram 預測、RNN，最後到 2017 年的 transformer。一路改變的是計算分佈的方法；取樣這個動作本身仍然存在。 ## Knowledge（知識） ### 6. Knowledge（知識） 模型怎麼知道事情？它讀過大量文字，透過數十億輪「接下來會是什麼」的練習，建立對概念、關係和事實的內部表徵。這是模型吸收知識的方式，也構成它的硬邊界： 1. 模型沒有親身經歷。 2. 產品沒有提供搜尋工具時，模型不會即時瀏覽網路。 3. 訓練會在某個時間點結束，之後就形成 knowledge cutoff 知識截止日。 因此，解釋光合作用這類在資料中被大量且一致描述的主題，通常比較容易；詢問某個職位目前由誰擔任，則可能得到一個曾經正確、現在已經過時的答案。課程希望我們換一個問題：與其問「AI 知道這件事嗎？」，不如問「這件事在它讀過的內容裡，被呈現得多充分？」 模型的優勢來自廣泛的一般知識、充分呈現的主流領域，以及跨領域建立連結的能力。**Embeddings 嵌入**可以幫助理解這件事：詞語和概念會被映射到一個數學空間裡，相近的意義容易聚在一起，所以模型能把生物學問題和化學、歷史或經濟學連起來。 知識常見的五種失敗模式如下： | 失敗模式 | 內容 | |---|---| | **知識截止** | 訓練之後發生的事，模型沒有讀過 | | **過時** | 訓練時為真的資訊後來改變，模型缺少機制知道這件事 | | **覆蓋不均** | 常見主題通常較完整，罕見主題、少數語言、小眾領域和近期發展容易較薄弱 | | **繼承的偏見** | 對「正常」或「預設」的理解會反映訓練資料的盲點 | | **來源失憶** | 模型通常無法指出某項知識來自哪裡；「我在某處讀過」不能取代引用 | 現在的 AI 產品會把幾種工具接進執行時環境：網路搜尋補上最新資訊，MCP（Model Context Protocol）把模型接到訓練資料之外的文件，其他 tools 則可以呼叫計算器或資料庫。這些功能都在執行時擴展模型能取得的資訊；關掉它們時，回答就會更依賴訓練期間吸收的內容。 課程列出知識缺口最容易出現的五種情境： - 主題具有時效性，例如時事、近期研究、現任職位或價格。 - 領域小眾、地方性強，或使用較少被呈現的語言。 - 問題涉及知識截止日之後的時間點。 - 答案依賴模型對「典型」或「正常」的預設理解。 - 網路搜尋或其他外部工具沒有啟用。 這條邊界我自己是用一組固定規則處理，不每次臨場判斷：需要跨 session 的背景或過去的決策脈絡，查 OpenMemory；需要的是當下狀態——版本、價格、官方文件改過沒有——一律上網查，兩者不互相替代。本機就能驗證的事情（repo 現況、檔案在不在、指令跑不跑得起來）先用本機指令跑一次，只有在本機結果可能過時的時候才往外查。 這組規則對應的剛好就是上面五種情境的前三種：時效性主題、知識截止日之後的時間點、外部工具沒有啟用。規則寫下來之後，每次要決定的只剩「這一題落在哪一邊」。 這一堂的 4D 連結落在委派與辨別。委派時，要先判斷任務屬於模型熟悉的領域，還是應該由我提供文件、上下文或搜尋結果；辨別時，則要找出哪些說法需要獨立驗證。模型在一個領域表現很好，並不會自動把同樣可靠度帶到旁邊的領域。 ### 7. Try It Out: Knowledge（實際操作：知識） 這堂互動 Explorer 用一張 2D／3D 語意地圖解釋 embeddings。開場的問題設定是：搜尋 `car`，會找到包含 `car` 的文件；若另一份文件只寫 `automobile`、`vehicle` 或「我的 Civic 需要換煞車」，傳統字串比對就可能錯過它。 傳統搜尋可以靠同義詞字典、詞幹提取和點擊模式逐步補足這些關聯。Embeddings 則把意義表示成空間中的位置：文件和問題各自被轉成固定長度的數字列表，最接近的項目就是較相關的候選結果。 | 步驟 | 在做什麼 | |---|---| | **編碼** | 只用「跟恐龍多相關」和「跟雲霄飛車多相關」兩個軸，把三份文件（恐龍兒童讀物、Velocicoaster 網頁、一整本百科全書）放到 2D 圖上 | | **檢索** | 用同一組軸把問題（「最棒的恐龍主題雲霄飛車是哪一個？」）也畫上去，最接近的 k 個項目就是最相關的；滑桿控制 k | | **更多維度** | 加入第三軸「生物學」，變成 3D 可旋轉；每份文件的座標從 (0.50, 0.90) 變成 (0.50, 0.90, 0.05) | | **未標記的軸線** | 真正的嵌入模型用大約 1,024 個維度，而且沒有人決定這些軸是什麼 | | **文字即座標** | 嵌入模型可以把三個字或三個段落轉成相同長度的數字列表；課程示範使用 VoyageAI 模型 | | **相似度** | 實務上常用 cosine similarity 餘弦相似度，看的主要是向量方向；-1 代表相反、0 代表無關、1 代表相同 | 圖：加入第三軸「生物學」之後，語意地圖變成可旋轉的 3D 空間；恐龍讀物靠向恐龍軸，百科全書落在三個軸之間。
圖：拿問題「最棒的恐龍雲霄飛車？」和兒童恐龍讀物對比，餘弦相似度是 0.2894，落在刻度上「0 無關」和「1 相同」之間。
這堂課留下兩個直覺。第一，維度超過 3D 之後，人眼看不懂圖，數學運算仍然可以繼續找最近鄰。第二，軸線本身是黑盒子：我們無法直接指出第 847 維就是「恐龍軸」，也就難以單靠座標解釋兩段文字為什麼靠近。 這正是 embeddings 的實用與難解釋之處。檢索系統可以有效找出語意相近的內容，但沒辦法用人類容易理解的方式說明每個距離是怎麼形成的。對 RAG 的 chunking 也有提醒：前面那本百科全書在圖上落在所有項目之間，官方的說法是「樣樣通、樣樣鬆」——它和每個主題都沾到一點，卻不在任何一個窄問題上最相關。 ## 下一段：Working Memory 與 Steerability 課程在第 6 堂結尾就先把下一個特性的邊界講明了： > 知識涵蓋了模型在訓練期間吸收的內容。工作記憶涵蓋了它**現在正在關注**的內容：您的提示、您的文件、您的對話。這項特性在四者之中擁有**最鮮明的邊界**。 「最鮮明的邊界」這個說法值得留著對照：知識的邊界要靠「這在訓練資料裡被呈現得多充分」去推測，工作記憶的邊界卻是一個可以數的數字。剩下的 6 堂接著進入 **Steerability 可操控性**，看指令遵循在哪些地方精準、在哪些地方會發生推理漂移或拘泥字面，最後收在「當屬性相互衝突時」。 這也是前七堂留下的問題：知道模型如何生成內容、知道它的知識從哪裡來之後，模型目前能記住多少，又能被我們帶到哪裡？ ## 小結 我覺得這門課最有用的地方，是把「AI 為什麼會答錯」拆成可以觀察的機制：文字生成會沿著機率路徑往下走，知識會被截止日和訓練資料覆蓋範圍限制，搜尋、MCP 和 tools 則能在執行時補進新的材料。 看完這七堂，我下一次看到一段流暢回答時，大概會先問一件事：它是在熟悉的路徑上整理內容，還是在小眾領域裡補出一個看似合理的形狀？這個問題比單純問「它會不會做」更接近真正的使用方式。