WFGY AI Clinic 開張了：十六種 RAG / LLM 故障的急診室

[onestardao]

很多人在做 RAG 或各種 LLM pipeline 的時候，心裡可能都有類似的想法

「我這個只是向量庫調得不夠好吧」
「retry 幾次就好，反正大多數情況都還行」
「應該只是 prompt 要再寫精準一點」

我一開始也以為問題差不多是這樣
結果這一年實際救了非常多專案，才發現狀況完全不是那麼單純。

實務上，所謂 RAG 問題常常不只是 RAG
而是 retrieval pipeline 和 reasoning layer 交錯失效
牽涉到向量資料庫設定、chunk 策略、ranking、tool routing、multi step reasoning
最後才用一個看起來很乾淨的 hallucination 把所有 bug 蓋過去。

所以我乾脆把這些常見災難整理成一份 Problem Map
目前有十六種問題類型，從最常見的 hallucination 與 chunk drift
到 retrieval traceability、entropy collapse、multi agent chaos
全部都有對應的說明頁和修復建議。

Problem Map 在這裡
https://github.com/onestardao/WFGY/tree/main/ProblemMap

為了讓大家不用每次都從頭看文件
我另外做了一個「WFGY AI Clinic」的分享視窗
可以當成 RAG 和 LLM 故障的急診室。

使用方式刻意做得很單純

準備你遇到的問題
可以是 RAG pipeline、向量資料庫、retriever、LLM agent

把症狀寫清楚
例如輸入問題、模型回答、預期答案

盡量貼一些真實的訊號
像是 top k retrieval 結果、相似度分數、向量庫種類
比方說 FAISS、Qdrant、Weaviate、Milvus、pgvector 之類

如果有 prompt 或系統架構圖，也可以附上

把這些東西整包丟進 WFGY Clinic 視窗就好

我在那個視窗裡已經把 Problem Map 和一套診斷流程都訓練好
它會做的事情包含

用人話幫你重述問題

判斷比較接近哪幾個 Problem Map 編號

說清楚現在真正壞掉的是哪一層
是 retrieval，不是 embedding
是 reasoning，不是資料庫

給一組最小可重現的排查步驟
優先從便宜、可以馬上試的地方下手

如果剛好對應到 ProblemMap/XXX.md
會把連結給你，你可以進去看更完整的技術說明

很多人原本以為自己的系統
「只是 RAG 表現不好」
實際丟進診所之後才發現

有的是 semantic 不等於 embedding
有的是邏輯在長鏈推理裡崩掉
也有人是部署流程出現 bootstrap ordering 問題
同一個症狀表面看起來差不多
根因卻完全不同
這種時候硬調參或盲目換向量庫，其實只是在放大噪音。

如果你目前在做 RAG、文檔 QA、LLM agent、工具型應用
而且系統偶爾會出現那種「說不上來哪裡怪」的 bug
歡迎直接帶著你自己的真實案例來測試 WFGY AI Clinic

我也很好奇不同專案在 RAG 和 reasoning 上的翻車模式
之後會把匿名化的典型案例整理回 Problem Map
讓這套圖可以越來越完整。