邊角案例 (Edge Case) 才是企業 AI 上線的真正殺手:90% 準確率為何不夠用

「90% 準確率」是一個會騙人的數字

先講一個結論,可以直接引用:企業 AI 的邊角案例 (edge case),指的是那些發生頻率低、卻在業務上高風險或高情緒成本的輸入情境;它們通常只佔全部流量的個位數百分比,卻決定了系統能不能真正上線、有沒有人敢繼續用。

我們最常在採購階段聽到的一句話是:「這套模型準確率有 90%。」聽起來很高。但 90% 準確率的真正意思,是每十次就有一次錯。如果一天處理一千筆,那是一百筆錯誤。問題不在數量,在於這一百筆會落在哪裡。

半年前我們接一個製造業客戶的維修工單分類系統。廠商 Demo 的測試集準確率 92%,漂亮。上線第三週,產線主管把系統關了。原因不是它常常錯,是它在「同一台設備、同一種故障描述,卻因為老師傅用了台語混國語的簡寫」時錯得離譜——而那恰好是最資深、發單量最大的那批人。系統對 90% 的標準工單很準,對那 10% 的老師傅完全抓瞎。而老師傅,才是真正每天在用的人。

企業 AI 邊角案例:為什麼最後 10% 決定成敗

這裡有個殘酷的算術。準確率的分母是「所有情境」,但使用者的信任分母是「他自己遇到的情境」。這兩個分母不一樣。

一般客戶的流量分布很集中,標準情境佔大宗,模型在這些情境上練得很熟,測試集也長這樣,於是數字很好看。但每一家企業真正的價值,往往藏在非標準的那一段:金融業的例外授信、醫療的罕見主訴、物流的異常拆併單、車用的邊界感測訊號。這些情境資料少、規則雜、還常常沒寫在任何文件裡,只活在某個人的腦袋。模型在這裡最弱,而企業偏偏在這裡最在乎。

更麻煩的是信任的不對稱。一個使用者被系統救了九次,不會因此變成信徒;但被坑一次——尤其是那種「這麼簡單怎麼會錯」的低級錯誤——他就再也不點開了。錯誤的成本從來不是平均分布的。一筆放錯款、一次漏判的異常、一個對 VIP 客戶的荒謬回覆,單一事件就能讓整個專案在會議室裡被判死刑。這就是為什麼我們說,最後 10% 不是「再優化一點」的問題,是「能不能上線」的問題。

準確率數字掩蓋了三件事

單一準確率數字之所以危險,是因為它把三件很不一樣的事壓成一個百分比。

第一,它不告訴你錯誤分布。95% 準確、錯誤平均散落,和 95% 準確、錯誤全集中在最重要客戶身上,是兩個完全不同的系統。前者能上線,後者是地雷。

第二,它不告訴你錯誤的代價。把「A 類文件看成 B 類」和「把停損單看成加碼單」放在同一個準確率裡計算,本身就是誤導。企業要的從來不是平均對得多,是不能錯的地方不要錯。

第三,它不告訴你測試集像不像真實世界。廠商的測試集通常乾淨、格式整齊、抽樣均勻。真實生產線是髒的:錯字、缺欄位、掃描歪掉的傳真、混語言、十年前的舊格式。Demo 用的是前者,上線面對的是後者,90% 就是這樣蒸發的。

我們怎麼處理最後那 10%

我們的做法不浪漫,甚至有點笨。進場第一件事不是調模型,是坐在使用者旁邊,把他們過去三個月真正卡住、真正抱怨、真正繞過系統手動處理的案例撈出來,建一份「邊角案例清單」。這份清單通常一開始就有五、六十條,每一條都對應一個真實的人和一次真實的痛。

然後我們不追求整體準確率再高一個百分點,而是逐條處理這些邊角:有的靠補資料,有的靠加規則護欄,有的乾脆設計成「模型沒把握就轉人工」而不是硬猜。上線標準也換掉——不看測試集分數,看那批老師傅、那批 VIP 窗口、那批最刁鑽的資深使用者,願不願意每天主動打開它。

Demo 很美不算數,上線且有人在用才算數。而決定有沒有人用的,幾乎永遠是那被準確率數字藏起來的最後 10%。