[{"data":1,"prerenderedAt":405},["ShallowReactive",2],{"blog-\u002Fblog\u002Fai-customer-service-quality-check":3},{"id":4,"title":5,"body":6,"date":391,"description":392,"extension":393,"meta":394,"navigation":395,"path":396,"seo":397,"stem":398,"tags":399,"__hash__":404},"blog\u002Fblog\u002Fai-customer-service-quality-check.md","你的 AI 客服真的有在答對嗎？不用買平台，三步驟品質檢查",{"type":7,"value":8,"toc":380},"minimark",[9,14,18,21,24,27,33,36,40,43,50,57,64,67,83,86,88,92,95,98,105,108,111,114,131,134,137,143,146,152,155,157,161,164,167,178,181,184,187,190,193,196,198,202,205,211,214,217,220,223,226,232,235,238,241,246,249,252,255,257,261,264,269,272,277,280,348,351,356,359,362,364,368,371,374,377],[10,11,13],"h2",{"id":12},"感覺還不錯是最危險的一句話","「感覺還不錯」是最危險的一句話",[15,16,17],"p",{},"上個月一個老闆跟我說：「AI 客服上線三個月了，感覺還不錯。」我問他：「你怎麼知道不錯？」他愣了三秒。",[15,19,20],{},"「沒有客訴啊。」",[15,22,23],{},"這句話很危險。因為 AI 客服回錯的時候，客人通常不會客訴——他們會直接離開。",[15,25,26],{},"你想想自己的經驗：上次你跟某個品牌的客服機器人聊，它回了一個明顯文不對題的答案，你做了什麼？寫信投訴？還是直接關掉，去 Google 找別家？",[15,28,29],{},[30,31,32],"strong",{},"「沒有客訴」不等於「回答正確」。它只代表你不知道 AI 答錯了幾次。",[34,35],"hr",{},[10,37,39],{"id":38},"ai-客服有三種回錯方式多數老闆只知道第一種","AI 客服有三種回錯方式，多數老闆只知道第一種",[15,41,42],{},"第一種最明顯：AI 說「我無法回答」。這你看得到，也知道要修。",[15,44,45,46,49],{},"第二種比較陰：",[30,47,48],{},"AI 很有自信地回了一個錯誤答案","。語氣流暢、格式漂亮，但內容是錯的。客人信了，下單後才發現價格不對、方案不對、條件不對。客訴來的時候你以為是業務問題，其實是 AI 餵了過期資料。",[15,51,52,53,56],{},"第三種最難抓：",[30,54,55],{},"AI 回答了，但沒有回答到重點","。客人問「A 方案跟 B 方案差在哪」，AI 把兩個方案各自的介紹貼了一遍，但沒有做比較。客人看完覺得「這 AI 好像有回答但我還是不懂」，然後離開。",[15,58,59,60,63],{},"一個做房產租賃 AI 助手的團隊，認真翻了 100 條真實對話紀錄。結果：",[30,61,62],{},"40 條有問題","。不是系統當機那種問題——是看起來正常但內容有坑。",[15,65,66],{},"其中包括：",[68,69,70,74,77,80],"ul",{},[71,72,73],"li",{},"客人說「浴室不要連到臥室」，AI 推薦了浴室連著臥室的房型",[71,75,76],{},"AI 說「我幫你確認」，但後續什麼都沒做",[71,78,79],{},"回覆裡帶 markdown 格式符號，但客人是用簡訊收到的，畫面全是亂碼",[71,81,82],{},"客人明顯需要轉人工，AI 繼續硬聊",[15,84,85],{},"這些錯，你不翻對話紀錄永遠不會知道。",[34,87],{},[10,89,91],{"id":90},"你不需要-eval-平台你需要先看-100-條對話","你不需要 eval 平台，你需要先看 100 條對話",[15,93,94],{},"很多廠商會跟你說：AI 品質管理需要 eval 平台、需要 LLM judge、需要自動化監控。",[15,96,97],{},"沒有錯。但那是第三步。",[15,99,100,101,104],{},"第一步便宜到不行：",[30,102,103],{},"找一個懂你業務的人，花兩三天，看 100 條 AI 對話紀錄","。",[15,106,107],{},"不是掃一眼「大致 OK」，是逐條看、逐條寫筆記。看到問題就記下來：「這條回錯了」「這條格式壞了」「這條應該轉人工但沒有」。不用分析原因，先記下來就好。歸類可以之後再做。",[15,109,110],{},"做法很像寫便利貼——看到什麼就貼一張，不用排序。",[15,112,113],{},"100 條看完，你手上會有一堆散亂的筆記。下一步是把它們分組：",[68,115,116,119,122,125,128],{},[71,117,118],{},"「格式錯誤」（回覆帶亂碼、排版跑掉）",[71,120,121],{},"「資料過期」（價格、方案已改但 AI 不知道）",[71,123,124],{},"「該轉人工沒轉」",[71,126,127],{},"「有回答但沒回答到重點」",[71,129,130],{},"「直接編造不存在的資訊」",[15,132,133],{},"5-6 組就夠了。別貪多。",[15,135,136],{},"分完之後數一下每組幾條。",[15,138,139,140],{},"這時候你就有一張表：你的 AI 客服最常犯哪種錯、各佔幾成。",[30,141,142],{},"不是感覺，是數字。",[15,144,145],{},"重點來了：做這件事的人不能是工程師。",[15,147,148,149],{},"工程師不一定知道「浴室連臥室」對租客是什麼意思，也不一定知道你的方案 A 和方案 B 差在哪裡。AI 客服的錯誤很多不是技術錯，是業務邏輯錯、使用者體驗錯。",[30,150,151],{},"最了解你客戶在意什麼的那個人，才看得出 AI 哪裡出包。",[15,153,154],{},"通常是業務主管或客服主管。有些公司是老闆自己。",[34,156],{},[10,158,160],{"id":159},"先修笨的再修難的","先修笨的，再修難的",[15,162,163],{},"你手上有了那張錯誤分布表，下一步不是找人做「AI 品質評估系統」。",[15,165,166],{},"先看哪些錯誤根本不需要 AI 幫你抓。",[68,168,169,172,175],{},[71,170,171],{},"回覆裡不應該出現 markdown 符號？寫一條規則自動檢查，成本趨近於零。不用工程師",[71,173,174],{},"價格資料超過三個月沒更新？設一個提醒，每月檢查",[71,176,177],{},"營業時間問題一定要回答到具體時間？寫一個檢查項",[15,179,180],{},"這些是規則檢查（廠商有時候叫它 code-based eval）。不用呼叫 AI、不用花 LLM 費用、結果百分之百確定。你可能覺得這太簡單了。",[15,182,183],{},"就是太簡單。我花了好一陣子才接受這件事。",[15,185,186],{},"但這些「笨」錯誤，破壞信任的速度最快。客人被報錯價格造成的傷害，比 AI 語氣不夠自然大一百倍。先把地板鋪好，再談裝潢。",[15,188,189],{},"真正需要 AI 來判斷的，是語境相關的問題：客人明顯在抱怨但 AI 沒有偵測到、對話應該轉人工但 AI 繼續自動回覆。還有一種最難抓——AI 說的技術上沒錯，但對這個客人的具體情況根本不適用。",[15,191,192],{},"這才是硬仗。",[15,194,195],{},"這些才需要用另一個 AI 來做品質判斷（業界叫 LLM judge），成本也更高。但我自己看過的幾個系統，修完笨錯誤後，剩下需要 AI judge 的通常不超過三成。",[34,197],{},[10,199,201],{"id":200},"_90-準確率的品質報告可能在騙你","90% 準確率的品質報告，可能在騙你",[15,203,204],{},"我自己踩過這個坑。",[15,206,207,208,104],{},"去年我在公司內部做一個 AI 品質評估系統，用 LLM 來自動判斷 AI 產出有沒有錯。設計了八類錯誤、寫了一堆 prompt、跑了校準測試。結果：",[30,209,210],{},"八類裡面只有一類通過校準",[15,212,213],{},"那唯一通過的一類，偵測邏輯簡單到用 ESLint 規則也能抓到。",[15,215,216],{},"花了那麼多功夫，最後發現：LLM judge 能可靠判斷的問題，往往便宜的規則檢查也做得到；真正需要 LLM 理解力才能判的問題，LLM 也判不準——因為它缺少只有你的業務專家才知道的 context。",[15,218,219],{},"這個教訓之後，每次有人問我 AI 品質評估，我第一句都是：別急著自動化。",[15,221,222],{},"但就算你過了我踩的那個坑，還有一個更基本的陷阱。",[15,224,225],{},"假設你的 AI 客服真正答錯的比例是 10%。你找了一個 AI judge 來自動判斷每條對話有沒有問題。",[15,227,228,229,104],{},"這個 judge 的策略很簡單：",[30,230,231],{},"每條都判「沒問題」",[15,233,234],{},"準確率多少？90%。",[15,236,237],{},"因為 90% 的對話本來就沒問題，它全判對了。剩下 10% 答錯的，它全部漏掉——但在整體統計上，90% 看起來很漂亮。你老闆看到報表，覺得品質很好。",[15,239,240],{},"三個月後客訴爆了。",[15,242,243],{},[30,244,245],{},"整體準確率是垃圾指標。",[15,247,248],{},"你要看的是兩件事：真正有問題的對話，AI 抓到了幾成？沒問題的對話，有沒有被誤判？",[15,250,251],{},"一個永遠說「沒問題」的 AI judge，抓到真正問題的比例是零。它完全沒有在保護你。",[15,253,254],{},"怎麼驗？拿你之前人工看的那 100 條對話，其中你標了「有問題」的那些，看 AI judge 判對幾條。40 條問題對話它只抓到 5 條？這個 judge 沒有用。不管整體準確率多漂亮。",[34,256],{},[10,258,260],{"id":259},"三步驟品質檢查你明天就能開始","三步驟品質檢查：你明天就能開始",[15,262,263],{},"不用買平台，也不用懂 AI。找廠商更不必急。",[15,265,266],{},[30,267,268],{},"第一步：撈對話紀錄",[15,270,271],{},"打開你的 AI 客服後台，匯出最近一個月的對話紀錄。大部分系統都有匯出功能，不管是 LINE Bot、網站 chatbot 還是其他平台。如果系統沒有匯出功能——恭喜你，你已經找到第一個問題了。我遇過一個客戶後台連對話紀錄都看不到，那天下午我就知道他的品質問題不是 AI 的事。",[15,273,274],{},[30,275,276],{},"第二步：找你最懂客戶的人，看 100 條",[15,278,279],{},"不用全看。隨機抽 100 條，逐條標記：",[281,282,283,296],"table",{},[284,285,286],"thead",{},[287,288,289,293],"tr",{},[290,291,292],"th",{},"標記",[290,294,295],{},"意思",[297,298,299,308,316,324,332,340],"tbody",{},[287,300,301,305],{},[302,303,304],"td",{},"OK",[302,306,307],{},"回答正確且完整",[287,309,310,313],{},[302,311,312],{},"格式壞了",[302,314,315],{},"亂碼、排版錯、渠道不匹配",[287,317,318,321],{},[302,319,320],{},"答錯",[302,322,323],{},"內容有誤（價格、方案、政策）",[287,325,326,329],{},[302,327,328],{},"沒答到",[302,330,331],{},"有回覆但沒回答到核心問題",[287,333,334,337],{},[302,335,336],{},"該轉沒轉",[302,338,339],{},"應該轉人工但繼續自動回覆",[287,341,342,345],{},[302,343,344],{},"亂掰",[302,346,347],{},"編造不存在的資訊",[15,349,350],{},"100 條大概花 3-4 小時。看完你會有一張錯誤分布表。",[15,352,353],{},[30,354,355],{},"第三步：先修成本最低的",[15,357,358],{},"錯誤分布表裡，先挑能用規則自動擋的（格式檢查、價格比對、必填欄位）。這些修完，你的 AI 客服品質通常會跳一個等級——因為最傷信任的笨錯誤被擋掉了。",[15,360,361],{},"剩下需要判斷力的錯誤（該不該轉人工、回答是否貼題），才需要更進階的方案。到這步再找人討論也不遲。",[34,363],{},[10,365,367],{"id":366},"你有在監控你的-ai-客服嗎","你有在監控你的 AI 客服嗎？",[15,369,370],{},"如果你的 AI 客服已經上線超過一個月，而你從來沒有翻過對話紀錄——現在就是開始的時候。",[15,372,373],{},"不是因為系統一定有問題。是因為你不知道有沒有問題，這件事本身就是問題。",[15,375,376],{},"如果你不確定從哪裡開始、不確定你的系統有沒有記錄對話、或者看了紀錄但不知道怎麼判斷——加這個網站的 LINE，描述你目前的 AI 客服類型和遇到的狀況。我會幫你看一下對話紀錄的結構，告訴你第一步該修什麼。",[15,378,379],{},"十分鐘，免費，不推銷。你加好友後丟問題給它，它怎麼回你，就是你在評估的那個東西。",{"title":381,"searchDepth":382,"depth":382,"links":383},"",2,[384,385,386,387,388,389,390],{"id":12,"depth":382,"text":13},{"id":38,"depth":382,"text":39},{"id":90,"depth":382,"text":91},{"id":159,"depth":382,"text":160},{"id":200,"depth":382,"text":201},{"id":259,"depth":382,"text":260},{"id":366,"depth":382,"text":367},"2026-06-23","AI 客服上線後，大部分老闆靠「沒有客訴」判斷品質。但 AI 回錯的時候客人直接離開，不會告訴你。這篇教你不花錢，用 100 條對話紀錄找出 AI 在哪裡出包。","md",{},true,"\u002Fblog\u002Fai-customer-service-quality-check",{"title":5,"description":392},"blog\u002Fai-customer-service-quality-check",[400,401,402,403],"ai","smb","customer-service","evaluation","PEPRRvW7WpVghqqsbzIb0eq03K4ApWu2rbPWTiX-Bx0",1785903592272]