我把部門唯一的 AI 主機搞掛了：自建 LLM 推理四個月實錄

五月的一個下午，我把部門唯一一台 AI 主機搞到完全沒反應。SSH 連不上，跑在上面的服務全部陪葬，最後是請 IT 走進機房、按下電源鍵，才把它救回來。

起因是我在啟動指令裡加了一個看起來很合理的 flag。

這台機器是怎麼來的

三月中，部門進了一台 NVIDIA DGX Spark——128GB 統一記憶體的小型 AI 主機。我們拿它跑幾個內部服務：文字向量化的 embedding 模型、一個 31B 的語言模型、還有會議語音轉錄。我是兩個管理員的其中一個。

自建的理由很實際：內部文件不想丟給外部 API，批次任務跑雲端模型又太貴。一台機器放機房，內網打 API，聽起來很美好。

前兩個月也確實很美好。

一個 flag，一台屍體

五月中，我要在這台機器上評估一個新的本地推理引擎，模型檔 Q2 量化後 81GB。

機器的記憶體當時長這樣：

81GB 塞不進剩下的空間，所以我先停掉 67GB 的那隻騰位置。到這裡都照規矩來。

然後我在啟動指令加了 --warm-weights。這個 flag 的意思是：啟動時先把整份權重讀進記憶體「暖機」，第一次推理就不用等。聽起來很貼心，在獨立顯卡的機器上也確實是。

但這台機器是統一記憶體架構（UMA）：CPU 和 GPU 共用同一塊 128GB。81GB 的權重一次灌進來，跟作業系統自己要用的記憶體搶同一塊實體空間，page fault 風暴直接把整個系統壓死。我手上沒有完整的驗屍報告，事後推測是連 SSH daemon 要的那一點記憶體都擠不出來——總之機器沒有變慢，它是直接失聯，連進去救的機會都沒有。

機房裡的機器，死得很安靜。

沒有畫面、沒有警報，你只會發現所有東西都 timeout。最後的解法很土：請 IT 走過去按電源鍵。

修正方式反而很不刺激：拿掉那個 flag，改用 lazy load。第一次推理慢一點，但機器不會死。那天我學到的一行字：在共用記憶體的機器上，任何「一次載入全部」的操作都是在賭命。

同一天的第二個坑

機器活過來之後，我要把先前停掉的服務開回去，才發現第二件事：之前有服務是用 docker stop 停的，重開機後容器直接消失。它是 systemd 管的服務但沒設開機自啟，docker 層面看起來就是「不見了」。

那天之後，部門在 Slack 開了一個 channel 訂規矩，四條：

1. 動手前先 free -h 看記憶體
2. 要載入模型，先估算記憶體用量
3. 要關別人的服務，先在 channel 喊一聲
4. 操作服務一律走 systemctl，不碰 docker 指令

四條全是翻車換來的。沒有一條是裝機那天想得到的。

它又躺了一次，這次不是我的錯

nvidia-smi 說找不到 GPU，三個服務全掛——這是本週某天早上這台機器給我的見面禮。前一天只做了一件事：例行的系統 kernel 升級。

查下去才發現：新 kernel 對應的 GPU driver 模組沒被裝上，因為套件庫索引太舊，安裝時默默 404。更麻煩的是裝完不能熱載入，driver 的 firmware 要在開機流程初始化，所以必須再重開一次機。中間那包 221MB 的 driver，從公司網路抓只有 77~256 kB/s，光下載就等了 15 分鐘。

服務掛了一個上午。這種故障不會寫在任何採購簡報裡。

數字現實：它到底能跑什麼

四個月下來，最值錢的其實是幾個數字。

我實測那顆 81GB 的 Q2 模型，生成速度 13.75 token/s。常駐的 31B 模型更慢：按規格換算大約 7 token/s，這不是我跑分跑出來的數字，但跟日常體感一致。用 7 token/s 算，一個 300 token 的回覆要等 40 秒上下。

所以這台機器的能與不能，界線很清楚：

• ❌ 任何要給使用者即時回覆的場景。40 秒的等待，什麼產品都撐不住
• ✅ 不趕時間的批次任務：離線跑評測、內部文件處理、embedding 向量化

我們後來的分工就是這樣：embedding 留在這台機器上跑，需要即時回覆的路徑走雲端 API。自建不是替代雲端，是跟雲端分工。這個結論值四個月。

如果你的公司也在考慮這件事

買機器的錢是整件事裡最小的成本。真正的成本是這些問題有沒有人接：

• 誰懂統一記憶體的行為？（不懂的話，一個 flag 就能讓它躺平）
• 記憶體預算誰管？多人共用時誰協調？
• kernel 升級、driver 掛掉，誰半夜爬起來修？
• 你要跑的工作負載，它的推理速度真的撐得起嗎？

這四題沒有一題寫在規格表上，而我們是用四個月的翻車換來的答案。

如果你的公司正在評估自建 AI 主機或本地 LLM 推理，不管是為了資料不出門，還是想省 API 費用，都一樣：先別急著下單。把你的使用場景丟給我——mattchang.dev 上有我的 LINE，不用準備簡報，描述你想拿它做什麼就好。十分鐘，你就會知道該買、該租、還是該繼續用 API。