快速答案：企業 AI 專案不能用「看起來會回答」作為驗收標準。簽約或啟動 PoC 前，應先寫清楚使用情境、測試資料、答案依據、允許錯誤、人工覆核、權限、回應時間、成本上限、例外處理與維運責任；驗收時用固定測試集逐題留存結果，並把「不知道時能否拒答、找不到資料時如何處理、離職或權限異動後是否立即失效」納入測試。
本文資訊更新於 2026-08-28。以下提供企業 AI 專案的通用驗收框架；實際門檻應依資料敏感度、業務風險、法規、預算與系統環境逐案確認。
1先把「想做 AI」改寫成可測試的使用情境
「建立公司 AI 助理」不是可以驗收的需求。企業應把它拆成明確的使用者、輸入、資料來源、動作與預期結果，例如：客服輸入產品問題後，系統只依已核准知識庫產生含來源連結的建議回覆；業務上傳會議摘要後，自動建立 CRM 待辦，但送出前必須由負責人確認。
| 模糊需求 | 可測試的驗收描述 | 需要留存的證據 |
|---|---|---|
| AI 要回答正確 | 用核准測試集逐題比對必要要點、來源與不可接受錯誤 | 題目、標準答案、實際輸出、判定人與日期 |
| 回覆要很快 | 指定尖峰使用人數、測試環境與可接受回應時間 | 測試條件、時間紀錄與失敗率 |
| 要能串 CRM | 指定觸發條件、必填欄位、重複資料與失敗補送規則 | 欄位對照、測試紀錄與錯誤 Log |
| 資料要安全 | 不同角色只能查到其被授權的文件，撤權後立即重新測試 | 權限矩陣、測試帳號與存取結果 |
驗收條件應在開發前確認。若等到展示當天才決定什麼叫成功，專案很容易變成不斷增加功能，卻無法判斷是否可以上線。
2RAG 知識庫要同時測答案、引用與拒答
RAG（檢索增強生成）專案的核心，不只是模型會不會組句，而是能否找到正確版本的文件、遵守存取權限、指出依據，並在資料不足時停止猜測。建議測試集至少涵蓋常見題、跨文件題、過期版本、無答案題、權限隔離題與容易混淆的相似名稱。
- 命中正確文件：答案應使用核准且有效的版本，不引用已作廢辦法或舊價目。
- 可追溯：顯示文件名稱、段落或連結，讓使用者能回到原始資料核對。
- 權限一致：AI 能搜尋到的內容，不得超過該使用者在原系統可讀取的範圍。
- 能夠拒答：知識庫沒有依據時，應明確說明資料不足並引導人工處理。
- 更新可驗證：文件新增、修訂、刪除後，索引更新時間與結果必須能被測試。
RAG 正確率要訂多少才合理？
沒有適用所有公司的單一數字。應先依情境風險區分「必要要點、可接受差異與重大錯誤」，再用固定測試集計算；涉及報價、法務、醫療、財務或個資時，應提高人工覆核與拒答要求。
只測十個示範問題可以嗎？
不夠。示範題通常太理想，至少還要加入錯字、口語問法、無答案、跨部門權限、舊文件與高峰同時使用等情境。
3流程自動化要測成功路徑，也要測失敗怎麼收尾
AI 串接 LINE、表單、Email、CRM、Google Sheets 或內部 API 時，最容易漏掉的是例外處理。除了正常建立資料，也要驗證欄位缺漏、格式錯誤、重複送出、API 超時、權限失效與人工退回時，系統如何通知、重試與保留紀錄。
欄位與資料
定義必填、格式、來源、遮蔽、保留期間與寫入目的地。
重複與補送
同一事件重送時不能重複建單；失敗後要能安全補送。
人工覆核
高風險動作在寄信、報價、改資料或對外發布前需指定核准人。
追蹤與告警
記錄輸入、處理結果、錯誤原因、責任人與後續處理狀態。
4PoC 通過，不等於可以直接正式上線
| 階段 | 主要目的 | 建議通過條件 |
|---|---|---|
| 需求盤點 | 確認問題、使用者、資料與風險 | 範圍、資料來源、責任人及排除項目已確認 |
| PoC | 驗證核心情境是否可行 | 固定測試集達標，重大錯誤與成本有紀錄 |
| 試行 | 由小範圍真實使用者操作 | 權限、例外、教育訓練及人工流程可運作 |
| 正式上線 | 納入日常營運與治理 | 監控、備份、變更、供應商與事件處理責任明確 |
PoC 常使用少量整理過的資料與少數測試者；正式環境則會遇到舊資料、尖峰流量、跨部門權限與人員異動。因此，從 PoC 進入上線前，還要補做資安、個資、容量、成本、備援、操作文件與教育訓練檢查。
5簽收前確認這 12 項交付物
- 經雙方確認的需求範圍、排除項目與變更紀錄。
- 資料來源、擁有者、版本、敏感等級與更新方式。
- 固定測試集、標準答案、判定規則及完整測試結果。
- 使用者、管理員、系統帳號與服務帳號的權限矩陣。
- 提示詞、模型、檢索、流程與重要參數的版本紀錄。
- API 欄位對照、驗證方式、錯誤碼與重試規則。
- 人工覆核、拒答、轉人工與重大錯誤處理流程。
- 用量、回應時間、失敗率與成本的監控方式。
- 備份、還原、刪除、資料保存及事件通報程序。
- 操作手冊、管理手冊與教育訓練紀錄。
- 維護窗口、服務範圍、問題分級與變更流程。
- 驗收負責人、完成日期、未完成項目與後續期限。
若供應商只提供展示畫面、百分比進度或口頭保證，卻沒有測試集、權限表、錯誤紀錄與交接文件，企業就很難在日後判斷問題屬於資料、模型、串接還是操作流程。
想先把 AI 構想整理成可驗收的 PoC？
提供預計使用者、目前流程、資料來源、要串接的系統與不能出錯的情境，朔雲可協助盤點需求、設計 PoC 範圍、建立測試集與驗收清單，再依結果評估正式導入。