指南
接了聊天機器人,就多一顆電表
訪客每打一行,表就跳一格
頁面上放一個對話框,訪客每輸入一次,這個框就往外部的語言模型送一次請求。每一次請求都計價。到這一步大多數人是清楚的。開始跑掉的地方,是以為總額跟著問題的條數走。
模型不記得前面講過什麼。對話看起來是連著的,是因為每次請求都把先前的全部內容重新裝上再送一次。所以第十個問題就算和第一個一樣長,在表上跳的格數也大得多。一次請求裡裝著三樣東西:訪客打進去的那句話,你們自己寫好、用來交代模型該扮演什麼角色和絕對不能說什麼的那一段指令(叫系統提示詞),以及模型回傳的答案。
省錢的空間因此不在功能清單上,在對話的設計裡。一輪對話允許來回幾次,舊訊息在哪一點截掉,每次一字不改送出去的那段指令要不要快取。這些判斷沒寫進範圍文件,最後就由帳單來告訴你。
「一個懂我們公司的機器人」後面跟著什麼
需求大多就是這麼一句話進來的。模型不認識你的公司,所以要另做一套東西:在你自己的資料裡找到相關段落,跟著問題一起遞給模型。把資料收齊、切成小塊、建成能檢索的索引、按每個問題挑出合適的塊,全都在這套東西裡面。報價分岔的點是資料的狀態。從整齊的網頁和文件裡取,跟從掃描檔 PDF、各部門格式都不一樣的表格裡取,不是同一件工作。
這套東西也不是做完就結束。價格或者規定一改,索引就得重建;不重建,機器人就會拿上個月的說法答得斬釘截鐵。誰負責更新資料、幾天內生效,這件事沒定下來,答錯的案例有一半出自這裡。
收到怪答案的客人不會回來說
聊天機器人對不知道的事也照樣成句作答。它不會留空,而是拿看起來像的內容填上。所以接之前要定的不是準確率目標,而是處理流程。對話紀錄留不留,留的話誰在什麼時候讀。
沒有紀錄,連壞了都不知道。客人收到怪答案很少回報。他們把視窗關掉。
界線也一起劃好。退不退款、什麼時候到貨、多少錢,這類講出去做不到就要起爭執的話,不讓對話框回答,交給人。轉真人的按鈕和它出現的條件在一開始就一起做出來,後面要寫的道歉信會少。
那行告知文字屬於核對項,不是開發項
如果你的使用者裡有歐盟境內的人,歐盟《人工智慧法案》的透明度義務從 2026 年 8 月 2 日起適用:要讓使用者知道自己正在跟 AI 打交道,生成出來的內容也要標明是機器生成。這些日期出自歐盟執委會公開的施行時間表。你所在的市場可能另有規定,這件事值得在上線前查一遍,而不是上線之後。作為一行文字,它幾乎不占開發成本。真正要提前定的是它放在哪一頁、用什麼說法,這該在畫介面的時候決定,而不是全做完之後。
模型換版那天,程式碼是好的
外部服務改了規格,串接會明顯斷掉。語言模型不給你這種訊號。呼叫方式一模一樣,答案的性格卻變了。換到新版本,同一個問題回來的說法就不一樣;抱著舊版本不動,它遲早會掛上停用日期。程式碼一行沒改,答案卻要重新驗一遍。所以把二十來個代表性問題連同你想要的答案寫下來,每次動模型就把這二十個再跑一遍。沒有這份清單,判斷依據只剩下「感覺不對」。規格本身斷掉的那一面,寫在串接是從第一次打通之後才開始算範圍裡。
先一起定它可以被問到哪裡
還沒決定要不要接,一樣談得起來。Weple 的 AI 功能開發先畫一張圖:什麼可以問它,在哪裡交給人;然後在這張圖上把做的錢和每個月流出去的錢分開寫清楚。手上已經有常見問題清單或者說明文件,就從那份開始;沒有,就一起翻一遍客服信箱。工作按什麼單位計,寫在價格說明裡。第一次對話時我們先數的不是問題有幾條,而是一輪對話來回幾次。
如果你也是這種情況
把現在的情況傳給我們,我們會在 24 小時內回覆範圍與價格。