Memasang Chatbot Berarti Menambah Satu Meteran

Setiap Baris yang Diketik Pengunjung Memutar Meteran

Pasang satu kotak obrolan di halaman, dan setiap kali pengunjung mengetik, kotak itu mengirim permintaan ke model bahasa yang tinggal di luar sana. Setiap permintaan dihargai. Sampai di sini kebanyakan orang sudah tahu sejak awal. Yang mulai meleset adalah anggapan bahwa totalnya mengikuti jumlah pertanyaan.

Model tidak mengingat apa pun dari percakapan sebelumnya. Obrolan terasa nyambung karena seluruh isi percakapan sejauh itu dimuat ulang dan dikirim lagi pada setiap permintaan. Maka pertanyaan kesepuluh, walau diketik sepanjang pertanyaan pertama, tercatat jauh lebih besar di meteran. Tiga hal ikut terangkut dalam satu permintaan: kalimat yang diketik pengunjung, blok instruksi milik Anda yang menetapkan peran model dan hal yang tidak boleh diucapkannya (disebut system prompt), dan jawaban yang dikembalikan model.

Karena itu ruang untuk menekan biaya ada di rancangan percakapan, bukan di daftar fitur. Berapa kali satu percakapan boleh bolak-balik, di titik mana pesan lama dipangkas, apakah instruksi yang keluar sama persis tiap kali disimpan di cache. Keputusan yang tidak masuk dokumen lingkup akan muncul di tagihan.

Yang Ikut Terbawa dalam “Bot yang Paham Perusahaan Kami”

Permintaan biasanya datang dengan kalimat itu. Model tidak mengenal perusahaan Anda, jadi dibangun satu perangkat lagi: sesuatu yang mencari bagian yang relevan di dalam dokumen Anda sendiri lalu menyerahkannya bersama pertanyaan. Mengumpulkan bahan, memotongnya jadi kepingan, membuat indeks agar bisa dicari, dan memilih kepingan yang cocok untuk tiap pertanyaan, semua berada di dalam perangkat itu. Yang menggerakkan angka penawaran adalah kondisi bahannya. Mengambil dari halaman web dan dokumen yang rapi bukan pekerjaan yang sama dengan mengambil dari PDF hasil pindaian dan lembar kerja yang formatnya berbeda di tiap divisi.

Perangkat itu juga tidak pernah benar-benar selesai. Begitu harga atau ketentuan berubah, indeksnya harus dibangun ulang, dan kalau tidak, bot menyebutkan ketentuan bulan lalu dengan penuh percaya diri. Tanpa kesepakatan siapa yang memperbarui sumbernya dan berapa hari sampai berlaku, separuh jawaban keliru berasal dari sini.

Pelanggan yang Menerima Jawaban Aneh Tidak Melapor

Chatbot menjawab dengan kalimat utuh bahkan untuk hal yang tidak diketahuinya. Alih-alih membiarkan kosong, ia mengisinya dengan sesuatu yang terdengar masuk akal. Jadi yang perlu diputuskan sebelum memasangnya bukan target akurasi, melainkan prosedur penanganan. Apakah percakapan direkam, dan kalau iya, siapa yang membacanya dan kapan.

Tanpa rekaman, kerusakannya sendiri tidak terlihat. Pelanggan yang menerima jawaban aneh jarang memberi tahu. Mereka menutup jendelanya.

Garis batasnya ditarik bersamaan. Bisa tidaknya pengembalian dana, kapan barang sampai, berapa harganya: janji yang berubah jadi sengketa kalau tidak ditepati sebaiknya tidak dijawab di kotak obrolan dan diserahkan ke manusia. Bangun tombol alih ke manusia beserta kondisi kemunculannya sejak awal, dan surat permintaan maaf yang harus ditulis kemudian jadi lebih sedikit.

Satu Baris Pemberitahuan Itu Butir Pemeriksaan, Bukan Pekerjaan Pengembangan

Kalau ada pengguna Anda yang berada di Uni Eropa, kewajiban transparansi dalam Undang-Undang AI Uni Eropa berlaku sejak 2 Agustus 2026: orang harus diberi tahu bahwa mereka sedang berhadapan dengan sistem AI, dan keluaran buatan mesin harus ditandai sebagai hasil AI. Tanggal-tanggal itu berasal dari linimasa penerapan yang diterbitkan Komisi Eropa. Pasar Anda sendiri bisa saja punya aturan tambahan, jadi itu layak diperiksa sebelum rilis, bukan sesudahnya. Sebagai satu baris teks, ongkos membangunnya nyaris nol. Yang perlu diputuskan lebih awal adalah di layar mana ia muncul dan dengan kalimat apa, dan itu lebih baik diputuskan saat layarnya digambar.

Pada Hari Modelnya Berganti, Kodenya Baik-Baik Saja

Ketika layanan luar mengubah spesifikasinya, integrasinya patah dengan kentara. Model bahasa tidak memberi sinyal semacam itu. Cara pemanggilannya tetap sama persis, tetapi watak jawabannya bergeser. Pindah ke versi baru, pertanyaan yang sama kembali dengan susunan kalimat lain; bertahan di versi lama, cepat atau lambat versi itu diberi tanggal penghentian. Tidak ada satu baris kode pun yang berubah, dan jawabannya tetap harus diperiksa ulang. Karena itu tuliskan dua puluh pertanyaan perwakilan beserta jawaban yang Anda inginkan, lalu jalankan lagi dua puluh itu setiap kali modelnya disentuh. Tanpa daftar tersebut, satu-satunya dasar penilaian yang tersisa adalah “rasanya aneh”. Sisi lain persoalan ini, ketika spesifikasinya sendiri yang patah, ada di Integrasi Baru Mulai Dihitung Setelah Panggilan Pertama Berhasil.

Kami Mulai dari Sejauh Mana Ia Boleh Ditanya

Datang pun boleh dalam keadaan belum memutuskan akan memasangnya atau tidak. Pengembangan Fitur AI di Weple menggambar petanya dulu, apa yang boleh ditanyakan ke bot dan di mana ia menyerahkan ke manusia, lalu memisahkan ongkos membangun dan biaya bulanan di atas peta itu. Kalau Anda sudah punya daftar pertanyaan yang sering masuk atau dokumen panduan, itu bahan awalnya; kalau belum, kita telusuri kotak masuk layanan pelanggan bersama-sama. Satuan pekerjaannya tercantum di halaman harga. Pada percakapan pertama, yang lebih dulu kami hitung bukan berapa banyak pertanyaan yang masuk, melainkan berapa kali satu percakapan bolak-balik.