챗봇을 붙이면 계량기가 하나 늘어난다

방문자가 한 줄을 칠 때마다 계량기가 돈다

지면에 대화창을 하나 붙이면, 방문자가 글을 넣을 때마다 그 창은 바깥에 있는 언어 모델로 요청을 보낸다. 요청 한 번마다 값이 매겨진다. 여기까지는 대부분 알고 시작한다. 어긋나기 시작하는 건 그 값이 질문 개수에 비례하지 않는다는 사실이다.

모델은 앞서 오간 말을 기억하지 않는다. 대화가 이어지는 것처럼 보이는 건 지금까지의 대화를 매 요청마다 통째로 다시 실어 보내기 때문이다. 그래서 열 번째 질문은 타이핑한 글자 수가 첫 질문과 같아도 계량기에는 훨씬 크게 찍힌다. 요청 하나에 실려 가는 건 셋이다. 방문자가 친 문장, 모델에게 역할과 금지사항을 지시해 두는 우리 쪽 문장 묶음(시스템 프롬프트라고 부른다), 그리고 모델이 돌려준 답.

값을 줄이는 여지도 그래서 기능 목록이 아니라 대화 설계 쪽에 있다. 한 대화를 몇 번까지 오가게 둘지, 오래된 말을 어느 시점에 잘라낼지, 매번 똑같이 나가는 지시문을 캐시로 아낄지. 이 판단이 범위 문서에 없으면 나중에 청구서에서 알게 된다.

”우리 회사 내용을 아는 챗봇”에 딸려 오는 것

문의는 대개 이 한 문장으로 들어온다. 모델은 우리 회사를 모르니, 질문이 들어올 때마다 우리 자료에서 해당 대목을 찾아 함께 넘겨주는 장치를 따로 만든다. 자료를 모으고, 조각으로 자르고, 검색되게 색인하고, 질문마다 맞는 조각을 골라 붙이는 일이 전부 이 장치 안에 있다. 견적이 갈리는 자리는 자료의 상태다. 정돈된 웹페이지나 문서에서 뽑아 오는 것과, 스캔한 PDF나 부서마다 양식이 다른 표에서 뽑아 오는 것은 같은 작업이 아니다.

이 장치는 한 번 만들고 끝나지도 않는다. 가격이나 규정이 바뀌면 색인을 다시 만들어야 하고, 다시 만들지 않으면 챗봇은 지난달 내용을 자신 있게 답한다. 누가 자료를 갱신하고 며칠 안에 반영되는지를 정해 두지 않으면 오답의 절반이 여기서 나온다.

이상한 답을 받은 손님은 알려 주지 않는다

챗봇은 모르는 것도 문장으로 답한다. 값이 없으면 비워 두는 대신 그럴듯한 것으로 채운다. 그러니 붙이기 전에 정할 것은 정확도 목표가 아니라 처리 절차다. 대화 기록이 남는지, 남으면 누가 언제 그걸 읽는지부터다.

기록이 없으면 고장 자체를 모른다. 손님은 이상한 답을 받아도 말하지 않는다. 창을 닫고 나간다.

경계도 같이 그어 둔다. 환불이 되는지, 언제 도착하는지, 얼마인지처럼 못 지키면 분쟁이 되는 말은 대화창에서 답하지 않게 막고 사람에게 넘긴다. 사람으로 넘어가는 버튼과 그 버튼이 뜨는 조건을 처음에 같이 만들어 두면, 나중에 사과문을 쓸 일이 줄어든다.

고지 문구는 개발이 아니라 확인 항목이다

한국은 인공지능 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)이 2026년 1월 22일부터 시행 중이다. 생성형 인공지능을 이용한 제품이나 서비스를 제공하려면 그 사실을 이용자에게 미리 알려야 하고(제31조 제1항), 결과물이 생성형 인공지능으로 만들어졌다는 사실도 표시해야 한다(제31조 제2항). 조문은 국가법령정보센터에서 그대로 읽을 수 있다. 문구 한 줄이라 개발 비용은 거의 붙지 않는다. 대신 어느 화면 어디에 어떤 말로 붙일지는 다 만든 다음이 아니라 화면을 그릴 때 정해 두는 편이 낫다. 유럽 이용자를 받는 서비스라면 EU 인공지능법의 투명성 의무도 2026년 8월 2일부터 적용된다.

모델이 바뀌는 날에도 코드는 멀쩡하다

외부 서비스 연동은 상대가 규격을 바꾸면 눈에 보이게 깨진다. 언어 모델은 그렇게 알려 주지 않는다. 호출 방식은 그대로인데 답의 성격이 달라진다. 새 판으로 갈아타면 같은 질문에 다른 문장이 돌아오고, 쓰던 판을 붙들고 있으면 언젠가 종료 예고가 붙는다. 코드는 한 줄도 안 고쳤는데 답변을 다시 검수해야 하는 날이 온다. 그래서 대표 질문을 스무 개쯤 원하는 답과 함께 적어 두고, 모델을 손댈 때마다 그 스무 개를 다시 돌려 본다. 이 목록이 없으면 판단 근거가 “느낌이 이상하다”밖에 안 남는다. 규격 자체가 깨지는 쪽 이야기는 연동은 한 번 성공한 다음부터가 범위다에 따로 적어 두었다.

어디까지 물어보게 둘지부터 같이 정합니다

붙일지 말지를 아직 안 정하셨어도 상담이 됩니다. 위플의 AI 기능 개발은 무엇을 물어보게 둘지, 어디서 사람에게 넘길지를 먼저 그린 다음, 그 그림 위에서 만드는 값과 매달 나가는 값을 나눠 적습니다. 자주 들어오는 질문 목록이나 안내 문서가 있으면 그걸로 시작하고, 없으면 문의 메일함을 같이 훑는 것부터 합니다. 작업 단위는 가격 안내에 적어 두었습니다. 첫 대화에서 저희가 먼저 세는 건 질문 개수가 아니라 한 대화가 몇 번 오가는지입니다.