AI Chatbot / Tutor

문제 상황 AI Chat은 LMS와 포트·DB가 분리된 서비스지만, 이미 로그인한 사용자가 추가 인증 없이 들어와야 했다. 과목 튜터는 LTI로 진입해 URL 리다이렉트와 다른 인증 입력을 사용했다.

문제 정의 두 진입 경로를 지원하면서 LMS 세션과 AI Chat 세션의 수명·책임을 분리해야 했다.

가설 LMS가 짧게 유효한 교환용 토큰을 발급하고 AI Chat이 자체 세션으로 바꾸면, 서비스 결합을 줄이면서 두 경로를 하나의 인증 흐름으로 합칠 수 있다고 봤다.

행동 TTL 60초의 LMS 임시 토큰 검증과 AI Chat JWT 발급을 구현하고, LTI의 사용자·과목·역할 정보도 같은 세션 생성 단계에 연결했다.

성과 두 경로에서 추가 로그인을 요구하지 않고 세션을 연결했으며, 같은 패턴을 AI Commons 인증에도 재사용했다.

회고 재사용 가능한 경계를 만들었지만 인증 실패율이나 로그인 소요 시간은 측정하지 않았다. 토큰 재사용·만료·잘못된 역할 입력에 대한 보안 테스트 결과를 함께 제시하면 더 강한 사례가 된다.

문제 상황 팀의 첫 AI 챗봇 제품이라 모델, 벡터 저장소, 임베딩과 문서 파서를 동시에 선택해야 했다.

문제 정의 최고 품질만 고르는 문제가 아니라 4개월 상용화 일정 안에서 품질, 지연시간, 비용과 운영 복잡도의 균형을 찾아야 했다.

가설 초기에는 managed OpenAI stack으로 운영 요소를 줄이되 provider interface를 분리하면, 출시 속도와 이후 교체 가능성을 함께 확보할 수 있다고 봤습니다.

행동 범주별 후보 3~5개를 같은 기준으로 PoC하고, GPT-4.1 mini와 OpenAI Vector Store를 선택했다. 비교 결과와 선택 근거는 팀 문서로 남겼다.

성과 별도 vector DB 없이 4개월 만에 상용화했고, 이후 같은 provider layer에 Gemini와 Claude를 추가했습니다.

회고 선택 과정은 남아 있지만 평가셋과 점수는 공개할 수 있는 형태로 정리되지 않았다. 다음 비교에서는 질문 유형별 품질·지연·비용을 재현 가능한 표로 남겨야 한다.

문제 상황 OpenAI는 previous_response_id로 대화를 이어가지만 Claude Messages API는 무상태다. 스트림 이벤트, 서버 도구, usage와 파일 수명도 기존 공급자와 달랐다.

문제 정의 프론트엔드의 채팅·도구 UI와 통계 계약을 바꾸지 않으면서, 히스토리 재전송이 만드는 컨텍스트 크기와 비용을 함께 통제해야 했다.

가설 provider별 차이를 BaseStreamService 아래에서 흡수하고, 안정적인 prefix만 cache하면 제품 호환성과 비용 효율을 동시에 지킬 수 있다고 봤습니다.

행동 최근 20개 메시지를 서버에서 재조립하고, Claude 응답·도구·사용량을 자체 SSE와 공통 타입으로 변환했다. 15,232개 운영 대화의 길이·첨부·턴 간격 분포를 분석해 시스템 프롬프트와 대화 기록 끝에 조건부 캐시 경계를 두고 TTL은 5분으로 정했다.

성과 기존 client contract를 유지한 채 세 번째 provider를 배포했습니다. 4턴 대화에서 input cost가 5,348에서 3,364로 37% 줄었고, 250KB 첨부 파일도 후속 턴에서 cache read로 전환됐습니다.

회고 최근 20개 message 이후에는 history cache를 끄는 안전한 선택을 했습니다. 다음 단계는 context 임계점·요약/truncation 정책과 provider·model별 통계를 하나의 비용 정책으로 연결하는 일입니다.