LLM과 API, 어떻게 연결할까? - 자연어 질문에서 실시간 데이터를 가져오기까지의 흐름 정리

요즘엔 챗봇이나 AI 비서처럼 질문을 던지면 필요한 정보를 바로 가져다주는 서비스들이 정말 많아졌죠.
예를 들어 이런 거요.

“이번 주말에 서울 근교 갈만한 데 있어?”
“지금 내가 보고 있는 영화에 나온 배우 누구야?”
“이 제품 리뷰 요약해줘”

이런 질문들에 AI가 답을 잘 해줄 수 있으려면, 사실 꽤 많은 걸 백그라운드에서 처리해야 하더라고요.
최근 이런 구조를 조금 들여다볼 일이 있어서, 간단하게 정리해봤어요.

⸻

1. AI가 질문을 듣고, ‘어떤 시스템에 물어볼지’ 정한다?

질문을 한다고 해서 AI가 답을 바로 떠올리는 게 아니라,
질문 내용을 이해해서 어떤 API(시스템)를 호출해야 하는지를 먼저 정해야 해요.

예를 들어 “이번 주말 날씨 알려줘”라는 질문에 대해 AI는 이런 선택을 해야 해요.
• 날씨 API를 부를까?
• 일정 관리 시스템에서 사용자의 주말 일정을 먼저 확인해야 할까?
• 여행지 추천 쪽으로 연결할까?

이걸 AI가 직접 판단하게 하려면, 여러 개의 API 기능 설명을 미리 주고,
“이 질문에는 어떤 API가 가장 적절할까?”를 AI 스스로 고르게 시키는 방식을 씁니다.

⸻

2. 시스템(또는 API)을 골랐으면, 거기에 넣을 값들을 찾아야 해요

API를 고르고 나면, 그걸 실행하려면 뭔가 값들을 넣어야 하잖아요.
예를 들어 날짜, 위치, 지역 코드 같은 것들.

AI에게 이렇게 요청하는 거예요:

“이 API를 쓰려면 date랑 location이 필요해.
지금 질문에서 이 값들을 뽑아줘.”

그러면 AI가 질문 안에서 필요한 값들을 뽑아내거나,
없는 경우에는 “오늘 날짜” 같은 기본값을 채워 넣기도 해요.
(생각보다 영리하게 굴더라고요…)

⸻

3. 질문 → API 선택 → 파라미터 추출 → 호출 → 응답

결국 하나의 질문이 들어오면,
AI는 아래 같은 흐름으로 일하게 됩니다.

사용자 질문  
→ 어떤 시스템/API를 쓸지 선택  
→ 필요한 값들 뽑아냄  
→ API 호출  
→ 결과를 말로 정리해서 사용자에게 보여줌

⸻

4. 틀릴 수도 있으니, ‘확신하냐고’ 물어보기도 함

재밌었던 건, AI가 고른 API가 진짜 정답인지 신뢰도를 물어보는 구조도 만들 수 있더라고요.
예를 들어 “이 API가 진짜 맞다고 생각해? 100점 만점에 몇 점?” 이런 식이죠.

이걸 바탕으로 잘못된 API 선택을 줄일 수 있어서 꽤 유용했어요.

⸻

마무리하며

대화형 AI는 단순히 말을 잘하는 것 같지만,
그 뒤에는 이런 “이해 → 판단 → 연결”의 과정이 숨어 있습니다.

개인적으로는 “답변하는 AI”보다
“무언가와 연결할 줄 아는 AI”가 더 매력적으로 느껴졌어요.
앞으로 더 많은 곳에서 이런 방식이 활용될 것 같고,
개인 프로젝트에도 꽤 재미있게 응용할 수 있을 것 같아서 정리해둡니다.