LLM의 구조화된 응답 검증 라이브러리 공유

들어가며

최근 동료가 LLM에게서 구조화된 응답을 받는 노하우에 대해 발표를 했습니다. 발표 내용 중에서 특히 인상 깊었던 부분은 LLM 응답을 검증하는 파이썬 라이브러리 소개였는데요, 마침 제가 개발한 프로그램에서도 종종 발생하는 문제였기 때문이에요. 저 외에도 비슷한 문제를 겪고 있는 분들이 계실 것이라고 생각하여 널리 다른 분들과도 공유하고자 글을 작성합니다.

 

문제 상황: LLM의 예측 불가능한 응답

예를 들어 제가 LLM에게 다음과 같은 JSON 형식으로 응답하라고 지시합니다:

{
  "summary": "요약 내용",
  "keywords": ["키워드1", "키워드2", "키워드3"],
}

하지만 현실은 녹록하지 않습니다. 때로는 이런 응답이 돌아오기도 합니다:

요약: 이것은 중요한 내용입니다.
주요 키워드는 AI, 머신러닝, 딥러닝입니다.

또는 JSON 형식은 맞지만 필드명이 다르거나:

{
  "요약": "요약 내용",
  "키워드들": ["키워드1", "키워드2"],
}

이런 식으로 예상과 다른 응답이 오면 파싱 에러가 발생하거나, 후속 처리 로직에서 문제가 생깁니다.

 

해결책: Pydantic과 Instructor를 활용한 구조화된 응답 검증

동료가 소개한 라이브러리는 바로 Pydantic과 Instructor였습니다. AI에게 활용 예시 코드를 작성해 달라고 하였으나 제가 검증하지 못하여 일단 이 내용에서는 제외했습니다.

 

기대되는 장점

1. 응답 형식 일관성 보장

더 이상 예상과 다른 형식의 응답으로 인한 파싱 에러가 발생하지 않을 것으로 기대됩니다.

2. 데이터 타입 검증

지정하지 않은 타입의 데이터가 오거나, 범위를 벗어난 값이 오는 경우를 자동으로 걸러낼 수 있을 것 같습니다.

3. 재시도 메커니즘

Instructor는 응답이 스키마에 맞지 않을 경우 자동으로 재시도를 수행한다고 합니다.

4. 개발 생산성 향상

응답 검증 로직을 별도로 작성할 필요가 없어 개발 시간이 단축될 것으로 예상됩니다.

 

추가 정보

중첩된 구조도 간단하게 정의할 수 있으며 에러 처리가 강화되었다고 합니다.

 

마무리

동료의 발표 덕분에 알게 된 Pydantic과 Instructor 조합이 정말 매력적으로 보입니다. LLM의 변덕스러운 응답 때문에 골치 아픈 문제가 깔끔하게 해결될 것 같고, 코드의 안정성과 가독성도 크게 향상될 것으로 기대됩니다.

다음에는 이 라이브러리들을 실제로 적용해본 후기도 공유해보겠습니다!

---

혹시 이 라이브러리들을 사용해보신 경험이 있으시거나, 다른 좋은 해결 방법을 알고 계시다면 댓글로 공유해주세요! 🙏