AI 시대, 개발 패러다임의 근본적 변화

GenAI(Generative AI)의 눈부신 발전은 IT 인프라와 소프트웨어 개발 방식에 대한 우리의 관점을 근본적으로 재고하게 만듭니다. 과거에는 기능 구현 여부가 중요했지만, 이제는 인공지능이 제공하는 가치와 신뢰성에 더 집중해야 합니다. 기존 소프트웨어 엔지니어의 이진법적 사고방식으로는 GenAI의 확률적 특성을 다루기 어렵다는 점에서 새로운 접근이 필수적입니다. 저 역시 지난 10년간 다양한 IT 인프라 프로젝트를 수행하며, AI가 인프라 설계와 운영에 미치는 지대한 영향을 직접 체감해 왔습니다.

이 글에서는 GenAI 시대의 핵심 개발 규칙으로 떠오른 ‘LLM 테스트’와 ‘평가 시스템’의 중요성을 IT 인프라 관점에서 심도 있게 다루겠습니다. 독자 여러분이 AI 프로젝트의 예측 불확실성을 관리하고, 실제 비즈니스 가치를 창출할 수 있는 실용적인 통찰력을 얻어가시길 바랍니다.

블랙박스 GenAI의 도전과 ‘평가 시스템’의 부상

GenAI 시스템은 마치 ‘블랙박스’와 같아서 기존 소프트웨어처럼 코드를 통해 문제 발생 지점을 정확히 디버깅하기 어렵습니다. 우리는 입력과 출력만 확인할 수 있을 뿐, 왜 특정 결과나 이른바 ‘환각(hallucination)’이 발생하는지 파악하기 힘든 실무적 한계에 부딪힙니다. 여기서 핵심은 AI의 ‘정확도 스펙트럼’을 인정하고, 이를 체계적으로 측정하는 ‘LLM 테스트'(evals)를 도입하는 것입니다. 이는 시스템의 불확실성을 가시화하고 통제하는 데 필수적인 방법입니다.

실제로 스위스의 한 기업은 GenAI 모델 도입 후 연간 약 90만 스위스 프랑에 달하는 비용을 절감하고, 직원들의 업무 시간을 매년 10,000시간 단축하여 34%의 생산성 향상을 달성했습니다. 흥미로운 점은 이 성공이 고작 ‘세 단어’를 프롬프트에 추가한 결과였다는 것입니다. 초기 60%의 정확도를 보이며 환각으로 고심하던 챗봇 프로젝트는 ‘더 나은 프롬프트’를 찾는 데 매달리기보다, ‘작동하는 프롬프트를 찾는 평가 시스템’을 구축하면서 극적인 전환점을 맞이했습니다. 수백 개의 프롬프트를 시도하며 무엇이 효과적인지 빠르게 파악할 수 있는 체계가 성공의 열쇠였던 셈입니다.

비즈니스 가치 중심의 AI 평가와 유연한 인프라 전략

성공적인 AI 개발은 비즈니스 가치를 최우선으로 하는 ‘데이터 중심 개발’에서 출발합니다. 이는 사용자의 기대치를 명확히 이해하고, 이를 자동화된 테스트 케이스로 전환하는 과정이 중요합니다. ‘커버리지 매트릭스’를 활용하여 문의 유형(예: 결제, 기술, 일반) 및 고객 세그먼트(예: 신규, 기존)별로 중요도를 파악하고 우선순위를 설정하는 것이 효과적입니다. 예를 들어, 와인 박람회에서 대부분의 고객은 1~6병을 구매하지만, 10,000명 중 1명은 매월 1,000병 이상을 주문하는 대형 레스토랑 체인일 수 있습니다. 이처럼 발생 빈도는 낮아도 비즈니스 가치가 압도적으로 높은 ‘아웃라이어’ 케이스는 반드시 테스트에 포함하고 우선적으로 해결해야 합니다.

IT 인프라 관점에서 AI 모델은 애플리케이션의 핵심이 아닌 ‘교체 가능한 부품’으로 인식하는 유연한 아키텍처 설계가 중요합니다. OpenAI의 GPT-5나 Gemini와 같은 최신 모델이 출시되거나, 소형 언어 모델(SLM)이 대규모 GPU 클러스터 대비 더 저렴한 비용으로 효율적인 운영이 가능할 때, 평가 시스템을 통해 빠르게 전환하고 테스트할 수 있어야 합니다. DeepEval, Lang Fuse, MLflow, Evidently AI 등 다양한 LLM 테스트 및 옵저버빌리티 도구들을 활용하여 모델의 성능과 인프라 자원의 최적화(예: 지연 시간, 비용 효율성)를 평가하는 것이 핵심입니다. 이러한 유연한 인프라 설계는 AI 서비스의 지속 가능성과 경쟁력을 확보하는 데 결정적인 역할을 합니다.

사용자 행동 기반의 AI 옵저버빌리티

AI가 블랙박스일지라도 우리는 그 성능을 ‘사용자의 반응’을 통해 관찰할 수 있습니다. 시스템 자체를 직접 들여다보기보다, 사용자 로그를 분석하여 AI와의 대화 흐름, 대화가 막히는 지점, 동일한 질문의 반복 여부 등을 파악하는 것이 핵심입니다. 이게 왜 중요할까요? 이러한 사용자 행동 패턴은 AI가 실제 사용자의 문제를 해결하고 있는지, 아니면 단순히 ‘귀찮게’만 하고 있는지에 대한 결정적인 단서를 제공하기 때문입니다.

인프라 관점에서는 이러한 방대한 사용자 로그 데이터를 효율적으로 수집, 저장, 분석할 수 있는 안정적인 시스템 구축이 선행되어야 합니다. 결국 AI 옵저버빌리티는 기술 지표를 넘어선 사용자 경험 개선에 있습니다. 마치 차량 자체를 관찰하기보다 운전자가 차량과 어떻게 상호작용하고 차량이 운전자에게 어떻게 반응하는지를 보는 것과 같은 이치입니다. 이를 통해 AI 시스템이 제공하는 실제 비즈니스 가치를 측정하고, 지속적인 개선 방향을 모색할 수 있습니다.

AI 시대, 지속 가능한 혁신을 위한 인프라 전략

AI 개발은 더 이상 단순한 기술 구현을 넘어섭니다. 비즈니스 가치, 사용자 경험, 그리고 이를 견고하게 지탱하는 IT 인프라가 유기적으로 결합된 총체적인 접근 방식이 필요합니다. 우리는 AI의 예측 불확실성을 인정하고, 이를 체계적인 ‘LLM 테스트’와 ‘평가 시스템’으로 관리해야 합니다. 이는 AI 프로젝트가 단기적인 유행을 넘어, 기업의 핵심 성장 동력으로 자리매김할 수 있는 기반을 마련해 줄 것입니다.

IT 인프라 전문가로서, 우리는 AI 모델을 유연하게 교체하고 관리할 수 있는 아키텍처를 설계하며, 사용자 데이터를 기반으로 AI 시스템의 실제 비즈니스 임팩트를 측정하고 최적화해야 합니다. 기술적 탁월성만을 쫓기보다 고객의 실제 문제를 이해하고 해결하는 데 집중할 때, AI는 진정한 혁신을 가져다줄 것입니다. 2025년 11월, AI 개발의 새로운 철학은 ‘평가 없이는 배포도 없다’는 명확한 메시지를 전달하고 있습니다.

참고: If You Can’t Test It, Don’t Deploy It: The New Rule of AI Development? – InfoQ.com, 2025