생성형 AI를 넘어 Agentic AI 시대로의 전환과 IT 인프라의 역할

최근 몇 년간 IT 업계를 강타했던 생성형 AI 열풍이 이제는 또 다른 진화의 물결을 맞이하고 있습니다. 단순히 콘텐츠를 생성하거나 질의에 응답하는 수준을 넘어, 스스로 판단하고 행동하는 자율적인 시스템인 Agentic AI가 그 주인공입니다. 많은 기업들이 생성형 AI를 도입하며 데이터 기반의 탄탄한 기반을 마련했지만, 이제는 이 안정성을 바탕으로 Agentic AI 시대를 위한 스케일 업 전략이 절실한 시점입니다. Databricks와 MIT Technology Review의 최근 연구에 따르면, 대부분의 조직은 생성형 AI 시대를 거치며 견고한 데이터 파운데이션을 구축하는 데 성공했습니다. 흥미로운 점은, 다음 단계는 이러한 안정적인 기반을 발판 삼아 비즈니스 전반에 AI를 확장하는 데 집중해야 한다는 것입니다. 특히, Agentic AI는 이 확장 전략의 핵심 동력으로 작용할 예정입니다.

이게 왜 중요할까요? 실제 현장에서는 생성형 AI를 넘어 Agentic AI를 도입하려는 움직임이 빠르게 확산되고 있습니다. 2025년 10월 30일 발행된 기사에서 언급했듯이, 이미 기업의 65%가 생성형 AI를 배포했으며, 그 다음으로 Agentic AI에 대한 투자를 계획하는 조직이 68%에 달한다고 합니다. 이는 AI가 단순한 실험 단계를 넘어 실제 비즈니스 운영의 핵심 축으로 자리 잡고 있음을 보여주는 명확한 신호입니다. 이러한 변화의 흐름 속에서 IT 인프라 전문가들이 어떤 데이터 전략을 가지고 접근해야 할지, 그 실질적인 통찰을 깊이 있게 다루고자 합니다.

Agentic AI 시대, IT 인프라와 데이터 전략의 핵심 로드맵

생성형 AI는 많은 가능성을 열었지만, 주로 사용자의 프롬프트에 기반하여 ‘생성’하는 역할에 머물렀습니다. 이는 마치 지능적인 내비게이션이 복잡한 경로를 알려주지만, 운전은 결국 사람이 직접 해야 하는 것과 비슷합니다. 하지만 Agentic AI는 여기서 한 단계 더 나아갑니다. 스스로 목표를 설정하고, 정보를 탐색하며, 계획을 수립하고, 실행하며, 그 결과를 평가하여 다음 행동을 결정하는 ‘자율 주행 시스템’에 가깝습니다. Bradesco의 Chief Data and AI Officer인 Rafael Cavalcanti는 “데이터와 AI 전략을 통합한 조직이 그렇지 않은 조직보다 정교한 AI 접근 방식을 더 쉽게 배포할 수 있음을 생성형 AI가 명확히 보여주었다”고 언급했습니다. 이 발언은 Agentic AI를 성공적으로 구축하기 위한 필수 전제 조건이 바로 데이터와 AI 전략의 긴밀한 통합임을 시사합니다.

실제로 Agentic AI는 운영 효율성 향상, 의사결정 가속화, 새로운 통찰력 확보 등 기업의 핵심 가치 창출에 집중합니다. 아직은 전체 기업의 19%만이 Agentic AI를 배포하기 시작했지만, 향후 2년 이내에 68%의 조직이 투자를 계획하고 있다는 통계는 이 기술의 폭발적인 성장 잠재력을 보여줍니다. 3M의 Global Vice President, Data and AI인 Nithin Ramachandran은 Agentic AI를 R&D 프로세스 개선과 조직 전반의 효율성 증대에 활용하여 경쟁 우위를 확보하겠다는 계획을 밝히기도 했습니다. 이러한 선도 기업들의 사례는 Agentic AI가 단순한 유행을 넘어 비즈니스 혁신의 강력한 도구로 자리매김하고 있음을 보여줍니다.

Agentic AI를 위한 견고한 IT 인프라 파운데이션 구축

Agentic AI는 고품질의 신뢰할 수 있는 데이터를 기반으로 작동합니다. 스스로 판단하고 행동하는 만큼, 입력되는 데이터의 정확성과 신뢰도는 시스템의 성공을 좌우하는 가장 중요한 요소입니다. 실무에서는 데이터 파이프라인이 제대로 구축되지 않아 AI 모델이 엉뚱한 결정을 내리거나, 실시간 데이터 처리 능력 부족으로 중요한 의사결정 시점을 놓치는 경우가 많습니다. Agentic AI는 이러한 데이터의 병목 현상에 훨씬 더 민감하게 반응합니다. 따라서 데이터 레이크하우스와 같은 통합 데이터 플랫폼을 구축하는 것이 매우 중요합니다. 이는 전통적인 데이터 웨어하우스와 데이터 레이크의 장점을 결합하여 구조화된 데이터와 비구조화된 데이터를 모두 효율적으로 관리하고 분석할 수 있게 합니다.

IT 인프라 관점에서 보면, Agentic AI는 대규모의 데이터를 실시간으로 수집, 처리, 분석할 수 있는 고성능 컴퓨팅 자원과 스토리지 시스템을 요구합니다. 기존의 인프라로는 이러한 요구 사항을 충족하기 어렵습니다. 클라우드 네이티브 아키텍처를 도입하여 필요에 따라 자원을 유연하게 확장하고, 서버리스 컴퓨팅을 활용하여 운영 부담을 줄이는 전략이 필요합니다. 또한, MLOps(Machine Learning Operations)와 AIOps(Artificial Intelligence for IT Operations)는 Agentic AI 시스템의 배포, 모니터링, 유지보수를 자동화하고 최적화하는 데 필수적인 요소입니다. 이는 데이터 흐름의 투명성을 확보하고, AI 모델의 성능을 지속적으로 관리하는 데 기여하며, 결국 Agentic AI의 성공적인 운영을 위한 핵심적인 인프라 기반을 제공합니다.

Agentic AI 시대의 데이터 거버넌스와 품질 관리의 중요성

Agentic AI의 등장은 데이터 거버넌스와 데이터 품질에 대한 기업의 인식을 완전히 바꾸어 놓았습니다. AI가 자율적으로 결정을 내리는 시대에는 ‘왜 그런 결정을 내렸는지’ 설명할 수 있는 투명성과, 그 결정이 올바른 데이터에 기반했는지 확인할 수 있는 신뢰성이 무엇보다 중요합니다. 만약 Agentic AI가 잘못된 데이터로 학습하거나, 편향된 정보를 바탕으로 행동한다면, 이는 기업에 치명적인 결과를 초래할 수 있습니다. 68%의 기업이 Agentic AI에 투자할 계획임에도 불구하고, 실제 배포는 19%에 머무는 이유도 바로 여기에 있습니다. 기업들은 망설이는 것이 아니라, 거버넌스, 설명 가능성(explainability), 데이터 품질이라는 세 가지 중요한 축을 먼저 단단히 다지려는 의지를 보여주고 있습니다.

실무에서 데이터 거버넌스는 단순한 규제 준수를 넘어, 데이터의 생명주기 전반에 걸쳐 신뢰성을 확보하는 과정입니다. 데이터 수집 단계부터 저장, 처리, 분석, 활용에 이르기까지 모든 과정에 대한 명확한 정책과 책임이 수반되어야 합니다. 특히 Unity Catalog와 같은 통합 거버넌스 솔루션은 데이터, 분석, AI 자산 전반에 걸쳐 일관된 접근 제어와 감사 기능을 제공하여 신뢰할 수 있는 데이터 환경을 구축하는 데 큰 도움이 됩니다. 이와 더불어, 기업의 50% 이상이 분석 현대화와 데이터 투명성을 최우선 과제로 삼는다는 통계는 데이터 거버넌스 강화가 Agentic AI 성공의 핵심임을 명확히 보여줍니다. 데이터 품질을 높이기 위한 AI 기반 데이터 관리 도구의 도입도 필수적입니다. 67%의 기업이 이러한 도구를 활용하여 데이터 lineage, observability, 데이터 처리 속도를 향상시키고 있습니다. 이는 데이터 파이프라인의 건전성을 확보하고, Agentic AI가 항상 최상의 데이터를 바탕으로 판단할 수 있도록 지원하는 핵심 전략입니다.

지속 가능한 AI 성장을 위한 리더십과 전략적 통합

생성형 AI에서 Agentic AI로의 전환은 단순한 기술의 진보를 넘어 기업의 운영 방식과 IT 인프라 전략 전반에 걸쳐 근본적인 변화를 요구합니다. 이 변화의 핵심은 ‘실험’을 넘어 ‘실행’으로 나아가는 리더십입니다. CIO, CTO, CDO와 같은 데이터 및 IT 리더들은 이제 기존에 구축된 견고한 데이터 파운데이션 위에서 데이터, 거버넌스, AI를 유기적으로 통합하고 조율하는 역할을 수행해야 합니다. Databricks 보고서에 따르면, 세계 최대 기업 중 32%가 이미 “데이터 고성과자”로 분류되며, 이들은 이러한 통합 전략을 통해 AI의 확장과 실제적인 비즈니스 임팩트를 달성하고 있습니다.

따라서 우리는 더 이상 누가 먼저 AI 기술을 도입하는지에 초점을 맞출 때가 아닙니다. 중요한 것은 누가 데이터 전략, 거버넌스, 그리고 AI 기술을 가장 효과적으로 통합하여 비즈니스 전반에 걸쳐 지속 가능하게 확장할 수 있는가입니다. IT 인프라 전문가는 이러한 전략적 통합의 최전선에 서서, 기술적 역량을 바탕으로 데이터 환경의 안정성과 확장성을 확보해야 합니다. 이는 단순히 최신 기술을 도입하는 것을 넘어, 데이터의 본질적인 가치를 이해하고, 신뢰할 수 있는 시스템을 구축하며, 변화하는 비즈니스 요구에 민첩하게 대응하는 능력을 의미합니다. 이 복잡한 여정에서 우리 인프라 전문가들의 역할이 그 어느 때보다 중요하다고 생각합니다.

참고: From Generative to Agentic AI – Databricks Blog, 2025