2025년 5월 14일, AWS Summit Seoul 2025 첫 세미나로 ‘생성형 AI의 핵심 트렌드와 비즈니스 혁신’을 주제로 생성형 AI의 시작을 장식했습니다.
2022년 ChatGPT의 등장에서 시작된 열풍은 이제 비즈니스 전략의 한가운데로 들어왔습니다.
이 글에서는 제가 세션을 통해 이해한 생성형 AI의 트렌드와, 기업들이 지금 고민해야 할 방향에 대해 공유하고자 합니다.
생성형 AI의 2023년부터 2025년까지
| 연도 | 흐름 | 특징 |
|---|---|---|
| 2023 | PoC 과제의 해 | 기업들이 생성형 AI를 이해하고 실험하며, 작동 원리와 위험 요소를 탐색하던 시기 |
| 2024 | 실제 적용의 해 | 기술의 가능성을 넘어서 실제 업무에 도입하고, 아키텍처와 비용 측면에서 현실적인 적용 방안을 모색 |
| 2025 | 비즈니스 가치의 해 | 생성형 AI가 생산성, 자동화, 혁신의 핵심 도구로 자리잡으며, 전사적 확산과 조직 문화 변화를 논의하게 되는 단계 |
생성형 AI는 2023년 실험(PoC)을 거쳐, 2024년 실제 적용을 시작하고, 2025년에는 실질적인 비즈니스 가치를 창출하는 단계로 진화하고 있습니다.
생성형 AI의 활용사례에 대한 변화
| 연도 | 활용 방식 | 특징 | 참고 사례 |
|---|---|---|---|
| 2023 | RAG (검색 증강 생성) | – 생성형 AI의 필수적 기법 – Vector DB 고도화 및 확산 | – 스타벅스 내부 직원용 챗봇 – 법무 서류 작성 AI |
| 2024 | Multi-modal (멀티 모달) | – Pain point 제거 우선 적용 – 이미지를 이해하는 모델 등장 | – GS리테일: 이미지 분류 검색 – 카카오스타일: AI 코드 추천 |
| 2025 | Agentic AI (에이전트 기반 AI) | – Workflow 자동화 – Reasoning 기반 AI에이전트 등장 | – 오늘의집 ‘오집사’ – BMW: Root Cause Analysis |
생성형 AI는 단순 생성에서 벗어나, 이제는 업무를 ‘이해하고 실행하는’ AI 에이전트의 시대로 진입하고 있습니다.
특히 2025년에는 Agent 기반 AI가 실질적인 생산성을 끌어올리는 핵심 역할을 하게 될 것입니다.
스타벅스, GS리테일, BMW 등 실제 사례를 보면 이미 다양한 산업에서 이러한 변화가 현실이 되고 있음을 확인할 수 있습니다.
생성형 AI 서비스와 인프라
| 계층 | 구성 요소 | 설명 |
|---|---|---|
| [3] 애플리케이션 계층 | 🔹 Amazon Q Business 🔹 Amazon Q Developer | – AI를 실제 업무에 적용하는 SaaS 수준의 서비스 – 비즈니스 인사이트 자동화 / 개발 생산성 향상 |
| [2] 모델 활용 계층 | 🔸 Amazon Bedrock | – 다양한 생성형 AI 모델(API 기반) 제공 – AWS 및 타사 파트너 모델 활용 가능 (Amazon Nova, Anthropic, Meta 등) |
| [1] 인프라 계층 | 🔹 Amazon SageMaker 🔹 AWS Trainium / Inferentia 🔹 GPUs | – 모델을 직접 학습/추론하기 위한 인프라 – 고성능 컴퓨팅 리소스를 AWS에서 제공 |
AWS는 생성형 AI를 단순 모델 제공에서 그치지 않고, 모델 구축부터 실제 업무 자동화까지 완결된 아키텍처를 제공합니다.
모델을 처음부터 직접 만들고 싶은 경우엔 SageMaker를,
이미 훈련된 모델을 쉽게 쓰고 싶다면 Bedrock을,
생산성 향상을 위한 완제품 앱을 원한다면 Q 시리즈를 사용하면 됩니다.
AI Workload Lifecycle – AI 업무 수명주기
실제 성과와 가치를 얻기 위해서는 다음 4단계를 거쳐야 합니다.
- PoC (시범 적용) – 아이디어 검증
- Production (실제 운영) – 서비스에 적용
- Adoption (조직 내 확산) – 구성원이 실제 사용
- Value Realization (가치 실현) – 비즈니스 성과 창출
각 단계에는 고유한 **장애물(Hurdles)**과 **성공 조건(Milestones)**이 존재하며,
이를 체계적으로 관리하는 것이 AI 프로젝트의 성공률을 높이는 핵심입니다.
1. PoC 장애물과 성공 전략
생성형 AI를 도입하려는 많은 기업들이 PoC 단계에서 어려움을 겪고 있습니다.
실제로 AWS에 따르면, 생성형 AI PoC의 70%는 실패로 끝납니다.
| 장애물 | 성공 전략 |
|---|---|
| 성공 기준의 부재 | 성공 기준 정의 |
| 기술과 문제 간 불일치 | 기술과 문제의 정합성 확보 |
| 역량 부족 | 스킬과 복잡도의 매칭 |
| 집중력 결여 | 변수 최소화, 집중 실행 |
생성형 AI는 보여주기용 데모보다, 비즈니스 가치를 실현하는 데 초점을 맞춰야 합니다.
AWS는 이런 장애물을 극복할 수 있도록 다양한 툴과 파트너 네트워크, 프로토타이핑 팀, 그리고 베스트 프랙티스를 제공합니다.
PoC는 작게, 빠르게, 명확하게 시작하고, 실제 운영으로 확장 가능한지를 끝까지 검증하는 것이 진짜 성공입니다.
2. Production 장애물과 성공 전략
Production 전환을 막는 4가지 주요 장애물
| 장애물 | 설명 |
|---|---|
| 확장 불가능한 기술 선택 | PoC용으로 썼던 기술이 실제 운영환경에서 확장되기 어려움 |
| 운영/통합의 어려움 | PoC는 단순 연결로 충분했지만, 운영은 자동화·보안·조직 연계가 필요 |
| 데이터 품질 부족 | 깨끗하고 적은 데이터로 테스했지만, 현실의 데이터는 다양하고 복잡 |
| 보안·법률·조직 이슈 | 보안 정책, 내부 규정, 법적 제약 등으로 인해 도입이 조직적으로 지연되거나 거부됨 |
Production 성공을 위한 4가지 고려사항
| 성공 전략 | 설명 |
|---|---|
| 품질·지연·비용 3요소 고려 | PoC용으로 썼던 기술이 실제 운영환경에서 확장되기 어려움 |
| 데이터에 투자 | 좋은 데이터는 모델보다 중요. 데이터 품질 확보가 성공의 절반 |
| 애자일 방식 재정립 | 깨끗하고 적은 데이터로 학습했지만, 현실의 데이터는 다양하고 복잡 |
| 장애물도 PoC에 포함하라 | PoC 단계에서부터 실제 운영 환경에서 발생할 수 있는 리스크를 시뮬레이션해봐야 함 |
생성형 AI의 성공은 기술의 성능보다 현실적인 제약을 얼마나 준비했느냐에 달려 있습니다.
복잡성, 데이터, 비용, 조직 환경 등 수많은 변수 속에서, 작은 실패를 줄이고 지속 가능성을 확보하는 전략이 무엇보다 중요합니다.
결국, AI는 똑똑한 기술이 아니라 현명한 설계와 준비에서 성공이 결정됩니다.
3. Adoption 장애과 성공 전략
왜 도입 후에도 잘 쓰지 않는지 살펴보겠습니다.
지속적 활용의 4가지 장애물
| 장애물 | 설명 |
|---|---|
| 사용자 니즈와 AI 기능의 불일치 | 사용자 입장에서 쓸모없거나 실효성이 낮음 |
| 인간의 관성(Human Inertia) | 새로운 도구에 대한 저항감, 변화 회피 심리 |
| 일자리 위협 인식 | “AI가 내 일자리를 빼앗을까?”라는 불안감 |
| 잘못된 조직 설계와 인센티브 구조 | AI를 써도 보상이 없거나, 체계가 뒷받침되지 않음 |
지속 활용을 위한 4가지 전략
| 성공 전략 | 설명 |
|---|---|
| 불필요한 작업에 AI 집중 | 직원이 원하지 않는 반복 작업부터 AI로 자동화 |
| 사용 장려와 내부 챔피언 육성 | 적극 사용하는 직원에게 보상, 조직 내 ‘AI 전문’ 확보 |
| 경영진이 직접 사용하고 이끌기 | 조직 변화는 윗사람의 태도가 핵심 |
| 사람에 대한 투자 | 도구만 바꾸지 말고, 사람도 함께 성장시키기 |
AWS가 제공하는 지원
| 지원 방식 | 설명 |
|---|---|
| Working Backwards 방식 | 최종 사용자 관점에서 거꾸로 설계하는 방법론 |
| 채택 측정 도구 | 실제 사용률과 효과를 측정하고 분석할 수 있는 툴 |
| 고객 사례 공유 | 다른 기업들의 시행착오와 성공 사례 전파 |
| Center of Acceleration | 전문가 그룹을 통한 기술/전략/교육 지원 센터 운영 |
AI는 기술보다 사람이 먼저입니다. 도입보다 ‘정착’을 설계해야 지속적인 가치 창출이 가능합니다.
4. 가치 실현
‘가치 실현(Value Realization)’은 또 다른 과제입니다.
비즈니스 가치 실현을 가로막는 4가지 장애물
| 장애물 | 설명 |
|---|---|
| 명확한 가치 기준 부재 | 무엇이 ‘성공’인지 정의되지 않음. 성과를 평가할 기준이 모호함 |
| 고비용 구조 | 도입은 성공했지만, 규모 확장 시 비용이 급증함 |
| 구시대적 성과 측정 | 과거 방식의 KPI나 지표로는 AI의 효과를 측정하기 어려움 |
| 경직된 업무 프로세스 | AI에 맞는 유연한 프로세스 없이 기존 방식만 고수함 |
가치 실현을 위한 4가지 전략
| 전략 | 설명 |
|---|---|
| 가치 가설(Value Hypothesis) 수립 | “이 AI는 어떤 가치를 줄 것인가?”를 사전에 명확히 정의 |
| 비용을 고려한 아키텍처 구성 | 단기 비용보다 장기 비용 효율성을 고려한 설계 필요 |
| PoC → PoV(Proof of Value) | 단순히 동작하는 것(PoC)이 아닌, 실제 **가치 증명(PoV)**으로 관점 전환 |
| 지속적 개선 문화 | ‘1회성 프로젝트’가 아니라, 지속적인 개선과 반복 학습이 필요 |
AI의 성패는 기술 도입 자체가 아니라, 그것이 얼마나 현실적인 비용으로, 명확한 가치를 창출하느냐에 달려 있습니다. 도입보다 어려운 건 ‘지속적인 가치 실현’이며, 이를 위해선 측정 가능한 가치 가설과 유연한 개선 문화가 필수입니다.
AWS & Anthropic : Projcet Rainer
Project Rainier는 AWS의 AI 인프라 기술력을 상징하는 프로젝트로, 생성형 AI 훈련의 속도와 규모를 한 차원 끌어올린 초대형 클러스터입니다.
🌋 Project Rainier란?
- Amazon과 Anthropic이 협력해 구축 중인 초대형 AI 훈련 클러스터 프로젝트
- 수십만 개의 AWS Trainium2 칩이 사용됨
- 하나의 클러스터에서 수백 exaFLOPs(엑사플롭스: 10의 18제곱 연산/초)의 연산 능력 제공
💥 규모의 차별성
- 이 클러스터는 Anthropic이 이전에 사용하던 클러스터 대비 연산 성능이 5배 더 큼 “5x more compute than Anthropic’s next biggest training cluster”
🧠 의미와 맥락
- 이는 AWS가 생성형 AI 훈련 인프라 경쟁력에서 세계 최고 수준의 리더십을 확보하고 있다는 신호
- Trainium2는 AWS가 직접 설계한 고성능 AI 전용 칩으로, 대규모 모델 학습 시 속도, 효율성, 비용 절감 측면에서 큰 장점
- Anthropic(Claude 시리즈 모델 개발사)은 이 인프라를 통해 더욱 강력한 모델 개발 가능
🎯 마무리하며
생성형 AI의 성공은 기술을 아는 데서 시작되지 않습니다.
가치를 정의하고, 리스크를 감수하며, 사람을 성장시키는 일에서 시작됩니다.
AI는 단순히 자동화의 도구가 아니라,
우리가 어떻게 일하고, 배우고, 성장할지를 다시 설계하게 만드는 힘입니다.
지금이 바로,
PoC를 넘어 실질적인 변화와 혁신을 시작할 타이밍입니다.
감사합니다.
SA 김은진
