AI의 진화는 소프트웨어를 넘어 물리적 세계로 빠르게 확장되고 있습니다. 무분별한 AI 도입은 업무 시스템을 고도화하는 것이 아니라, 오히려 조직과 인간을 위협하는 역효과를 낳을 수 있습니다. 이 세션에서는 AI에이전트의 현재와 미래, 흑과 백을 알아보고 Datadog AI Agent Builder를 통해 주권과 판단은 사람이 쥐고, 실행만 AI에게 위임하는 — 진짜 AI를 다루는 법을 이야기합니다.
1. AI 에이전트 도입의 현주소와 명암
현재 많은 기업들이 AI 에이전트를 활용하고 있으며, 2025년 기준 기업의 AI 사용률은 88%에 다다르며 2028년에는 기업 의사결정의 15%가 AI에 의해 자율적으로 이루어질 것이라는 통계가 있습니다. 그러나 이러한 급격한 도입 뒤에는 자율성으로 인한 심각한 위험성이 도사리고 있습니다.
AI 도입 초기 때부터 발생했던 실제 사고 사례들을 기반으로 어떤 시사점들에 집중해야 할 지 살펴봅니다. 단순히 문제가 발생했으니 도입 자체를 막기 보다는, 적절한 가드레일과 함께 사용하여 업무의 질을 높이는데 AI를 적극적으로 활용하는 방향을 검토하는 것이 더 적절한 선택지일 수 있습니다.
문제가 생겼을 때 AI는 책임을 지는가?
그렇지 않다면, 이 AI의 주인은 누구인가?
2. AI 에이전트 도입 시 발생하는 4가지 주요 문제점
통계에 따르면 AI 도입 과정에서 다음과 같은 거버넌스 및 보안 공백이 발생하고 있습니다.
- 접근 제어 부재 (97%) : 적절한 제어 장치 없이 AI가 도입됨 (예: 임직원이 소스 코드를 LLM에 무분별하게 업로드)
- 가드레일 부재 (63%) : AI 에이전트가 다중 시스템에 접근할 때 규칙이나 규정이 없음
- 기밀 정보 유출 (60%) : 보안 취약점으로 인해 데이터가 외부로 유출될 리스크 직면
- 추가 비용 지출 ($670K) : 통제되지 않는 ‘섀도우 AI’나 보안 사고로 인해 평균적으로 막대한 비용 손실 발생
이러한 문제점들 없이 AI를 제대로 활용하기 위해서 필요한 해결책으로는 어떤 것이 필요할까요?
3. 해결책 : 하네스 엔지니어링(Harness Engineering)
일을 잘하게 만드는 ‘프롬프트 엔지니어링(Prompt Engineering)’만으로는 AI 에이전트의 돌발 행동을 막을 수 없습니다. 말을 통제하기 위해 마구(Harness)를 채우듯, AI 에이전트가 정해진 안전 구역 안에서만 움직이도록 제어 환경을 설계하는 ‘하네스 엔지니어링(Harness Engineering)’은 반드시 필요합니다.
🧠프롬프트 엔지니어링(Prompt Engineering)
- 목적 : AI에게 일을 더 잘, 똑똑하게 시키기 위한 기술
- 방식 : 프롬프트를 통해 (예: ‘너는 10년 차 회계사야’, ‘이 보고서를 요약해줘’ 처럼 AI의 능력과 답변의 품질을 높이는데 집중
- 한계 : AI가 가짜 정보를 진짜처럼 말하는 환각(Hallucination)을 일으키거나, 악의적인 질문(프롬프트 인젝션)을 받으면 통제력을 잃을 수 있음
🛡️하네스 엔지니어링(Harness Engineering)
- 목적 : AI 에이전트 분야에서 정해진 안전 구역(가드레일) 밖으로 벗어나지 못하도록 제어 환경과 틀을 설계하는 기술
- 방식 : AI에게 프롬프트 문장만 주는 것이 아니라, AI의 행동 반경, 접근 권한, 실행 단계를 정교한 시스템 구조(툴)로 묶는 것
- 구현 예시 :
- 권한 최소화(Action/Skill Control) : AI 에이전트에게 자연어로 명령을 내리더라도, 시스템 내부적으로는 사전에 정의된 ‘읽기(Read) API’만 호출할 수 있게 카탈로그화하여 묶어둡니다. AI가 갑자기 시스템을 ‘수정/삭제’할 수 없도록 권한 자체를 차단하는 방식입니다.
- 인간의 승인 단계 삽입(Human-in-the-loop) : AI가 자율적으로 판단을 내리더라도, 최종 결재나 시스템 반영 직전에는 반드시 사람(운영자)의 승인 단계를 거쳐야만 다음 단계로 진행되도록 파이프라인을 강제하는 구조입니다.
- 멀티 에이전트 교차 검증(Chaining & Evaluation) : 하나의 AI에게 모든 것을 맡기지 않고, ‘기획/설계 AI’, ‘실행 AI’, 그리고 이 결과가 맞는지 독립적으로 검증하는 ‘평가(Evaluator) AI’를 체인 형태로 엮어서 교차 검증을 할 수 있도록 합니다.
4. Datadog Agent Builder가 제공하는 5가지 안전장치
1. 데이터 보호(Managed AI) : OpenAI, Anthropic 등의 모델을 Datadog 내에서 바로 활용할 수 있으며, 이 모델들은 고객의 환경과 입력 데이터를 학습하지 않습니다.
2. 허용 범위 및 권한 제한 : AI 에이전트가 움직일 수 있는 범위를 철저히 통제합니다.
- 전역 규칙(Instructions) 지정 : 에이전트가 준수해야 할 규칙과 행동 강령을 명시합니다.
- 실행 권한(Action/Skill) 제어 : 에이전트에게 오직 ‘읽기(Read)’ 권한만 주거나 특정 API만 호출할 수 있도록 카탈로그화하여, 범위를 벗어난 자연어 요청은 자동으로 차단합니다.
- 연동 제어 : MCP(Model Context Protocol) 서버 토글 버튼을 통해 외부 시스템과의 연동을 쉽게 켜고 끌 수 있습니다.
3. Human-in-the-loop 게이트 : AI 에이전트가 자율적으로 분석을 수행하더라도, 실제 시스템에 액션(Action)을 취하기 전에는 슬랙(Slack) 등을 통해 사람에게 최종 승인을 받도록 단계를 구성합니다. 이를 통해 오작동이나 예기치 못한 사고를 방지합니다. 사람이 최종적으로 판단하고, AI는 실행만 할 수 있도록 설정합니다.
4. 멀티 에이전트 체이닝(Multi Agent Chaining) : AI는 스스로의 판단에 관대하므로 교차 검증이 반드시 필요합니다. 역할을 세분화한 여러 에이전트를 체인으로 연결합니다.
- 기획 에이전트(Planner) : 사용자의 요청을 분석하고 실행 계획을 수립
- 실행 에이전트(Generator) : 실제 액션을 수행하고 결과 수집
- 평가 에이전트(Evaluator) : 실행 결과에 환각이 없는지 최종 검증하여 Pass/Fail 판정
5. 감사 및 히스토리 관리 : AI 에이전트의 생각 과정과 실행 단계를 원본 데이터(Input/Output)로 투명하게 확인할 수 있는 Workflow 히스토리 뷰를 제공합니다. 또한 Jira, ServiceNow 등 외부 툴과 연동하여 감사 추적(Audit Trail)을 남기고 대시보드와 알림으로 관리할 수 있습니다.
5. 핵심 요약
- AI는 실행되지만, 책임지지 않습니다.
최신 기술 사용을 제한하지 말고 가드레일(하네스 엔지니어링) 적용방법을 고민하세요.
- AI는 스스로 판단하지만, 신뢰는 설계에서 나옵니다.
하네스 구성과 실행방법을 고민하는 대신 데이터독 위에서 만들어보세요.
- “AI + 자동화”가 커질수록 당신의 역할도 커집니다.
규정/규칙 생성/배포를 멈추고, 실행에 집중해보세요.
- AI는 준비됐습니다, 이제 당신의 차례입니다.
데이터독 Agent builder로 품질, 속도, 보안을 지금 바로 증명하세요.
본 블로그 글은 AWS Summit Seoul 세션 내용을 바탕으로 작성되었습니다.
Datadog 파트너사인 NDS는 다양한 업계의 클라우드 경험을 통해 서비스 도입과 함께 Datadog을 활용한 모니터링 구축에 도움을 드릴 수 있습니다.
관련하여 문의 사항이나 기술 지원이 필요하신 경우 NDS Sales팀으로 연락주시길 바랍니다. 감사합니다!
SA 김다연