1. Amazon BedRock 소개
Amazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI 및 Amazon과 같은 선도적인 AI 회사의 다양한 고성능 파운데이션 모델(FM)을 단일 API를 통해 제공하는 완전 관리형 서비스입니다.
*파운데이션 모델(FM) – 대규모 데이터셋으로 사전 학습되어 다양한 작업에 범용적으로 적용할 수 있는 딥러닝 기반의 인공지능 모델
즉, Bedrock은 여러 AI 회사에서 개발한 고성능 파운데이션 모델을 단일 API로 통합하여 제공함으로써, 사용자들이 다양한 작업에 필요한 AI 모델을 쉽게 접근하고 활용할 수 있게 해줍니다. 이를 통해 기업들은 복잡한 AI 인프라를 직접 관리할 필요 없이, 바로 사전 학습된 모델들을 사용해 AI 애플리케이션을 개발할 수 있습니다.
2024.09.30 기준 버지니아 북부 리전 기준 지원하는 파운데이션 모델은 다음과 같습니다.
| AI21 Labs | Amazon | Anthropic |
|---|---|---|
| Jamba 1.5 Large v1 | Titan Embeddings G1 – Text v1.2 | Claude v2.1 |
| Jamba 1.5 Mini v1 | Titan Image Generator G1 v2 | Claude v2 |
| Jamba-Instruct v1 | Titan Image Generator G1 v1 | Claude 3 Haiku v1 |
| Jurassic-2 Mid v1 | Titan Multimodal Embeddings G1 v1 | Claude 3 Sonnet v1 |
| Jurassic-2 Ultra v1 | Titan Text Embeddings V2 v2.0 | Claude 3 Opus v1 |
| Titan Text G1 – Express v1 | Claude 3.5 Sonnet v1 | |
| Titan Text G1 – Lite v1 | Claude Instant v1.2 |
| Cohere | Meta | Mistral AI | Stability AI |
|---|---|---|---|
| Command v14.7 | Llama 2 13B v1 | Mistral 7B Instruct v0.2 | SDXL 1.0 v1.0 |
| Command Light v14.7 | Llama 2 70B v1 | Mistral Large (24.02) 2402 | |
| Command R v1 | Llama 2 Chat 13B v1 | Mistral Small (24.02) 2402 | |
| Command R+ v1 | Llama 2 Chat 70B v1 | Mixtral 8x7B Instruct v0.1 | |
| Embed English v3 | Llama 3 70B Instruct v1 | ||
| Embed Multilingual v3 | Llaa 3 8B Instruct v1 | ||
| Llama 3.2 11B Vision Instruct v1 | |||
| Llama 3.2 1B Instruct v1 | |||
| Llama 3.2 3B Instruct v1 | |||
| Llama 3.2 90B Vision Instruct v1 |
2. Amazon BedRock 주요 기능
Amazon Bedrock을 사용하면 다음과 같은 작업을 수행할 수 있습니다.
- 프롬프트 및 구성 실험
Bedrock을 사용하면 다양한 기초 모델의 프롬프트를 실험할 수 있습니다. API를 통해 간편하게 각 모델의 성능을 비교할 수 있으며, 텍스트 기반 콘솔 또는 그래픽 인터페이스를 통해 다양한 프롬프트를 실험하고, 모델의 반응을 관찰하여 최적의 설정을 찾을 수 있습니다
- 데이터 소스를 사용하여 응답 생성 향상
Bedrock에서는 사용자가 데이터를 업로드하여 AI 모델의 응답을 풍부하게 할 수 있는 기능을 제공합니다. 기업이 특정 분야의 전문성을 강조하거나 특정 정보에 기반한 질문에 대한 정확한 답변을 얻고자 할 때, 해당 정보를 포함한 데이터 소스를 업로드하면 모델이 이를 참조하여 응답할 수 있습니다. 예를 들어, HR 정책, 제품 설명서 또는 고객 서비스 매뉴얼 등의 파일을 업로드하면, 사용자는 이러한 자료를 기반으로 한 질문에 대해 더 나은 품질의 응답을 얻을 수 있습니다.
일반적인 LLM(Large Language Models)에서는 최신 정보나 세부적인 내용에 대한 질문을 할 때, 기대하는 답변을 얻지 못하는 경우가 종종 발생합니다. 그 이유는 LLM이 사전에 학습된 데이터를 기반으로 작동하기 때문입니다. 모델이 학습한 시점 이후의 최신 정보나 학습 데이터에 포함되지 않은 세부적인 정보에 대해서는 정확한 답변을 제공하기 어렵습니다. 이러한 한계를 극복하기 위해 RAG(Retrieval-Augmented Generation)를 사용하게 됩니다. 기존의 언어 모델에 정보 검색(retrieval) 기능을 추가하여, 모델이 학습한 데이터 범위를 넘어서는 정보에 대해서도 효과적으로 답변할 수 있게 합니다.
Bedrock에서는 Knowledge Base를 활용하여 RAG를 지원합니다. 이 기능을 통해 AI 모델은 외부 데이터 소스에 접근하여, 사용자가 제공하는 추가 정보를 기반으로 더 정확하고 관련성 높은 응답을 생성합니다.
- 사용자 지정 학습 데이터로 모델 미세 조정
Bedrock은 사용자가 특정 도메인이나 특정 작업에 맞는 데이터를 제공함으로써 AI 모델의 성능을 더욱 향상시킬 수 있는 기능을 지원합니다. 사용자는 기존 모델에 맞춤형 데이터셋을 통해 미세 조정하거나, 지속적으로 사전 학습을 시키는 과정을 통해 모델의 매개변수를 조정하여 고유한 사용 사례에 맞게 최적화 할 수 있습니다.
- 애플리케이션의 효율성과 출력 최적화
Bedrock은 모델의 추론 비용을 줄이고 효율성을 높일 수 있는 다양한 옵션을 제공합니다. 사용자는 모델에 대한 프로비저닝 처리량을 구매하여 시스템 성능을 최적화하고, 필요에 따라 적절한 리소스를 할당받을 수 있습니다. 이 기능을 통해 보다 비용 효율적으로 사용할 수 있습니다.
- 사용 사례에 가장 적합한 모델 선택
Bedrock은 기본 제공 데이터 세트 또는 사용자 지정 데이터 세트를 사용하여 여러 모델의 출력을 평가할 수 있는 기능을 제공합니다. 이 과정에서 사용자는 다양한 모델이 특정 요구 사항에 어떻게 반응하는지를 비교하고 분석할 수 있습니다. 이를 통해 기업은 특정 비즈니스 요구에 가장 적합한 모델을 신속하게 결정하고 적용할 수 있습니다.
- 부적절하거나 원치 않는 콘텐츠 방지
Bedrock은 AI 모델이 생성하는 콘텐츠에 대해 안전 장치를 마련하여 부적절하거나 원치 않는 내용을 걸러낼 수 있는 기능을 제공합니다. 이 기능은 기업이 AI 솔루션을 사용할 때 발생할 수 있는 잠재적인 위험 요소를 줄이는 데 중요한 역할을 합니다. 내장된 가드레일 시스템은 사용자 정의 설정을 통해 특정 키워드나 문장을 필터링하여 안전하고 신뢰할 수 있는 AI 환경을 유지할 수 있도록 지원합니다.
3. Amazon BedRock 모니터링
Bedrock은 AWS CloudWatch와 통합되어 사용자가 AI 모델의 성능을 실시간으로 모니터링할 수 있도록 지원합니다. 이를 통해 모델의 호출 횟수, 호출 지연 시간, 클라이언트 측 오류 및 서버 측 오류 등을 효율적으로 관리할 수 있습니다.
Amazon Bedrock에서 제공하는 런타임 지표는 다음과 같습니다.
다음과 같이 Cloudwatch Console에서 Bedrock 관련 지표 들을 확인할 수 있습니다.
Bedrock은 AWS CloudTrail과 통합되어, 모든 요청과 관련된 세부 정보를 추적할 수 있습니다. Bedrock에 이루어진 요청, 요청이 이루어진 IP 주소, 요청한 사람, 요청 시기 및 추가 세부 정보를 확인 가능합니다.
이번 시간에는 BedRock 서비스에 대해서 살펴 보았습니다.
AWS 서비스에 관해 문의 사항이나 기술 지원이 필요하시면,
NDS Sales팀으로 연락 주시길 바랍니다.
SA 박영호