매월 수천만 명이 쓰는 대국민서비스 성능테스트, Amazon EC2 기반 JMeter 분산 부하 환경 설계와 운영

매월 수천만 명이 쓰는 대국민서비스 성능테스트, Amazon EC2 기반 JMeter 분산 부하 환경 설계와 운영
대국민서비스 성능테스트 Amazon EC2 기반 JMeter 분산 부하 환경 표지 배너
대국민서비스 성능테스트, Amazon EC2 기반 JMeter 분산 부하 환경

매월 수천만 명이 이용하는 대국민서비스의 성능을 검증하기 위해, 기관 내부에서는 만들 수 없는 실제 사용자의 접속 경로를 Amazon EC2 기반 JMeter 분산 환경으로 재현했습니다. 환경 구성과 그 이유, AWS 솔루션 Distributed Load Testing on AWS와의 비교까지 살펴보겠습니다.

목차

  1. 1. 프로젝트 개요
  2. 2. 성능테스트란?
    2.1 성능테스트의 종류
  3. 3. AWS 아키텍처와 JMeter 구성
    3.1 구성 시 고려사항
    3.2 JMeter 분산 모드 설정
  4. 4. 성능테스트 수행 절차
  5. 5. Distributed Load Testing on AWS와의 비교
    5.1 솔루션 개요와 아키텍처
    5.2 이번 프로젝트 구성과 비교
  6. 6. 맺으며
  7. 자주 묻는 질문
  8. 참고 자료

1. 프로젝트 개요

2026년 10월, 대국민서비스를 운영하는 K기관의 성능테스트를 수행했습니다. 대상은 매월 수천만 명이 웹과 앱으로 이용하는 서비스입니다.

해당 기관의 서비스는 특정 상황에서 접속이 급증하는 것이 특징입니다. 국민의 관심이 집중되는 시점이 발생하면 평소의 몇 배에 이르는 사용자가 해당 서비스에 동시에 접속합니다. 이러한 특징 때문에 서비스의 가용성을 미리 확인하는 성능테스트를 정기적으로 수행하고 있습니다.

이번 테스트는 실제 사용자의 접속 경로인 인터넷과 CDN을 거쳐 서비스가 안정적으로 응답하는지 확인하는 데 목적을 두었습니다. 이 글에서는 이 테스트를 위해 구성한 부하 발생 환경과 그 운영 방법을 다루며, 테스트 결과는 다루지 않습니다.


2. 성능테스트란?

성능테스트는 시스템이 주어진 부하 조건에서 얼마나 빠르고 안정적으로 동작하는지 측정하고 검증하는 테스트입니다. 응답시간, 처리량, 자원 사용률, 오류율 같은 지표로 시스템이 목표 성능을 만족하는지 확인하고, 병목 지점과 처리 한계를 미리 찾아 운영과 개선의 근거로 삼습니다.

2.1 성능테스트의 종류

성능테스트는 무엇을 알고 싶은지에 따라 부하를 거는 방식이 달라집니다. 대표적인 성능테스트 방법은 다음과 같습니다.

종류 설명
Smoke Testing(스모크 테스트) 본 테스트 전에 아주 적은 부하로 짧게 실행해, 테스트 스크립트와 환경이 정상적으로 동작하는지 확인하는 테스트
Load Testing(부하 테스트) 예상되는 수준의 부하를 정해진 시간 동안 유지하면서, 응답시간, 오류율 등이 목표 기준 안에 드는지 확인하는 테스트
Endurance Testing(내구성 테스트) Load Testing과 비슷한 부하를 오랜 시간 유지하면서, 메모리 누수나 자원 고갈처럼 시간이 지나야 드러나는 문제를 확인하는 테스트
Stress Testing(스트레스 테스트) 부하를 점진적으로 높여 시스템의 임계점을 찾고, 한계에 닿았을 때 어느 구성 요소가 먼저 병목이 되는지 확인하는 테스트
Spike Testing(스파이크 테스트) 짧은 시간에 처리 용량을 넘는 급격한 부하를 가한 뒤, 가용성 유지 여부와 부하 해소 후 정상 상태로 복구되는지를 확인하는 테스트

3. AWS 아키텍처와 JMeter 구성

부하 발생 환경은 Amazon EC2 기반 JMeter 분산 구성(Controller 1대 + Worker 4대)으로 만들었습니다. 모든 인스턴스는 Private Subnet에 두고, 외부로 나가는 트래픽은 NAT Gateway 하나로 모았습니다.

대국민서비스는 대부분 DDoS 공격 등을 탐지해 차단하므로, 테스트 트래픽이 차단되지 않으려면 출발지 IP를 미리 허용 목록(Whitelist)에 등록해야 합니다. 그래서 부하 발생 서버(이하 부하기)마다 Elastic IP를 붙이지 않고 NAT Gateway로 출발지 IP를 하나로 고정했습니다. 이렇게 하면 IP 주소 1개만 등록을 요청하면 되고, 부하기를 늘리거나 다시 만들어도 등록한 IP는 바뀌지 않습니다.

대국민서비스 성능테스트 그림 1. AWS 부하 발생 환경 구성도
그림 1. AWS 부하 발생 환경 구성도

3.1 구성 시 고려사항

  • 전체 부하 계산: Controller의 지시에 따라 Worker 4대가 각각 테스트 계획 전체를 실행합니다. 따라서 전체 부하는 시나리오(jmx)에 설정한 스레드 수에 Worker 수를 곱한 값이 됩니다. 인터넷으로 나가는 트래픽은 모두 NAT Gateway의 Elastic IP 하나를 출발지로 해서 나갑니다.
  • NAT Gateway 동시 연결 한도: NAT Gateway는 IP 주소 하나당 같은 목적지(IP 주소, 포트, 프로토콜 조합)로 동시에 55,000개까지 연결할 수 있습니다. 그보다 많은 연결이 필요하면 NAT Gateway에 보조 IP 주소를 추가해야 하고, 허용 목록에 등록할 IP도 그만큼 늘어납니다. 테스트 중에는 Amazon CloudWatch의 ErrorPortAllocation 지표로 포트 할당 오류가 없는지 확인하는 것이 좋습니다.
  • 인스턴스 유형: 성능테스트 시나리오에 필요한 네트워크 대역폭과 부하기 사양을 고려해 c5.4xlarge(16 vCPU, 32GiB, 네트워크 대역폭 최대 10Gbps)를 선택했습니다.
  • 운영체제: Amazon Linux 2023을 사용했습니다. 기본 저장소에 없는 도구가 있어, nmon 같은 모니터링 도구는 설치 방법을 미리 확인해야 했습니다.

그 밖의 구성 요소별 설정은 아래 표에 정리했습니다.

구성 요소 설정 역할
Private Subnet Public IP 자동 할당 끄기 Controller/Worker 5대 배치
Public Subnet + Internet Gateway NAT Gateway 배치 NAT Gateway를 거친 부하 트래픽이 인터넷으로 나가는 경로
NAT Gateway + Elastic IP Zonal NAT Gateway 부하 트래픽의 출구, 출발지 IP를 하나로 고정
Amazon EC2 c5.4xlarge × 5, Amazon Linux 2023, gp3 100GiB JMeter Controller 1대, Worker 4대
Security Group 외부 인바운드 없음, 같은 Security Group끼리만 허용 Controller↔Worker RMI 통신만 허용
AWS Systems Manager Session Manager IAM Role에 AmazonSSMManagedInstanceCore 정책 연결, SSH/Key Pair 없이 콘솔에서 접속 서버 작업, 테스트 실행
Amazon S3 + S3 Gateway Endpoint Private Subnet에서 S3 Gateway Endpoint로 접근 테스트 스크립트 전달, 결과 파일 저장

3.2 JMeter 분산 모드 설정

JMeter 분산 모드에서는 Controller가 Worker에 테스트 실행을 지시하고, Worker는 결과를 다시 Controller로 보냅니다. 통신이 양방향이므로 사용하는 포트를 고정하고, 필요한 포트만 열었습니다.

  • Controller → Worker: 1099(RMI 레지스트리), 4000(Worker 엔진)
  • Worker → Controller: 60000~60002(결과 회신)

설정 파일은 역할에 따라 다르게 구성했습니다.

# Worker 4대: bin/user.properties
server_port=1099
server.rmi.localport=4000
server.rmi.ssl.disable=true

# Worker 4대: bin/system.properties
java.rmi.server.hostname=<자기 Private IP>

# Controller: bin/user.properties
remote_hosts=<worker1 IP>:1099,<worker2 IP>:1099,<worker3 IP>:1099,<worker4 IP>:1099
client.rmi.localport=60000
server.rmi.ssl.disable=true

# Controller: bin/system.properties
java.rmi.server.hostname=<Controller Private IP>

server.rmi.ssl.disable=true는 RMI 통신의 SSL을 끄는 설정으로, 이 값을 넣지 않으면 JMeter 4.0부터 기본 적용되는 SSL 때문에 RMI용 키 저장소(keystore)를 만들어 모든 노드에 복사해야 합니다.

특히 주의할 설정은 java.rmi.server.hostname입니다. Worker와 Controller 모두 bin/system.properties에 자기 Private IP를 지정해야 합니다. 이 값을 빠뜨리면 자기 주소를 127.0.0.1로 알려 주어 Controller와 Worker가 서로 연결하지 못할 수 있습니다. Controller도 Worker가 보내는 결과를 받는 쪽이기 때문에 같은 설정이 필요합니다.

# Worker 실행
nohup ./jmeter-server > ~/jmeter-server.out 2>&1 &

# Controller 실행
./jmeter -n -t scenario.jmx -r -j run.log

실행 명령에서 참고할 점은 다음과 같습니다.

  • -l 옵션을 쓰지 않은 이유: 결과 jtl은 시나리오(jmx) 안의 Simple Data Writer 2개(전체 결과, 오류 결과)가 기록합니다. -l을 함께 쓰면 같은 결과를 담은 파일이 하나 더 생깁니다. 분산 모드에서는 Worker가 리스너마다 결과를 따로 보내므로, 리스너는 꼭 필요한 것만 두는 것이 좋습니다.
  • 결과 회신 포트: Controller는 Worker 수와 관계없이 client.rmi.localport부터 최대 3개 포트(60000~60002)를 엽니다. Worker가 4대여도 이 범위만 열면 됩니다.

부하기 환경 구성 시 고려사항은 다음과 같습니다.

  • Java 호환성: 사용할 JMeter 버전이 지원하는 Java 버전 확인(JMeter 5.6.x는 Java 8 이상, 다음 메이저 릴리스부터는 Java 17 이상 필요)
  • 버전 통일: Controller와 Worker에 같은 버전의 JMeter와 Java 설치
  • 부하기 모니터링: 각 부하기에서 nmon으로 CPU, 메모리, 네트워크 기록

4. 성능테스트 수행 절차

클라우드에 부하 환경을 구성해 성능테스트를 진행할 때는 일반적으로 아래 순서를 따릅니다. 출발지 IP가 정해져야 허용 목록 등록을 요청할 수 있듯이, 각 단계는 앞 단계의 결과를 전제로 진행됩니다.

단계 수행 내용
1. 사전 점검 필요한 부하기 사양과 대수를 정하고, 계정의 On-Demand vCPU 한도(Service Quotas)가 충분한지 확인
2. 환경 구성 VPC, NAT Gateway, IAM Role, Security Group, EC2 생성 후 JMeter 설치와 분산 모드 설정
3. 네트워크 확인 출발지 IP가 NAT Gateway의 Elastic IP인지, 대상 도메인 DNS 조회와 포트 연결, Controller와 Worker 간 통신 포트 확인
4. 대상 기관 협의 출발지 IP 허용 목록 등록 요청, 테스트 일정 공유
5. Smoke Testing 적은 부하로 짧게 실행해 분산 실행과 결과 수집이 정상인지 확인
6. 본 테스트 목적에 맞는 방식(Load Testing, Stress Testing 등)으로 시나리오 실행
7. 결과 집계 결과 파일(jtl)을 반출해 호출 건수, 오류율, 응답시간 등을 집계
8. 정리 테스트 사이에는 EC2 Stop, 모든 테스트 종료 후 EC2 Terminate, NAT Gateway 삭제, Elastic IP 릴리스, 남은 EBS 볼륨 삭제

테스트 실행 시각은 대상 기관과 공유하는 것이 좋습니다. 기관이 이 시각을 기준으로 APM과 서버 로그를 맞춰 보면, 클라이언트 측 결과와 서버 측 지표를 함께 분석할 수 있습니다.

테스트 URL에 동적 파라미터가 있다면, 본 테스트 전에 Smoke Testing으로 정상 응답이 오는지 반드시 확인해야 합니다.


5. Distributed Load Testing on AWS와의 비교

5.1 솔루션 개요와 아키텍처

AWS 솔루션 라이브러리에는 부하 테스트용 솔루션 Distributed Load Testing on AWS(이하 DLT)도 있습니다. DLT는 AWS가 제공하는 오픈소스 솔루션으로, 부하 발생 서버를 직접 준비하고 관리하지 않아도 웹 콘솔에서 테스트 시나리오를 만들고 실행해 대규모 동시 사용자 부하를 재현할 수 있습니다.

대국민서비스 성능테스트 그림 2. Distributed Load Testing on AWS 아키텍처
그림 2. Distributed Load Testing on AWS 아키텍처(출처: AWS 공식 문서)

DLT의 구성은 크게 세 영역으로 나뉩니다.

  • 콘솔 및 인증: 웹 콘솔에서 테스트를 만들고 실행하며, Amazon Cognito가 접근을 인증합니다.
  • 제어 영역: Amazon API Gateway와 AWS Lambda가 테스트를 관리하고 AWS Step Functions가 실행을 조율합니다. 시나리오와 결과는 Amazon S3와 Amazon DynamoDB에 저장합니다.
  • 부하 발생 영역: 선택한 리전마다 Amazon ECS on AWS Fargate Task가 부하를 발생시키고, 결과와 로그를 S3와 Amazon CloudWatch로 보냅니다.

앞에서 설명한 EC2 구성과 비교하면, Worker가 맡던 부하 발생은 Fargate Task가, Controller가 맡던 실행 조율과 결과 취합은 Step Functions와 Lambda가 맡는 구조입니다.

그 밖의 기술적인 특징은 다음과 같습니다.

  • 배포: AWS CloudFormation 템플릿으로 배포합니다.
  • 테스트 유형: JMeter, k6, Locust 스크립트와 단일 HTTP 엔드포인트 테스트를 지원합니다. 기본값인 Standard 모드에서는 컨테이너에 설치된 오픈소스 테스트 자동화 프레임워크 Taurus가 테스트를 실행합니다.
  • 부하 설정: 기본값인 Standard 모드에서는 스크립트에 정한 동시 사용자, 램프업 같은 부하 설정이 DLT 화면에서 정한 값으로 덮어쓰입니다. v4.3.0부터 미리 보기로 제공되는 Native 모드에서는 스크립트에 정한 부하 설정대로 실행됩니다.

5.2 이번 프로젝트 구성과 비교

이번 테스트를 DLT로 진행했다면 발생했을 예상 비용과 산출물을 비교해 보겠습니다. 비교 기간은 실제로 부하를 건 이틀(본 테스트 18회, 램프업 포함 실행 시간 합계 약 3시간 10분)입니다.

구분 EC2 + JMeter Distributed Load Testing on AWS
준비 약 $4.8 약 $3.5~7.5
수행 약 $123.3 약 $122.1
합계 약 $128.1 약 $126~130

계산 기준

  • ※ 계산 범위: 테스트한 이틀. 표의 수행은 그날 첫 실행부터 마지막 실행 종료까지, 준비는 이틀 중 나머지 시간(첫 실행 전과 마지막 실행 후)입니다.
  • ※ 단가: AWS 공식 요금 페이지의 서울 리전(ap-northeast-2) On-Demand 가격. c5.4xlarge 시간당 $0.768, Fargate vCPU 시간당 $0.04656, GB 시간당 $0.00511, NAT Gateway 시간당/GB당 $0.059, gp3 GB-월 $0.0912, Elastic IP 시간당 $0.005.
  • ※ EC2 + JMeter: c5.4xlarge 5대를 실제 부하를 건 약 3시간 10분 동안만 켜고, 실행 사이에는 중지(Stop)한 것으로 계산했습니다. 인스턴스마다 gp3 100GiB 1개를 포함했습니다.
  • ※ DLT: 솔루션 자체 비용의 대부분을 차지하는 AWS Fargate(Linux/x86) 사용 시간으로 추정했습니다. Worker 4대와 같은 총량인 64 vCPU/128GB(DLT 기본 Task 2 vCPU/4GB 기준 32개)를 같은 시간 동안 실행한 것으로 잡았고, 나머지 구성 서비스는 이 규모에서 금액이 작아 고정비 약 $1~5로 묶었습니다.
  • ※ NAT Gateway(두 방식 공통): 가용 영역 단위(Zonal) 1개와 Elastic IP 1개. 데이터 처리량(1,780.65GB)과 인터넷 송신은 AWS Cost Explorer에서 확인한 실제 사용량을 썼고, DLT도 같은 VPC의 NAT Gateway 뒤에 둔다고 보고 같은 값을 넣었습니다.

EC2 + JMeter(약 $128)와 DLT(약 $126~130)의 비용은 비슷합니다.

비용이 비슷하다면 선택 기준은 필요한 결과 데이터와 운영 방식입니다. 테스트 환경과 목적에 맞춰 고르면 됩니다.

  • Distributed Load Testing on AWS: 라벨별 집계 결과만으로 충분하다면, 부하기를 직접 구성하지 않고 웹 콘솔에서 빠르고 편리하게 성능테스트를 진행할 수 있습니다. 요청 건별 결과 파일(jtl)도 S3에 저장되지만 Task별로 나뉘어 있어, 건별 분석을 하려면 직접 내려받아 합쳐야 합니다.
  • EC2 + JMeter: 이번 프로젝트처럼 요청 건별 Raw 데이터(jtl)로 부하기별 응답시간 비교, URL별 응답 크기 분포, 실패 사유별 집계를 분석하거나 nmon으로 부하기 자원까지 봐야 한다면, 성능테스트 환경을 직접 구성하는 쪽이 맞습니다.
항목 EC2 + JMeter Distributed Load Testing on AWS
결과 데이터 요청 건별 Raw 데이터(jtl)를 Controller 한곳에 저장 라벨별 집계 XML 자동 저장. 요청 건별 jtl도 Task별로 S3에 저장
부하기 모니터링 nmon(서버별, 초 단위) CloudWatch Container Insights(ECS 클러스터 단위)
출발지 IP 고정 NAT Gateway NAT Gateway(기존 VPC 지정)
과금 방식 인스턴스를 켜 둔 시간 Task가 실행된 시간
준비 작업 설치, 분산 설정 직접 CloudFormation 배포와 웹 콘솔

6. 맺으며

대용량 트래픽을 발생시켜야 하는 대국민서비스의 성능테스트는 기존 On-Premises 환경만으로 수행하기 어려울 수 있습니다. 한시적인 테스트를 위해 대규모 부하기와 회선을 상시 보유하기 어렵고, 실제 사용자처럼 인터넷 구간과 CDN, 보안 장비를 거치는 외부 환경에서 부하를 발생시키기도 어렵습니다.

AWS를 활용하여 두 가지 방식으로 해결할 수 있습니다.

  • AWS 솔루션 활용: 집계 결과만으로 충분하다면 Distributed Load Testing on AWS처럼 AWS가 제공하는 솔루션으로 부하기를 직접 구성하지 않고도 빠르게 테스트할 수 있습니다.
  • 커스텀 환경 구성: 이번 프로젝트처럼 요청 건별 Raw 데이터(jtl)를 한곳에 모아 바로 분석하거나 부하기를 서버별로 모니터링해야 한다면, Amazon EC2에 JMeter를 올려 목적에 맞는 성능테스트 환경을 직접 구성할 수 있습니다.

사용한 만큼만 비용을 내는 클라우드의 과금 방식도 성능테스트와 잘 맞습니다. 성능테스트용 부하 자원은 상시로 필요한 것이 아니라 테스트 기간에만 필요하므로, 장비를 구매해 유지하는 대신 필요할 때 구성하고 테스트가 끝나면 정리하면 됩니다.


자주 묻는 질문

Q. 비용이 가장 많이 발생하는 항목은 무엇인가요?

NAT Gateway 데이터 처리 요금입니다. 이번 구성에서는 이틀 합계 약 $128 중 약 $105(1,780.65GB × $0.059)로 전체의 약 82%를 차지했고, 그다음이 EC2 사용 요금이었습니다.

NAT Gateway 데이터 처리 요금은 NAT Gateway를 지나는 트래픽량에 비례합니다. Worker마다 Elastic IP를 붙여 Public Subnet에 두면 이 요금은 발생하지 않지만, 허용 목록에 등록할 IP가 Worker 수만큼 늘고 부하기가 공인 IP를 갖게 됩니다. 이번에는 등록할 IP를 하나로 고정하는 쪽을 선택했습니다.

EC2는 켜 둔 시간만큼 과금되므로 테스트가 끝날 때마다 Stop 상태로 두는 것이 좋습니다. 다만 EBS는 인스턴스를 중지해도 용량만큼 계속 과금됩니다. NAT Gateway와 Elastic IP도 존재하는 동안 계속 과금되므로, 모든 테스트가 끝나면 바로 정리해야 합니다.

Q. Worker는 몇 대가 적당한가요?

목표 부하보다 부하기의 한계가 먼저 오지 않을 만큼입니다. 테스트 중 부하기의 CPU, 메모리, 네트워크를 nmon 등 모니터링이 가능한 수단으로 함께 보고, 여유가 줄어들면 Worker를 늘립니다. 이번에는 성능테스트 시나리오에 맞춰 c5.4xlarge Worker 4대로 구성했습니다. Worker가 늘수록 Controller가 받는 결과 트래픽도 늘어난다는 점도 함께 고려해야 합니다.

Q. SSH 없이 작업하기 불편하지 않았나요?

Session Manager만으로 설치, 실행, 로그 확인을 모두 했습니다. SSH용 인바운드 포트를 열지 않아도 되고, 키 파일을 관리할 필요도 없었습니다. 관리해야 할 접속 지점과 자격 증명이 줄어든 만큼, 포트 노출이나 키 유출로 인한 보안 사고도 예방할 수 있습니다. 결과 파일은 EC2에서 Amazon S3로 전송한 뒤, S3에서 내려받았습니다.

Q. 부하기 출발지 IP는 왜 고정해야 하나요?

본문에서 설명한 것처럼 대국민서비스는 대부분 DDoS 공격 등을 탐지해 차단합니다. 부하 트래픽이 공격으로 판단되어 차단되지 않으려면 테스트 전에 출발지 IP를 허용 목록에 등록해야 합니다. 부하기를 Private Subnet에 두고 Elastic IP를 붙인 NAT Gateway로 내보내면 Worker 수와 관계없이 출발지 IP를 하나로 고정할 수 있습니다.

Q. 기존 JMeter 스크립트를 Distributed Load Testing on AWS에서도 쓸 수 있나요?

네. DLT는 JMeter 스크립트 업로드를 지원하므로 기존 스크립트를 올려 쓸 수 있습니다. 다만 기본값인 Standard 모드에서는 스크립트에 정한 동시 사용자, 램프업 같은 부하 설정이 DLT 화면에서 정한 값으로 덮어쓰이므로, 실행 전에 화면의 설정값을 다시 확인해야 합니다. 스크립트에 정한 부하 설정대로 실행하려면 Native 모드(v4.3.0부터 미리 보기로 제공)를 선택합니다.


참고 자료

Apache JMeter

Distributed Load Testing on AWS

Amazon VPC NAT Gateway

AWS 요금

본문의 도표와 설정 예시는 외부 공개 가능한 수준으로 비식별 처리했으며, 일부는 개념 전달을 위해 단순화했습니다.