T-RIVET-Rive
Back to Security Portfolio
Log Analysis / Infrastructure

ELK Stack 구축

대용량 로그 처리를 위한 아키텍처 개선

ELK StackLog AnalysisInfrastructure

역할

정보보안 리더 (CISO)

소속 / 연도

MOIN / 2024.11 ~ Present

프로젝트 추진 배경 및 목표

Splunk 라이선스 비용 증가에 따른 대용량 VPC Flow Log의 장기 보관 체계 마련 필요 Splunk는 데이터 유입량에 따라 라이선스 비용이 책정되나, VPC Flow Log는 대용량 네트워크 트래픽 전체를 기록하여 데이터량이 매우 큼

솔루션 선정 이유

OpenSearch보다 커뮤니티가 활성화되어 있어 문제 해결 시 참고 자료가 풍부함 쿼리 검색 성능이 우위에 있으며, 특히 대용량 데이터 aggregation에서 성능 차이가 명확함 Kibana 대시보드 구성이 직관적이고 시각화 옵션이 다양함

도입 요구 기술 및 인프라

AWS S3AWS SQSLogstashElasticsearchKibanaAWS EC2

관련 법규 및 컴플라이언스

  • •전자금융감독규정 제13조: 로그 기록을 1년 이상 보존해야 함
  • •전자금융감독규정 제14조: 정보시스템에 대한 상시 모니터링 및 자원 감시 체계 구축

상세 설계 및 수행 내용

  • 1

    데이터 파이프라인 구축: VPC Flow Logs → S3 자동 저장, S3 Event Notification → SQS 메시지 전송, Logstash SQS Input Plugin으로 데이터 수집

  • 2

    AWS SQS 파이프라인 설계의 목적: 대량 로그 유입 시 SQS를 중간 버퍼로 사용하여 시스템 자원 과점유 방지 및 안정성 확보

  • 3

    ELK Stack 구성: Elasticsearch(저장/인덱싱), Logstash(파싱/전송), Kibana(실시간 모니터링 대시보드)

기대 효과 및 수행 결과

  • Splunk 대비 연간 운영 비용 대폭 절감

  • 실시간 모니터링으로 이상 트래픽 즉시 탐지 및 제14조 규정 준수

  • Kibana 대시보드로 네트워크 트래픽 가시화