대용량 보안 로그와 감사 로그를 효율적으로 관리하려면 어떤 데이터베이스 구조가 필요할까요?

PetaSQL의 Column Store, Partitioning, 병렬 검색 기술을 통해 저장 공간 절감과 빠른 검색이 가능한 이유를 소개합니다.

DB 접근제어와 시스템 접근제어 솔루션은 매일 수많은 보안 로그(Security Log) 와 감사로그(Audit Log) 를 생성합니다. 

사용자 접속 기록, SQL 실행 이력, 명령어 수행 내역, 정책 변경 기록 등은 

기업의 보안 운영과 컴플라이언스 대응을 위해 장기간 보관해야 하는 중요한 데이터입니다.

하지만 매일 수억 건, 수십억 건 단위로 쌓여가는 대용량 로그를 운용하다 보면 

모든 IT 및 보안 담당자는 다음과 같은 심각한 난제에 직면하게 됩니다.

• 스토리지 비용의 폭발적 증가 : 장기 보관해야 하는 로그가 계속 누적되면서 스토리지 증설 비용이 기하급수적으로 늘어납니다.
• 검색 및 분석 속도 저하 : 데이터 규모가 커질수록 쿼리 조회 시간이 수십 분에서 수 시간까지 길어지며, 
• 긴급 보안 사고 발생 시 침해 사고 분석과 감사 대응이 지연됩니다.
• 디스크 I/O 병목 현상 : 대규모 데이터를 조회할 때 발생하는 디스크 입출력 병목으로 인해 전체 시스템 성능이 저하되는 현상이 발생합니다.

일반적인 비즈니스 업무 처리를 위해 개발된 범용 RDBMS는 

이러한 대용량 로그 데이터의 특성(단방향 대량 쓰기, 대규모 장기 보관, 특정 조건의 대량 조회)을 완벽히 소화하기 어렵고,

이러한 문제는 일반 업무 데이터를 처리하도록 설계된 범용 DBMS만으로 해결하기 쉽지 않습니다.

보안 솔루션에서 발생하는 대규모 로그를 효율적으로 저장하고 검색하기 위해서는 

일반적인 업무용 DBMS와는 다른 데이터 처리 구조가 필요합니다. 

웨어밸리는 이러한 요구사항을 바탕으로 20년 이상 축적한 데이터베이스 및 보안 기술을 집약해 

대용량 보안 로그 처리에 특화된 자체 DBMS PetaSQL을 개발했습니다.

대용량 보안 로그 처리에 특화된 순수 자체 개발 DBMS, 'Peta SQL'을 선보였습니다.

1. 10배(1/10) 저장 공간 절감의 핵심 : '중복 제거'와 고성능 압축

대용량 보안 로그를 효율적으로 관리하기 위한 첫 번째 과제는 물리적 저장 공간의

획기적인 단축입니다. PetaSQL은 로그 데이터가 가진 고유한 패턴을 분석하여 

강력한 중복 제거(Deduplication)와 최첨단 압축 기술을 유기적으로 결합했습니다.

보안 로그 데이터의 치명적 특성 : '극심한 반복성'

보안 로그와 감사 로그는 일반적인 트랜잭션 데이터와 달리 매우 높은 패턴 반복성을 보입니다.

접속 IP 주소, DB 계정명, 접근 솔루션 정책 ID, 수행 결과(Success/Fail) 등은 수만~수백만번 동일하게 반복됩니다.

사용자가 실행하는 SQL 문장이나 OS 명령어 역시 인자값(Value)만 약간 다를 뿐, 

전체적인 쿼리 구조와 텍스트 패턴은 매일 동일하게 발생합니다.

사전(Dictionary) 기반 중복 제거 기술

PetaSQL은 데이터가 디스크에 쓰여지는 시점에 이러한 반복 데이터를 즉시 포착합니다.

자주 등장하는 긴 문자열, 접속 정보, SQL 실행 패턴 등을 추출하여 사전(Dictionary) 인덱스 마핑 구조로 변환합니다.

실제 데이터 블록에는 수십 배 긴 텍스트 대신 정교하게 관리되는 최적화된 식별자(ID)만을 저장함으로써, 

불필요하게 낭비되던 데이터 중복을 근본적으로 제거합니다.

고성능 압축 알고리즘 적용

1차적으로 사전 인덱싱을 통해 중복이 제거된 데이터 블록에는 압축 및 해제 처리 속도가

독보적으로 빠른 기술의 알고리즘이 적용됩니다.

CPU 연산 과부하(Overhead)를 최소화하면서도 압축률을 극대화하여, 

대량의 로그가 실시간으로 유입되는 환경에서도 효율적인 압축 처리가 가능하도록 설계되었습니다.

결과: 기존 대비 스토리지 용량 90% 절감 (1/10 수준)

사전 기반 중복 제거와 고속 압축 알고리즘의 유기적 결합을 통해, 

동일한 양의 보안 로그를 저장하더라도 스토리지 공간을 최대 10분의 1로 대폭 아낄 수 있습니다. 

이는 곧 막대한 인프라 증설 비용의 절감으로 이어집니다.

2. 디스크 I/O 최소화로 구현한 '4배 빠른 고속 검색'

로그 검색 속도가 느려지는 근본적인 원인은 CPU 연산 속도보다 

상대적으로 훨씬 느린 디스크 입출력(Disk I/O) 병목 때문입니다. 

읽어야 할 데이터의 양이 많을수록 읽어오는 대기 시간이 길어집니다.

PetaSQL은 앞서 설명한 중복 제거 및 압축 기술을 통해 디스크에 저장되는 데이터의 물리적 볼륨을 1/10로 줄였습니다.

읽어야 할 물리적 데이터 양 자체가 획기적으로 줄어들었기 때문에, 

디스크 I/O 발생 빈도와 대기 시간이 대폭 감소하여 디스크 I/O 부담을 크게 줄일 수 있습니다.

디스크에서 추출하는 데이터 양이 최소화되는 구조 자체가 속도 향상의 가장 강력한 엔진이 됩니다.

여기에 더해 PetaSQL은 대용량 RDBMS 환경에서 원하는 데이터를 즉시 찾아낼 수 있는

4가지 고성능 검색 구조를 탑재했습니다.

① Time Partitioning (시간 기반 파티셔닝)

수년 치 쌓인 전체 데이터베이스를 처음부터 끝까지 스캔하는 무모한 방식 대신, 

데이터 입력 시점부터 시간 단위로 정교하게 파티션을 나눕니다. 

검색 시 조건에 해당하는 특정 기간의 파티션만 핀포인트로 선별 조회하여 불필요한 데이터 탐색을 완전 차단합니다.

② Dynamic Hash Index (동적 해시 인덱스)

대용량 감사 로그 테이블 간의 복잡한 Join 검색 시 성능 지연이 자주 발생합니다.

PetaSQL은 동적 해시 인덱스 구조를 적용하여 대규모 데이터 집합 간의 Join 처리 속도를 획기적으로 향상시켰습니다.

③ Bitmap Index (비트맵 인덱스)

접속 결과(성공/실패), 행위 유형, 사용자 권한, 접속 IP 등 카드 수가 적고(Low-Cardinality)

중복도가 높은 보안 로그 속성에 가장 최적화된 비트맵 인덱스를 구성하여 초고속 필터링을 지원합니다.

④ Multi-Core Parallel Search (다중 코어 병렬 검색)

대규모 병렬 처리(MPP)에 최적화된 내부 구조를 통해 서버에 탑재된 Multi-Core CPU 리소스를 풀 가동합니다. 

단일 쿼리를 여러 개의 독립적 작업으로 분할한 후 각 CPU 코어가 동시 병렬 탐색함으로써 처리 시간을 단축합니다.

내부 성능 테스트 검증

동일한 대용량 보안 로그 데이터셋과 복잡한 조건의 검색 환경에서 테스트한 결과, 

동일한 대용량 보안 로그 데이터셋과 검색 조건을 기준으로 내부 성능 테스트를 진행한 결과, 

기존 범용 RDBMS 대비 최대 4배 빠른 검색 성능을 확인했습니다.

※ 성능 결과는 테스트 환경, 데이터 규모 및 검색 조건에 따라 달라질 수 있습니다.

3. 엔터프라이즈 환경을 위한 고가용성과 강력한 보안성

PetaSQL은 대용량 로그의 저장과 검색 성능에만 집중한 것이 아닙니다. 

기업의 핵심 IT 자산을 다루는 데이터베이스로서 마땅히 갖춰야 할 

엔터프라이즈급 안정성과 강력한 자체 보안 기능을 완벽하게 지원합니다.

실시간 데이터 복제 (Replication) 기반 이중화 24시간 365일 무중단으로 운영되어야 하는 보안 시스템 특성을 고려하여 

실시간 데이터 복제(Replication) 기능을 지원합니다. 

메인 DB 서버에 장애가 발생하더라도 복제된 서브 DB로 즉시 서비스를 연계하여 

데이터 손실 없이 유연한 서비스 연속성(HA)을 보장합니다.

철저한 로그 데이터 자체 보안 체계 보안 로그 데이터 자체가 해킹이나 내부자에 의해 

위·변조되거나 유출된다면 솔루션으로서의 가치를 잃게 됩니다. 

PetaSQL은 엔진 차원에서 강력한 보안 기능을 내장하고 있습니다.

• Column 암호화: 주민등록번호, 계정 비밀번호, 민감 개인정보가 포함된 특정 컬럼만을 선별하여 고성능 암호화를 적용합니다.
• 데이터 위·변조 방지: 저장된 로그 데이터의 무단 수정, 삭제, 조작 시도를 차단하고 데이터의 완전성을 검증합니다.
• 암호화 백업: 백업 파일 유출 시에도 내용 확인이 불가능하도록 백업 데이터 자체를 암호화하여 보관합니다.

4. 웨어밸리 자체 개발 DBMS 도입이 제공하는 실질적 사업 가치

① 책임 일원화: 원스톱 통합 기술 지원 (One-Stop Technical Support)

PetaSQL은 보안 솔루션(Chakra Max 등)과 DBMS 엔진 모두를 웨어밸리가 직접 순수 자체

기술로 개발 및 관리합니다. 단일 창구를 통한 원스톱 지원 체계로, 

문제 발생 시 전문 엔지니어가 DB 엔진 내부부터 솔루션 로직까지 통합 분석하여 

신속하고 명확하게 원인을 해결합니다.

② TCO (총소유비용) 절감 및 라이선스 최적화

범용 코어당 라이선스 비용이 비싼 외산 DBMS를 보안 로그 저장용으로 도입하는 것은 기업에 엄청난 재정적 부담입니다. 

PetaSQL은 스토리지 사용량을 1/10로 단축시켜 하드웨어 도입 비용을 아껴줄 뿐만 아니라, 

보안 로그 처리에 특화된 자체 DBMS로서 도입 및 유지보수 비용 측면에서 획기적인 TCO 절감 효과를 제공합니다.

③ 법적 컴플라이언스 준수 완벽 대응

개인정보보호법, 전자금융감독규정, 정보통신망법 등 강화되는 법적 요구사항에 따라 

최소1년~3년 이상의 감사 로그 보관이 의무화되고 있습니다. 

PetaSQL을 활용하면 스토리지 용량 한계 걱정 없이 장기 보관 의무를 완벽히 준수할 수 있으며, 

보안 감사나 보안 점검 시 수년 전 로그도 수 초 내에 즉시 조회하여 제출할 수 있습니다.

자주 묻는 질문 (FAQ)

Q1. PetaSQL은 외산 엔진을 라이선스한 것인가요, 아니면 자체 개발 DBMS인가요?

PetaSQL은 웨어밸리가 20년 이상 쌓아온 데이터베이스 가공 및 보안 기술 노하우를 바탕으로 

엔진 내부 구조부터 로그 처리 알고리즘까지 순수 자체 기술력으로 개발한 자체 DBMS입니다. 

따라서 외부 라이선스 이슈에서 자유로우며,

고객의 요구사항과 최신 보안 패치에 빠르게 대응할 수 있는 강력한 기술적 자율성을 가지고 있습니다.

Q2. 저장 공간 10배(1/10) 절감 효과는 모든 운영 환경에서 동일하게 나타나나요?

압축 및 중복 제거 비율은 저장되는 로그 데이터의 형태와 중복 패턴에 따라 다소 차이가  있을 수 있습니다. 

하지만 DB 접근제어 및 시스템 접근제어 솔루션이 생성하는 보안/감사 로그는 IP, 계정, SQL 구조 등의 중복도가 매우 높기 때문에, 

실제 대다수 고객사 운영 환경에서 80~90% 수준(최대 10배)의 비약적인 디스크 용량 절감 효과가 확인되었습니다.

Q3. 로그 데이터가 수년 이상 쌓이면 초기 검색 속도가 떨어지지 않나요?

성능 저하가 거의 발생하지 않습니다. PetaSQL은 Time Partitioning 구조를 통해 전체

수십억 건의 데이터가 아닌, 사용자가 검색하고자 하는 특정 기간의 파티션 데이터만 선별하여 접근합니다. 

여기에 비트맵 인덱스, 동적 해시 인덱스, 다중 코어 병렬 검색(Multi-Core Parallel Search) 기술이 

유기적으로 작용하므로 데이터가 수년치 누적되어도 초기수준의 빠른 검색 속도를 유지합니다.

Q4. 기존에 사용 중인 타 시스템 및 데이터베이스와 연동이 가능한가요?

네, PetaSQL은 다양한 연동 인터페이스를 지원합니다. 

기존에 기업 내에서 운영 중인 SIEM(통합보안관제 시스템), 레거시 내부 시스템과 

유연하게 데이터를 주고받거나 통합 쿼리를 실행할 수 있습니다.

마무리

대용량 보안 로그와 감사 로그 관리의 핵심은 안정적인 DBMS 구조 기반 위에 

로그 데이터의 특성을 정확히 반영한 '중복제거' 및 '검색 최적화' 기술이 결합되는 것입니다.

웨어밸리가 자체 기술력으로 개발한 PetaSQL은 사전 기반 중복 제거와 고성능 압축을 통한

스토리지 공간 10배 절감, 디스크 I/O 최적화와 파티셔닝·병렬 처리 기술을 통한 검색 4배 고속화, 

그리고 완벽한 이중화 및 보안 체계를 모두 갖춘 대용량 로그 전용 DBMS입니다.

폭발적으로 증가하는 보안 로그의 스토리지 비용 부담을 줄이고, 

초고속 검색을 통해 보안 사고 대응 역량을 한 단계 끌어올리고 싶다면 

Chakra Max와 PetaSQL의 결합이 가장 완벽하고 효율적인 대안이 될 것입니다.

다음글예고

SQL 툴이 달라도 결재 정책은 하나로

Toad, Orange, DBeaver… 기업마다 사용하는 SQL 툴은 다릅니다.

그렇다면 어떤 툴을 사용하더라도 동일한 결재 절차를 적용할 수 있을까요?

다음 주에는 특정 SQL 툴에 의존하지 않고 SQL 실행에 대한 자동 결재와 접근통제를 적용하는 방법을 알아봅니다.