네트워크와 빅데이터의 만남, Packetpig

빅 데이터가 IT 전반에 화두로 떠오르면서 각 분야에 적용되기 시작했다. 네트워크 보안 분야에는 어떻게 적용할 수 있을까?

 대용량 데이터를 분석하는데 적합한 PIG 플랫폼은 이미 잘 알 고 있을것이다. 하위 프로젝트로 유명한 hadoop 이 있다. Packetpig는 오픈 소스 빅 데이터 보안 분석 솔루션이다. 

Packetpig 에 대한 간략한 소개 가 잘 정리 되어 있는 블로그이다. 내용을 요약하면 다음과 같다.

IDS (intrusion detection systems, 침입탐지시스템) 은 잘 알려진 공격의 시그니처를 찾거나 실시간으로 그것을 확인한다. Packetpig는 모든 패킷을 분석하여 네트워크 상의 모든 단일 패킷 로그를 확인하는 것이다. 현재 IDS 시스템과 비교하자면 모든 패킷을 캡쳐하는데 하둡을 사용한다는 것이다. 제로데이나 알려지지 않은 공격을 찾을 수도 있다고 한다. 시그니처 기반이 아닌 트래픽을 분석하여 공격자가 이미 네트워크를 장악하여 얼마나 많이 어떤 정보를 빼갔는지를 알 수 있기 때문이다. 다시 말해, Packetpig는 전체 패킷을 캡쳐하는 빅데이터를 다루는 네트워크 보안 모니터링(NSM) 툴셋이다. 그리고 Snort나 p0f와 함께 사용할 수 있다. 보다 깊이 패킷을 조사하여 파일 추출, 특징 추출, 운영체제 분류 등이 가능하다. 

패킷피그는 IDS를 대체 혹은 보강할 만한 강력한 솔루션으로 보인다. 사실상 IDS/IPS 에서 시그니처 기반이 아닌 모든 패킷을 조사하여 이상징후를 탐지하는것은 시스템에 영향을 주기 때문에 부담스러운 작업이 된다. 이런 의미에서 빅데이터의 핵심인 하둡기반으로 전체 패킷을 분석한다는 것 자체가 큰 이점이 될 수 있다고 생각한다. (상용화나 구현은 직접 해봐야 장/단점을 더 파악할 수 있겠죠.)

이 오픈소스를 활용한 시스템 구성을 도식화 한것이다. 그리고 스노트 알림을 구글 WebGL로 그래프한것과 각 로더에 대한 짧막한 소개는 다음 링크를 참고하면 된다.

http://blog.packetloop.com/2012/03/packetpig-open-source-big-data-security.html

http://bigsnarf.wordpress.com/2012/03/28/solutions-for-bigdata-ingest-of-network-traffic-analyzing-pcap-traffic-with-hadoop/