ELK Stack으로 로그분석 시각화하기 - 1. 개념

 

1. ELK란?

3가지 데이터 분석 Process의 약어.

여기서 데이터를 수집하는 beats 까지 합쳐서, ELK Stack이라 부른다.

 

- Elastic Search

- Logstash

- Kibana

 

+beats

 

 

 

2. 각 단계별 역할

1)  beats : 데이터를 수집하는 역할.

              네트워크 패킷, OS 이벤트, 로그 파일 등 다양한 데이터 수집가능

 

 2) logstash : 데이터 정제, 가공.

                  beats로부터 수집된 다양한 데이터에 의미를 부여함.

                  비정형 데이터를 미리 부여한 규칙(ex> 정규식 등)에 따라 Key / Value 형태의 정형데이터로 만듦

 

3) Elastic search : 데이터를 찾기 쉽게 인덱싱하고 저장

 

4) Kibana : 데이터를 분석하고 시각화

 

5) 일반적으로 여기에 메시지큐인 Kafka를 더해 분산환경에서 효과적인 데이터 처리를 한다.

 

 

 

3. 빠른 설치 (오늘은 여기까지)

 

1) ELK Stack

www.elastic.co/kr/downloads/

Elastic 제품을 다운로드 | Elastic

2) Kafka

kafka.apache.org/

Apache Kafka