[Kafka] 기본 개념

Kafka의 종류

Apache Kafka
  . 오픈 소스, 자유롭게 수정과 배포 가능

Confluent Kafka
  . Community License: 소프트웨어 수정, 재배포 가능하지만 Saas 형태로 서비스 제공하는 것은 금지됨
  . Enterprise License: 연간 구독형

 

데이터 파이프라인(Data Pipeline)이란?

중간에 사람의 개입 없이
데이터를 오염, 중복, 유실과 같은 결함 없이
수집, 저장, ETL(Extract, Transform, Load)이 가능하도록
일련의 흐름을 만들어 주는 과정

Event는 비즈니스에서 일어나는 모든 일(데이터)를 의미

. 웹사이트에서 무언가를 클릭하는 것

. 청구서 발행

. 송금

. 배송 물건의 위치 정보

. 택시의 GPS 좌표

. 센서의 온도/압력 데이터

Event Stream은 연속적인 많은 이벤트들의 흐름

. BigData의 특징을 가짐

. 비즈니스의 모든 영역에서 광범위하게 발생

. 대용량의 데이터(Big Data 발생)

Apache Kafka의 3가지 주요 특징

. 이벤트 스트림을 안전하게 전송: Publish & Subscribe

. 이벤트 스트림을 디스크에 저장: Write to Disk

. 이벤트 스트림을 분석 및 처리: Processing & Analysis

Apache Kafka의 사용 사례: Event(메시지/데이터)가 사용되는 모든 곳

. Messaging Syetem
. IOT 디바이스로부터 데이터 수집
. 애플리케이션에서 발생하는 로그 수집
. Realtime Event Stream Processing (Fraud Detection, 이상 감지 등)
. DB 동기화(MSA 기반의 분리된 DB간 동기화)
. 실시간 ETL(Extract-Transform-Loda)
. Spark, Flink, Strom, Hadoop과 같은 빅데이터 기술과 같이 사용

 

요약

. Apache Kafka는 흐르는 데이터를 처리하기 위한 플랫폼(Event-Streaming Platform)