카프카 (Apache Kafka) 1. 개요

시작하면서 카프카는 2011년 미국 기업인 링크드인(Linkedin)에서 출발했습니다. 사실 그 전부터 기업들은 빅데이터를 모으기 위해 웹사이트에서 발생하는 여러 이벤트 정보들을 수집하기 시작했고, 더 빠르고 더 많은 데이터를 수집하고 저장할 수 있는 플랫폼에 대한 고민이 있었습니다. 그리고 카프카는 아래 5개의 동기와 함께 위의 욕구를 만족하는 플랫폼으로 현재까지 매우 사랑받고 있습니다. 거대한 데이터 스트림을 빠르게 처리(high-throughput)할 수 있다 오프라인 시스템에서 주기적으로(periodic) 데이터를 읽을 수 있도록 해야한다. 데이터 전송에 대한 지연 시간은 매우 작아야 한다. 분할 또는 분산되어 실시간으로 데이터를 처리한다. 실패(machine failures) 시 빠르게 이를 복..

2021.01.13