시작하면서 카프카를 설치하기에 앞서, 이전에 카프카에 대해 소개했던 글을 먼저 읽으시길 바랍니다. 그리고 카프카를 설치하는 방법은 공식 사이트에서 잘 소개되어 있습니다. 위 글을 따라서 진행해도 크게 무리는 없으나 어디까지나 가장 기초적인 수준이고, 이전에 주키퍼 클러스터를 구축했으므로 카프카와 주키퍼를 연동하여 클러스터를 만드는 것까지 소개하겠습니다. 설계하기 우선 장치 dim, oim, jim 3개를 가지고 어떻게 브로커 서버를 구성할 지 생각해봅니다. 지금은 각 필드명이 무슨 의미인지 알 필요는 없습니다. 다만 이전에 만든 주키퍼 클러스터에 대한 정보를 가져와야 되고, broker.id를 각 서버가 고유하게 가진다는 점을 주목합니다. 나머지 포트 및 프로토콜에 대해서는 아래 'server.prope..

시작하면서 카프카는 2011년 미국 기업인 링크드인(Linkedin)에서 출발했습니다. 사실 그 전부터 기업들은 빅데이터를 모으기 위해 웹사이트에서 발생하는 여러 이벤트 정보들을 수집하기 시작했고, 더 빠르고 더 많은 데이터를 수집하고 저장할 수 있는 플랫폼에 대한 고민이 있었습니다. 그리고 카프카는 아래 5개의 동기와 함께 위의 욕구를 만족하는 플랫폼으로 현재까지 매우 사랑받고 있습니다. 거대한 데이터 스트림을 빠르게 처리(high-throughput)할 수 있다 오프라인 시스템에서 주기적으로(periodic) 데이터를 읽을 수 있도록 해야한다. 데이터 전송에 대한 지연 시간은 매우 작아야 한다. 분할 또는 분산되어 실시간으로 데이터를 처리한다. 실패(machine failures) 시 빠르게 이를 복..