Catatan Kafka Terbaru 2023

Setelah kurang lebih 2 tahun tidak berurusan dengan Apache Kafka, ternyata banyak hal yang berubah saat ini. Catatan ini sebagai pengingat, berlaku untuk versi minimum 3.40

Instalasi tidak lagi memerlukan ZooKeeper

Kafka saat ini menuju ke penggunaan tanpa bergantung pada ZooKeeper. Hal ini tentu sangat signifikan dan lebih memudahkan instalasi dan konfigurasi.

Instalasi Kafka masih sama dengan sebelumnya, hanya berbeda saat ini konfigurasi karena sudah tidak menggunakan ZooKeeper.

Download dan ekstrak

wget [link_kafka]

tar xzf [file_tar_kafka]

Edit configuration file

nano kafka_dir/config/kraft/server.properties

Generate random uuid dan setup uuid (versi terdahulu tidak ada step ini)

./kafka_dir/bin/kafka-storage.sh random-uuid

./kafka_dir/bin/kafka-storage.sh -t <uuid> <server_config_file> 

Start kafka server

./kafka_dir/bin/kafka-server-start.sh ./kafka_dir/config/kraft/server.properties

Catatan konfig penting Kafka

cleanup.policy : untuk menentukan log akan di-delete atau di-compact. Diset default pada broker, di adjust pada topic.

num.partitions : untuk menentukan jumlah partitions. Diset default pada broker, di adjust pada topic. Penting diset untuk Kafka Streams karena setiap consumer di assign pada 1 partition.