Setelah kurang lebih 2 tahun tidak berurusan dengan Apache Kafka, ternyata banyak hal yang berubah saat ini. Catatan ini sebagai pengingat, berlaku untuk versi minimum 3.40
Instalasi tidak lagi memerlukan ZooKeeper
Kafka saat ini menuju ke penggunaan tanpa bergantung pada ZooKeeper. Hal ini tentu sangat signifikan dan lebih memudahkan instalasi dan konfigurasi.
Instalasi Kafka masih sama dengan sebelumnya, hanya berbeda saat ini konfigurasi karena sudah tidak menggunakan ZooKeeper.
Download dan ekstrak
wget [link_kafka]
tar xzf [file_tar_kafka]
Edit configuration file
nano kafka_dir/config/kraft/server.properties
Generate random uuid dan setup uuid (versi terdahulu tidak ada step ini)
./kafka_dir/bin/kafka-storage.sh random-uuid
./kafka_dir/bin/kafka-storage.sh -t <uuid> <server_config_file>
Start kafka server
./kafka_dir/bin/kafka-server-start.sh ./kafka_dir/config/kraft/server.properties
Catatan konfig penting Kafka
cleanup.policy : untuk menentukan log akan di-delete atau di-compact. Diset default pada broker, di adjust pada topic.
num.partitions : untuk menentukan jumlah partitions. Diset default pada broker, di adjust pada topic. Penting diset untuk Kafka Streams karena setiap consumer di assign pada 1 partition.
