Prosedur Start Server Kafka 2.13

 Start Server Service

./bin/kafka-server-start.sh ./config/kraft/server.properties

Error Unformatted

 ./bin/kafka-storage.sh random-uuid

 ./bin/kafka-storage.sh format -t wTJ2_4vKQcujLyzgVBznow -c config/kraft/server.properties

Connect Standalone

Start Connect-Standalone

./bin/connect-standalone.sh config/connect-standalone.properties config/cassandra-sink-standalone.properties

Topics

 ./bin/kafka-configs.sh --bootstrap-server 10.102.235.46:9092 --alter --entity-type topics --entity-name kapalpatroli --add-config segment.bytes=32768,min.compaction.lag.ms=1000,min.cleanable.dirty.ratio=0.01,delete.retention.ms=100,segment.ms=100,cleanup.policy=compact,retention.ms=1000

 ./bin/kafka-topics.sh --bootstrap-server 10.102.235.46:9092 --create --topic kapalpatroli --partitions 6 --replication-factor 1 --config cleanup.policy=compact --config retention.ms=1000

 ./bin/kafka-console-consumer.sh --bootstrap-server 10.102.235.46:9092 --topic kapalpatroli --property "print.key=true"

 ./bin/kafka-topics.sh --delete --bootstrap-server=10.102.235.46:9092 --topic kapalpatroli

Menambah Kapasitas Disk/Storage KVM Virtual Machine

Extend Block Device

$ lsblk 

 NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
 sr0            11:0    1 1024M  0 rom  
 vda           252:0    0   30G  0 disk
 ├─vda1        252:1    0    1G  0 part /boot
 └─vda2        252:2    0   29G  0 part
   ├─rhel-root 253:0    0 26.9G  0 lvm  /
   └─rhel-swap 253:1    0  2.1G  0 lvm  [SWAP]

Pada contoh di atas kita akan mengubah vda menjadi 40G

1. Shut Down Virtual Machine

$ sudo virsh shutdown [domain_name]

2. Extend KVM Guest OS Disk

Cari lokasi OS disk path

$ sudo virsh domblklist [domain_name]

Target   Source
-----------------------------------------------
vda      /var/lib/libvirt/images/rhel8.qcow2
sda      -

$ sudo qemu-img info /var/lib/libvirt/images/rhel8.qcow2

image: /var/lib/libvirt/images/rhel8.qcow2
file format: qcow2
virtual size: 30G (42949672960 bytes)
disk size: 2.0G
cluster_size: 65536
Format specific information:
    compat: 1.1
    lazy refcounts: true
    refcount bits: 16
    corrupt: false

$ sudo qemu-img resize /var/lib/libvirt/images/rhel8.qcow2 +10G

Atau dapat juga menggunakan virsh

$ sudo virsh blockresize [domain_name] [os_disk_path]

3. Check Result

$ lsblk 

 NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
 sr0            11:0    1 1024M  0 rom  
 vda           252:0    0   40G  0 disk
 ├─vda1        252:1    0    1G  0 part /boot
 └─vda2        252:2    0   29G  0 part
   ├─rhel-root 253:0    0 26.9G  0 lvm  /
   └─rhel-swap 253:1    0  2.1G  0 lvm  [SWAP]

Resize Partition dan File System

$ sudo growpart /dev/vda 1

$ sudo resize2fs [partition_path]

Source

1. https://computingforgeeks.com/how-to-extend-increase-kvm-virtual-machine-disk-size/
2. https://superuser.com/questions/971000/why-df-vs-lsblk-command-have-different-results
3. 
    

Prosedur Start Server Datastax

Start DSE in Search and Graph Mode

dse-6.8.32/bin/dse cassandra -s -g

Start DSE Agent

service datastax-agent start

Start OpsCenter

opscenter-6.8.24/bin/opscenter

Start Datastax Studio

datastax-studio-6.8.26/bin/server.sh

Mengatasi Error Github gnutls_handshake() failed: Error in the pull function

Pada saat melakukan operasi git pada server linux, terkadang muncul error

gnutls_handshake() failed: Error in the pull function

Error tersebut terjadi karena ketidaksesuaian MTU pada server kita dengan MTU yang dipersyaratkan di server host / proxy. Pada case ini, MTU kita terlalu tinggi dari yang dipersyaratkan. [1]

Untuk mengatasinya, maka kita perlu menurunkan MTU pada interface server kita. Pada kasus saya, menggunakan nilai MTU 1400 dapat mengatasi error ini.

Konfigurasi MTU pada Interface Linux

Cara Mengecek MTU Interface

ifconfig <interface_name> | grep mtu

Cara Mengubah MTU Interface

ifconfig <interface_name> mtu <nilai_mtu> up

Misal

ifconfig eth0 mtu 1400 up

Konfigurasi di atas tidak permanen, untuk melakukan konfigurasi permanen silahkan cek [2].

Referensi

[1] https://github.com/microsoft/WSL/issues/5346

[2] https://linuxhint.com/how-to-change-mtu-size-in-linux/

Cara Mengecek Penggunaan Hard Disk Pada Linux Ubuntu Saat Out Of Storage

Cari dimana letak moung device yang akan di cek

Misalnya ingin melakukan pengecekan mount untuk device /dev/sda1

mount | grep sda1

Misalnya /dev/sda1 di-mount pada /

du --max-depth=1 --human-readable / | sort --human-numeric-sort

This will list the first level of directories contained in the specified path, in order from smallest to largest. You can increase the depth past 1 to get details of the subdirectories, or change the path to specify a single directory. You can also use the short flags.

Command di atas akan menampilkan direktori pada / dengan order kapasitas pemakaian dari kecil ke besar.  Parameter max-depth dapat diubah untuk mendapatkan detail subdirektori, atau ubah path ke direktori yang ingin dicek, misal ingin mengecek /home

du -d1 -h /home | sort -h

Referensi: https://askubuntu.com/questions/506074/how-to-clean-up-dev-sda1-as-its-full

Menambahkan Akses Tertentu pada User Tertentu pada Direktori Tertentu Ubuntu

Terjadi error 

WARNING  /home/sumdev/ubuntu-20.04.6-live-server-amd64.iso may not be accessible by the hypervisor. You will need to grant the 'libvirt-qemu' user search permissions for the following directories: ['/home/sumdev']

pada saat instalasi virtual machine.

Hal tersebut menunjukkan bahwa user 'libvirt-qemu' memerlukan akses search ke direktori tempat file ISO berada (a+x).

Solusi

Dengan menambahkan akses user tersebut pada direktori yang dibutuhkan.

sudo getfacl -e /home/sumdev/

Output

getfacl: Removing leading '/' from absolute path names
# file: home/sumdev/
# owner: sumdev
# group: sumdev
user::rwx
group::r-x
other::---

Tambahkan akses search untuk user libvirt-qemu

sudo setfacl -m u:libvirt-qemu:rx /home/sumdev

Lalu cek

sudo getfacl -e /home/sumdev/

Output

getfacl: Removing leading '/' from absolute path names
# file: home/sumdev/
# owner: sumdev
# group: sumdev
user::rwx
user:libvirt-qemu:r-x           #effective:r-x
group::r-x                      #effective:r-x
mask::r-x
other::---

Dapat dilihat user libvirt-qemu sudah memiliki akses search pada folder tersebut.

Catatan Kafka Terbaru 2023

Setelah kurang lebih 2 tahun tidak berurusan dengan Apache Kafka, ternyata banyak hal yang berubah saat ini. Catatan ini sebagai pengingat, berlaku untuk versi minimum 3.40

Instalasi tidak lagi memerlukan ZooKeeper

Kafka saat ini menuju ke penggunaan tanpa bergantung pada ZooKeeper. Hal ini tentu sangat signifikan dan lebih memudahkan instalasi dan konfigurasi.

Instalasi Kafka masih sama dengan sebelumnya, hanya berbeda saat ini konfigurasi karena sudah tidak menggunakan ZooKeeper.

Download dan ekstrak

wget [link_kafka]

tar xzf [file_tar_kafka]

Edit configuration file

nano kafka_dir/config/kraft/server.properties

Generate random uuid dan setup uuid (versi terdahulu tidak ada step ini)

./kafka_dir/bin/kafka-storage.sh random-uuid

./kafka_dir/bin/kafka-storage.sh -t <uuid> <server_config_file> 

Start kafka server

./kafka_dir/bin/kafka-server-start.sh ./kafka_dir/config/kraft/server.properties

Catatan konfig penting Kafka

cleanup.policy : untuk menentukan log akan di-delete atau di-compact. Diset default pada broker, di adjust pada topic.

num.partitions : untuk menentukan jumlah partitions. Diset default pada broker, di adjust pada topic. Penting diset untuk Kafka Streams karena setiap consumer di assign pada 1 partition.