Nastavení Kafky: 4 kroky

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:21

Úvod:

Apache Kafka je open-source škálovatelný a vysoce výkonný systém zasílání zpráv vyvinutý Apache Software Foundation napsaný ve Scale. Apache Kafka je speciálně navržen tak, aby jeden klastr sloužil jako centrální páteř dat pro velké prostředí. Ve srovnání s jinými systémy zprostředkovatelů zpráv, jako jsou ActiveMQ a RabbitMQ, má mnohem vyšší propustnost. Je schopen efektivně zpracovávat velké objemy dat v reálném čase. Kafku můžete nasadit na jeden server Apache nebo v distribuovaném klastrovaném prostředí.

Funkce:

Obecné rysy Kafky jsou následující:

Zachovat zprávu na disku, která poskytuje konstantní časový výkon.

Vysoká propustnost s diskovými strukturami, které podporují stovky tisíc zpráv za sekundu.

Distribuovaný systém lze snadno škálovat bez prostojů.

Podporuje více odběratelů a automaticky vyvažuje spotřebitele během selhání.

Tento tutoriál ukazuje, jak nainstalovat a konfigurovat Apache Kafka na server Ubuntu 16.04.

Požadavky

Server Ubuntu 16.04.

Uživatelský účet bez oprávnění root s nastavením superuživatele na vašem serveru.

Krok 1: Začínáme a instalace Javy

1) Začněme se ujistit, že váš server Ubuntu 16.04 je plně aktuální

Server můžete aktualizovat spuštěním následujících příkazů:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Instalace Javy

Pomocí následujícího příkazu zkontrolujte, zda má váš počítač java, která je již nainstalována, nebo zda má výchozí verzi java:-

java -verze

I když máte java, ale nižší verzi, budete ji muset upgradovat.

Javu můžete nainstalovat takto:-

sudo apt-get install default-jdk

NEBO

Oracle JDK 8 můžete nainstalovat pomocí úložiště PPA týmu Webupd8.

Chcete-li přidat úložiště, spusťte následující příkaz:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Krok 2: Nainstalujte si Zookeeper

Co je Zookeeper?

Zookeeper je centralizovaná služba pro správu konfiguračních informací, pojmenování, distribuovanou synchronizaci a poskytování skupinových služeb. Všechny tyto druhy služeb jsou v té či oné formě využívány distribuovanými aplikacemi. Pokaždé, když jsou implementovány, čeká nás spousta práce při opravě chyb a závodních podmínek, které jsou nevyhnutelné. Vzhledem k obtížnosti implementace těchto druhů služeb je aplikace zpočátku obvykle šetří, což je v případě změn křehké a obtížně spravovatelné. I když jsou správně implementovány, vedou různé implementace těchto služeb ke složitosti správy při nasazení aplikací.

Před instalací Apache Kafka budete muset mít k dispozici a spuštěný zookeeper. ZooKeeper je služba s otevřeným zdrojovým kódem pro uchovávání konfiguračních informací, poskytování distribuované synchronizace, pojmenování a poskytování skupinových služeb.

1) Balíček Zookeeper je ve výchozím nastavení k dispozici ve výchozím úložišti Ubuntu

Můžete jej nainstalovat spuštěním následujícího příkazu:-

sudo apt-get install zookeeperd

Jakmile je instalace dokončena, bude automaticky spuštěna jako démon. Ve výchozím nastavení Zookeeper poběží na portu 2181.

Můžete to vyzkoušet spuštěním následujícího příkazu:

netstat -ant | grep: 2181

Výstup by vám měl ukázat, že je port 2181 naslouchán.

Krok 3: Nainstalujte a spusťte Kafka Server

Nyní, když jsou nainstalovány Java a ZooKeeper, je čas stáhnout a extrahovat Kafku z webu Apache.

1) Ke stažení Kafky můžete použít curl nebo wget: (Kafka verze 0.10.1.1)

Spusťte následující příkaz a stáhněte si nastavení kafka:-

curl -O

NEBO

wget

2) Vytvořte adresář pro Kafku

Dále vytvořte adresář pro instalaci Kafky:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Rozbalte staženou složku

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Změňte uživatelské jméno podle svého uživatelského jména

4) Spusťte server kafka

Dalším krokem je spuštění serveru Kafka, můžete jej spustit spuštěním skriptu kafka-server-start.sh umístěného v adresáři /opt/kafka/kafka_2.11-0.10.1.1/bin/ pomocí následujícího příkazu:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Zkontrolujte, zda server Kafka funguje dobře

Nyní máte server Kafka spuštěný a naslouchající na portu 9092.

Nyní můžeme zkontrolovat naslouchající porty:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Krok 4: Otestujte si server Kafka

Nyní je čas ověřit, zda server Kafka funguje správně.

1) Vytvořte nové téma

Chcete -li Kafku otestovat, vytvořte v Apache Kafka ukázkové téma s názvem „testování“pomocí následujícího příkazu:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --vytvořit --tématické testování --zookeeper localhost: 2181 --oddíly 1-faktor doporučení 1

2) Zkontrolujte, zda bylo vaše téma úspěšně vytvořeno

Nyní požádejte Zookeeper o seznam dostupných témat na Apache Kafka spuštěním následujícího příkazu:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Zveřejněte zprávu pomocí tématu, které jste vytvořili

echo „ahoj svět“| /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 --tématické testování

4) Přijměte zprávu o vytvořeném tématu

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --tématické testování –od začátku

5) Odeslat soubor pomocí kafky přes téma

kafka-console-producer.sh --broker-list localhost: 9092 –tématické testování