Configurer Kafka : 4 étapes

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:07

Introduction:

Apache Kafka est un système de messagerie open source évolutif et à haut débit développé par Apache Software Foundation et écrit en Scala. Apache Kafka est spécialement conçu pour permettre à un seul cluster de servir de base de données centrale pour un grand environnement. Il a un débit beaucoup plus élevé que d'autres systèmes de courtiers de messages comme ActiveMQ et RabbitMQ. Il est capable de gérer efficacement de gros volumes de données en temps réel. Vous pouvez déployer Kafka sur un seul serveur Apache ou dans un environnement en cluster distribué.

Caractéristiques:

Les caractéristiques générales de Kafka sont les suivantes:

Message persistant sur le disque qui fournit des performances temporelles constantes.

Haut débit avec des structures de disque prenant en charge des centaines de milliers de messages par seconde.

Le système distribué évolue facilement sans temps d'arrêt.

Prend en charge les abonnés multiples et équilibre automatiquement les consommateurs en cas de panne.

Ce tutoriel montre comment installer et configurer Apache Kafka sur un serveur Ubuntu 16.04.

Conditions

Un serveur Ubuntu 16.04.

Compte d'utilisateur non root avec privilège de super utilisateur configuré sur votre serveur.

Étape 1: Mise en route et installation de Java

1) Commençons par nous assurer que votre serveur Ubuntu 16.04 est entièrement à jour

Vous pouvez mettre à jour votre serveur en exécutant les commandes suivantes:

sudo apt-get update -y

sudo apt-get upgrade -y

2) Installation de Java

Vérifiez si votre machine a Java qui est déjà installé ou a une version par défaut de Java par la commande suivante:-

java -version

Même si vous avez Java mais une version inférieure, vous devrez la mettre à niveau.

Vous pouvez installer Java en:-

sudo apt-get install default-jdk

OU

Vous pouvez installer Oracle JDK 8 à l'aide du référentiel PPA de l'équipe Webupd8.

Pour ajouter le référentiel, exécutez la commande suivante:-

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-get install oracle-java8-installer -y

Étape 2: Installer Zookeeper

Qu'est-ce que Zookeeper ?

Zookeeper est un service centralisé permettant de conserver les informations de configuration, de nommer, de fournir une synchronisation distribuée et de fournir des services de groupe. Tous ces types de services sont utilisés sous une forme ou une autre par des applications distribuées. Chaque fois qu'ils sont mis en œuvre, il y a beaucoup de travail à faire pour corriger les bugs et les conditions de course qui sont inévitables. En raison de la difficulté de mise en œuvre de ce type de services, les applications les lésinent généralement au départ, ce qui les rend fragiles en présence de changement et difficiles à gérer. Même lorsqu'elles sont effectuées correctement, différentes implémentations de ces services entraînent une complexité de gestion lors du déploiement des applications.

Avant d'installer Apache Kafka, vous devez avoir zookeeper disponible et en cours d'exécution. ZooKeeper est un service open source permettant de conserver les informations de configuration, de fournir une synchronisation distribuée, de nommer et de fournir des services de groupe.

1) Par défaut, le package Zookeeper est disponible dans le référentiel par défaut d'Ubuntu

Vous pouvez l'installer en exécutant la commande suivante:

sudo apt-get install zookeeperd

Une fois l'installation terminée, elle sera lancée automatiquement en tant que démon. Par défaut, Zookeeper fonctionnera sur le port 2181.

Vous pouvez le tester en exécutant la commande suivante:

netstat -ant | grep:2181

La sortie devrait vous montrer que le port 2181 est écouté.

Étape 3: Installer et démarrer le serveur Kafka

Maintenant que Java et ZooKeeper sont installés, il est temps de télécharger et d'extraire Kafka du site Web Apache.

1) Vous pouvez utiliser curl ou wget pour télécharger Kafka: (Kafka version 0.10.1.1)

Exécutez la commande suivante pour télécharger la configuration de kafka:

curl -O

OU

wget

2) Créer un répertoire pour Kafka

Ensuite, créez un répertoire pour l'installation de Kafka:

sudo mkdir /opt/kafka

cd /opt/kafka

3) Décompressez le dossier téléchargé

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

*Modifier le nom d'utilisateur en fonction de votre nom d'utilisateur

4) Démarrer le serveur kafka

L'étape suivante consiste à démarrer le serveur Kafka, vous pouvez le démarrer en exécutant le script kafka-server-start.sh situé dans le répertoire /opt/kafka/kafka_2.11-0.10.1.1/bin/ en utilisant la commande suivante:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Vérifiez si le serveur Kafka fonctionne bien

Vous avez maintenant un serveur Kafka en cours d'exécution et à l'écoute sur le port 9092.

Maintenant, nous pouvons vérifier les ports d'écoute:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ':2181|:9092'

Étape 4: Testez votre serveur Kafka

Il est maintenant temps de vérifier que le serveur Kafka fonctionne correctement.

1) Créer un nouveau sujet

Pour tester Kafka, créez un exemple de sujet nommé « testing » dans Apache Kafka à l'aide de la commande suivante:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost:2181 --partitions 1 --replication-factor 1

2) Vérifiez si votre sujet a été créé avec succès

Maintenant, demandez à Zookeeper de répertorier les sujets disponibles sur Apache Kafka en exécutant la commande suivante:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost:2181

3) Publiez un message en utilisant le sujet que vous avez créé

echo "bonjour tout le monde" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testing

4)Recevez le message sur le sujet créé

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testing –from-beginning

5)Pour envoyer un fichier en utilisant kafka sur un sujet

kafka-console-producer.sh --broker-list localhost:9092 –test de sujet