Hadoopi – Raspberry Pi Hadoop Cluster | shoppingmaroc.net


Il existe une version mise à jour de Hadoopi, une distribution Hadoop pour le Raspberry Pi. Hadoopi prend en charge divers composants de l'écosystème Hadoop, notamment HBase, Hive et Spark. La nouvelle version dispose d'un réseau câblé (pour améliorer les performances et la fiabilité) ainsi que l'ajout de métriques avec Prometheus et la visualisation de ces métriques dans les tableaux de bord Grafana.

Hadoopi est un projet sur GitHub avec les fichiers de configuration et le code Chef cluster de cinq Raspberry Pi 3 en tant que distribution Hadoop fonctionnant sous Hue.

 hadoopi

Si l'idée de lancer Hadoop sur Raspberry Pis semble improbable, cela fait suite à un certain nombre d'expériences précédentes avec Hadoop et Raspberry PIs. C'est aussi une illustration de ce que le Raspberry Pi est capable de faire, ainsi que d'autres utilisations captivantes comme le cluster Raspberry Pi créé par GCHQ, l'équivalent britannique de la NSA, et la simulation du Turing-Welchman Bombe

La notion d'utilisation de Raspberry Pis pour apprendre Hadoop a beaucoup de sens. Si vous êtes intéressé par le Big Data et que vous voulez vous familiariser avec Hadoop, vous devez soit dépenser beaucoup d'argent sur le matériel, soit utiliser une distribution Hadoop basée sur le cloud. Hadoop a une architecture distribuée qui nécessite plusieurs ordinateurs pour fonctionner. Les systèmes basés sur le cloud masquent l'interaction entre le logiciel et le matériel, ce qui complique la compréhension du fonctionnement du cluster.

Un des premiers systèmes Hadoop basés sur Raspberry Pi a été présenté par Jamie Whitehorn à la conférence Strata + Hadoop World en 2013, et Andy Burgin, le créateur de Hadoopi, reconnaît Whitehorn comme l'une des inspirations de Hadoopi.

Sur GitHub Burgin, fait remarquer que même si Hadoopi gère la plus grande partie de l'écosystème Hadoop, il n'y a pas de support pour Impala parce que le Pi n'a pas vraiment assez de puissance lors de l'exécution d'autres composants Hadoop. La sécurité est basée sur HDFS au lieu d'utiliser Sentry, et les limitations matérielles en termes de 1 Go de mémoire et de seulement quatre cœurs signifient que vous ne pouvez vraiment exécuter qu'une tâche à la fois et ce n'est pas rapide. Burgin dit:

"Son slowwwwwwwww – la combinaison de la quantité d'adolescent de RAM et de seulement 4 noyaux signifie que ce n'est pas construit pour la vitesse, soyez réaliste avec vos espérances!"

Le Raspberry Pi est ARM basé signifie que vous devez compiler Hadoop (avec la version correcte des bibliothèques protobuf, Oozie et Hue.)

La version mise à jour de Hadoopi ajoute le support des tableaux de bord Grafana qui sont construits en utilisant les métriques Prometheus collectées par un certain nombre d'exportateurs. fournit des mesures sur l'état de chaque nœud, l'exportateur MySQL fournit des métriques pour le serveur mysql et l'exporteur JMX expose les métriques jmx sélectionnées.

La page Hadoopi sur GitHub contient tous les détails sur la configuration et l'exécution du cluster. 19659005]  râpe

Plus d'informations

Hadoopi Sur GitHub

Articles Similaires

Un Nouveau Raspberry Pi Pour Jour Pi

GCHQ Construit Un Raspberry Pi Cluster

Raspberry Pi 2 – Quad Core Et Windows

Astro Pi – Que peut faire un Raspberry Pi dans l'espace

TJBot – Utiliser Raspberry Pi avec Watson

Simuler le Turing-Welchman Bombe avec un Pi

Hadoop 3 ajoute le codage d'effacement HDFS [19659005] Hadoop 2.9 ajoute l'estimateur de ressource

Hadoop ajoute le cache en mémoire

Moteur de requête Hadoop SQL lancé

Hadoop 2 introduit YARN

Pour être informé des nouveaux articles sur I Programmeur, inscrivez-vous à notre newsletter hebdomadaire, abonnez-vous au flux RSS et suivez-nous sur, Twitter, Facebook, Google+ ou Linkedin.

 Bannière

 justjsquare "width =" 400 "height =" 349

Commentaires

ou envoyer un commentaire à: comments @ i-programmer. info


raspberry pi 3 maroc
Acheter raspberry pi 3 ICI

Source

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *