Étude de cas Big Data:
Implémentation Hadoop

L'organisation et l'analyse de stocks massifs de données non structurées peuvent être un défi de taille.

Des questions se posent sur la façon de gérer ces données; Combien coûtera une solution? Où le stockons-nous? Comment l'analyser efficacement? Nos bases de données relationnelles seront-elles capables de trier et d'interroger efficacement ces données?

En Savoir Plus

Le défi du Big Data

Notre client, un leader dans le domaine du transport et de la logistique, faisait face à cette situation difficile du big data. Ensemble, leurs camions parcourent environ 8 millions de kilomètres par jour pour livrer leur cargaison. Le client avait besoin d'une méthode pour analyser efficacement les schémas de déplacement des camions afin de comprendre une myriade de problèmes, y compris le nombre de «miles à vide» accumulés sur les itinéraires, puis de procéder à des ajustements pour des livraisons plus efficaces.

En utilisant son logiciel de suivi logistique interne, le Client avait temporairement stocké des fichiers journaux pour analyser et déboguer les problèmes liés au «processus de sélection» de l'optimiseur. En raison de la quantité massive de données introduites dans ces fichiers, ils ne conservaient ces données que pendant une courte durée. De plus, comme les données n'étaient pas structurées, les développeurs devaient extraire, analyser et rechercher manuellement les données chaque fois qu'ils devaient effectuer une analyse.

Analyse de rentabilité du Big Data

Une solution était nécessaire pour ajouter une structure à ces journaux de données, fournir la possibilité d'exécuter des requêtes ad hoc en cas de problème et d'effectuer des analyses sur les données pour améliorer l'efficacité de l'itinéraire de camionnage. Un système de base de données relationnelle traditionnel serait trop gourmand en ressources en raison du volume et de la vitesse. Le client avait besoin d'une solution de Big Data.

Exigences:

  • Traitement et stockage de données à haut volume / vitesse
  • Possibilité d'effectuer des requêtes ad hoc et d'exécuter des analyses sur les données
  • Indexation et organisation durables des données
  • Visualisation des données pour les utilisateurs professionnels

La solution Big Data: mise en œuvre Hadoop

Après avoir obtenu des informations grâce à notre processus de découverte et de collecte des exigences, nous avons conçu une solution de Big Data utilisant Hadoop en conjonction avec une combinaison d'autres composants open-source clés pour exploiter tout son potentiel. Ce faisant, nous avons créé l'architecture MapReduced illustrée ci-dessous.

Notre solution pré-traite et prépare les données à consommer, créant un fichier «solution» et «problème». Ces fichiers sont ensuite agrégés et distribués: les fichiers journaux sont envoyés à Solr pour indexation et les données de «solution» vers HDFS. Les données sont ensuite passées dans un récepteur pour les traiter et les charger dans un composant Hadoop, qui est ensuite distribué à Solr Cloud et HDFS, respectivement. Le résultat final est une disponibilité structurée des données dans plusieurs formats, avec une flexibilité pour les requêtes à faible latence fournies via Cloudera Impala et la visualisation des données avec la connectivité OBIEE.

PLANIFIER UN APPEL AUJOURD'HUI

Résultats finaux

Avec un minimum de ressources matérielles et une collection de logiciels open source ne nécessitant aucun frais de licence, nous avons réalisé la solution Big Data du client à une fraction du coût qu'aurait exigé une solution de base de données relationnelle traditionnelle. La mise en œuvre de Hadoop a entraîné des économies de temps et d'argent, avec un avantage supplémentaire de l'augmentation de la productivité qu'ils réaliseront avec leurs nouveaux actifs analytiques.

Conclusion

Votre organisation pourrait-elle bénéficier d'une solution Big Data open source avec Hadoop? Si vous gérez des ensembles de données volumineux qui nécessitent des informations analytiques, ne cherchez pas plus loin. Aptude apporte deux décennies de conseil informatique à la table, avec une expertise dans les implémentations de Big Data et les solutions de Business Intelligence Microsoft et Oracle.

«Aptude fournit une assistance Oracle DBA sur site et offshore, qui comprend le dépannage, la sauvegarde, la restauration, la migration, les mises à niveau et la maintenance quotidienne des serveurs de base de données Oracle. Aptude travaille avec notre équipe depuis quatre ans et nous continuons à les utiliser et sommes satisfaits de leur travail.

Warren E.,
Schneider National

Continuez à avancer avec Aptude

Aptude est votre propre entreprise de services professionnels informatiques personnels. Nous fournissons à nos clients des ressources de première classe de manière continue et à faible coût.

Nos services de support libéreront votre personnel informatique senior du fardeau écrasant des problèmes de maintenance au jour le jour. Maintenant, ils auront le temps de lancer les nouveaux projets et applications que vous attendiez. Autrement dit, nous pouvons libérer vos ressources et limiter vos coûts. Ayons une conversation rapide pour discuter de nos services exclusifs.

NOUS CONTACTER

Sur quoi travailles-tu?

Vous recherchez des solutions technologiques intelligentes? Vous recherchez une consultation sur vos projets à venir? Besoin d'un devis pour les services? Contactez Aptude équipe exécutive directement. C'est incroyable à quel point un petit e-mail peut rapidement accélérer votre productivité.

Uday Mehta

Associé directeur

EMAIL UDAY

Guy DeRosa

Associé directeur

EMAIL GUY

Srinath Parepally

Associé directeur

EMAIL SRINATH