Big Data-Fallstudie:
Hadoop-Implementierung

Das Organisieren und Analysieren großer Speicher unstrukturierter Daten kann eine gewaltige Herausforderung sein.

Es stellen sich Fragen zur Verwaltung dieser Daten. Wie viel kostet eine Lösung? Wo lagern wir es? Wie analysieren wir es effizient? Werden unsere relationalen Datenbanken in der Lage sein, diese Daten effektiv zu sortieren und abzufragen?

Mehr erfahren

Die Big Data Challenge

Unser Kunde, ein führender Anbieter im Bereich Transport und Logistik, war mit dieser Big-Data-Situation konfrontiert. Zusammen fahren ihre Lastwagen ungefähr 8 Millionen Meilen pro Tag, um ihre Fracht zu liefern. Der Kunde benötigte eine Methode zur effektiven Analyse von Lkw-Reisemustern, um ein Verständnis für eine Vielzahl von Problemen zu erlangen, einschließlich der Anzahl der auf Strecken gesammelten „leeren Meilen“, und anschließend Anpassungen für effizientere Lieferungen vorzunehmen.

Unter Verwendung seiner internen Logistik-Tracking-Software hatte der Kunde vorübergehend Protokolldateien gespeichert, um Probleme im Zusammenhang mit dem „Auswahlprozess“ des Optimierers zu analysieren und zu debuggen. Aufgrund der enormen Datenmenge, die in diese Dateien übertragen wurde, wurden diese Daten nur für kurze Zeit gespeichert. Da die Daten unstrukturiert waren, mussten Entwickler die Daten jedes Mal manuell extrahieren, analysieren und durchsuchen, wenn sie eine Analyse durchführen mussten.

Big-Data-Geschäftsfall

Es wurde eine Lösung benötigt, um diese Datenprotokolle zu strukturieren, Ad-hoc-Abfragen bei auftretenden Problemen durchzuführen und Analysen mit den Daten durchzuführen, um die Effizienz der Transportrouten zu verbessern. Ein traditionelles relationales Datenbanksystem wäre aufgrund des Volumens und der Geschwindigkeit zu ressourcenintensiv. Der Kunde benötigte eine Big-Data-Lösung.

Anforderungen:

  • Verarbeitung und Speicherung von High Volume / Velocity-Daten
  • Möglichkeit zur Ad-hoc-Abfrage und Ausführung von Analysen für Daten
  • Nachhaltige Indizierung und Organisation von Daten
  • Datenvisualisierung für Geschäftsanwender

Die Big Data-Lösung: Hadoop-Implementierung

Nachdem wir durch unsere Ermittlung und das Sammeln von Anforderungen Informationen erhalten hatten, entwickelten wir eine Big-Data-Lösung, die Hadoop in Verbindung mit einer Kombination anderer wichtiger Open-Source-Komponenten nutzt, um das volle Potenzial auszuschöpfen. Auf diese Weise haben wir die unten abgebildete MapReduced-Architektur erstellt.

Unsere Lösung bereitet die zu verbrauchenden Daten vor und erstellt eine „Lösungs-“ und eine „Problemdatei“. Diese Dateien werden dann aggregiert und verteilt: Protokolldateien wurden zur Indizierung an Solr gesendet und Lösungsdaten an HDFS gesendet. Die Daten werden dann in eine Senke übertragen, um sie zu verarbeiten und in eine Hadoop-Komponente zu laden, die dann an Solr Cloud bzw. HDFS verteilt wird. Das Endergebnis ist eine strukturierte Datenverfügbarkeit in mehreren Formaten mit Flexibilität für Abfragen mit geringer Latenz, die über Cloudera Impala und Datenvisualisierung mit OBIEE-Konnektivität bereitgestellt werden.

Planen Sie noch heute einen Anruf

Endergebnisse

Mit minimalen Hardwareressourcen und einer Sammlung von Open-Source-Software, für die keine Lizenzgebühren anfallen, haben wir die Big-Data-Lösung des Kunden zu einem Bruchteil der Kosten realisiert, die für eine herkömmliche relationale Datenbanklösung erforderlich gewesen wären. Die Hadoop-Implementierung führte zu einer Kosten- und Zeitersparnis und einem zusätzlichen Vorteil aus der Produktivitätssteigerung, die sie mit ihren neuen analytischen Assets erzielen werden.

Fazit

Könnte Ihr Unternehmen von einer Open Source Big Data-Lösung mit Hadoop profitieren? Wenn Sie große Datenmengen verarbeiten, für die analytische Erkenntnisse erforderlich sind, suchen Sie nicht weiter. Aptude bringt zwei Jahrzehnte IT-Beratung mit Erfahrung in Big-Data-Implementierungen sowie in Business Intelligence-Lösungen von Microsoft und Oracle auf den Tisch.

„Aptude bietet Oracle DBA-Unterstützung vor Ort und vor der Küste, einschließlich Fehlerbehebung, Sicherung, Wiederherstellung, Migration, Upgrades und täglicher Wartung von Oracle-Datenbankservern. Aptude arbeitet seit vier Jahren mit unserem Team zusammen und wir setzen sie weiterhin ein und sind mit ihrer Arbeit zufrieden. “

Warren E.,
Schneider National

Mach weiter mit Aptude

Aptude ist Ihr persönliches IT-Dienstleistungsunternehmen. Wir stellen unseren Kunden erstklassige Ressourcen auf kontinuierliche und kostengünstige Weise zur Verfügung.

Unsere Support-Services befreien Ihre leitenden IT-Mitarbeiter von der überwältigenden Belastung durch alltägliche Wartungsprobleme. Jetzt haben sie Zeit, die neuen Projekte und Anwendungen zu starten, auf die Sie gewartet haben. Einfach ausgedrückt, wir können Ihre Ressourcen freisetzen und Ihre Kosten begrenzen. Lassen Sie uns kurz über unsere exklusiven Dienstleistungen sprechen.

Kontaktieren Sie uns noch heute

Woran arbeitest du?

Suchen Sie nach intelligenten technologischen Lösungen? Suchen Sie Beratung zu Ihren bevorstehenden Projekten? Benötigen Sie ein Angebot für Dienstleistungen? Wenden Sie sich an Aptude's Führungsteam direkt. Es ist erstaunlich, wie viel eine kleine E-Mail Ihre Produktivität schnell steigern kann.

Uday Mehta

Geschäftsführender Partner

E-MAIL UDAY

Guy DeRosa

Geschäftsführender Partner

E-MAIL-GUY

Srinath Parepally

Geschäftsführender Partner

E-MAIL SRINATH