Big Data-Lösung

Unser Kunde, ein führender Anbieter im Bereich Transport und Logistik, war mit dieser Big-Data-Situation konfrontiert. Zusammen fahren ihre Lastwagen ungefähr 8 Millionen Meilen pro Tag, um ihre Fracht auszuliefern. Der Kunde benötigte eine Methode zur effektiven Analyse von LKW-Fahrmustern, um ein Verständnis für eine Vielzahl von Problemen zu erlangen, darunter, wie viele „leere Meilen“ auf Routen gesammelt wurden, und um anschließend Anpassungen für effizientere Lieferungen vorzunehmen. Der Kunde verwendete seine firmeninterne Logistik-Tracking-Software und speicherte vorübergehend Protokolldateien, um Probleme im Zusammenhang mit dem „Auswahlprozess“ des Optimierers zu analysieren und zu beheben. Aufgrund der enormen Datenmenge, die in diese Dateien gepusht wurde, wurden diese Daten nur für kurze Zeit gespeichert. Da die Daten unstrukturiert waren, mussten die Entwickler die Daten außerdem jedes Mal manuell extrahieren, analysieren und durchsuchen, wenn sie eine Analyse durchführen mussten.

GROSSER DATEN-GESCHÄFTSFALL

Es wurde eine Lösung benötigt, um diese Datenprotokolle zu strukturieren, Ad-hoc-Abfragen bei auftretenden Problemen durchzuführen und Analysen mit den Daten durchzuführen, um die Effizienz der Transportrouten zu verbessern. Ein traditionelles relationales Datenbanksystem wäre aufgrund des Volumens und der Geschwindigkeit zu ressourcenintensiv. Der Kunde benötigte eine Big-Data-Lösung.

ANFORDERUNGEN:
  • Verarbeitung und Speicherung von High Volume / Velocity-Daten
  • Möglichkeit zur Ad-hoc-Abfrage und Ausführung von Analysen für Daten
  • Nachhaltige Indizierung und Organisation von Daten
  • Datenvisualisierung für Geschäftsanwender
LÖSUNGEN:

Die Big Data-Lösung von Aptude Consulting - Die Hadoop-Implementierung
Nachdem wir durch unsere Ermittlung und das Sammeln von Anforderungen Informationen erhalten hatten, entwickelten wir eine Big-Data-Lösung, die Hadoop in Verbindung mit einer Kombination anderer wichtiger Open-Source-Komponenten nutzt, um das volle Potenzial auszuschöpfen. Auf diese Weise haben wir die MapReduced-Architektur erstellt.

Unsere Lösung bereitet die zu verbrauchenden Daten vor und erstellt eine „Lösungs-“ und eine „Problemdatei“.

Diese Dateien werden dann aggregiert und verteilt: Protokolldateien wurden zur Indizierung an Solr gesendet und Lösungsdaten an HDFS gesendet. Die Daten werden dann in eine Senke übertragen, um sie zu verarbeiten und in eine Hadoop-Komponente zu laden, die dann an Solr Cloud bzw. HDFS verteilt wird. Das Endergebnis ist eine strukturierte Datenverfügbarkeit in mehreren Formaten mit Flexibilität für Abfragen mit geringer Latenz, die über Cloudera Impala und Datenvisualisierung mit OBIEE-Konnektivität bereitgestellt werden.

ENDERGEBNISSE:

Mit minimalen Hardwareressourcen und einer Sammlung von Open-Source-Software, für die keine Lizenzgebühren anfallen, haben wir die Big-Data-Lösung des Kunden zu einem Bruchteil der Kosten realisiert, die für eine herkömmliche relationale Datenbanklösung erforderlich gewesen wären. Die Hadoop-Implementierung führte zu einer Kosten- und Zeitersparnis und einem zusätzlichen Vorteil aus der Produktivitätssteigerung, die sie mit ihren neuen analytischen Assets erzielen werden.

Mach weiter mit Aptude

Aptude ist Ihr persönliches IT-Dienstleistungsunternehmen. Wir stellen unseren Kunden erstklassige Ressourcen auf kontinuierliche und kostengünstige Weise zur Verfügung.

Unsere Support-Services befreien Ihre leitenden IT-Mitarbeiter von der überwältigenden Belastung durch alltägliche Wartungsprobleme. Jetzt haben sie Zeit, die neuen Projekte und Anwendungen zu starten, auf die Sie gewartet haben. Einfach ausgedrückt, wir können Ihre Ressourcen freisetzen und Ihre Kosten begrenzen. Lassen Sie uns kurz über unsere exklusiven Dienstleistungen sprechen.

Kontaktieren Sie uns noch heute