Solución de Big Data

Nuestro cliente, líder en el dominio de Transporte y Logística, se enfrentaba a esta situación de grandes datos. Combinados, sus camiones viajan aproximadamente 8 millones de millas por día para entregar su carga. El Cliente necesitaba un método para analizar de manera efectiva los patrones de viaje de los camiones para obtener una comprensión de una miríada de problemas, incluidas cuántas "millas vacías" se acumularon en las rutas y, posteriormente, realizar ajustes para entregas más eficientes. Utilizando su software de seguimiento logístico interno, el Cliente había almacenado temporalmente archivos de registro para analizar y depurar problemas relacionados con el "proceso de selección" del optimizador. Debido a la gran cantidad de datos que se introducen en estos archivos, solo retuvieron estos datos durante un corto período de tiempo. Además, dado que los datos no estaban estructurados, los desarrolladores tendrían que extraer, analizar y buscar manualmente los datos cada vez que necesitaran realizar un análisis.

CASO COMERCIAL DE GRANDES DATOS

Se necesitaba una solución para agregar estructura a estos registros de datos, proporcionar la capacidad de ejecutar consultas ad-hoc cuando ocurrieran problemas y realizar análisis contra los datos para mejorar la eficiencia de la ruta de camiones. Un sistema de base de datos relacional tradicional requeriría demasiados recursos debido al volumen y la velocidad. El cliente necesitaba una solución de big data.

REQUISITOS:

• Procesamiento y almacenamiento de datos de alto volumen / velocidad
• Capacidad para realizar consultas ad-hoc y ejecutar análisis contra datos
• Organización y indexación de datos sostenibles.
• Visualización de datos para usuarios empresariales.

SOLUCIONES

La solución de Big Data de Aptude Consulting - La implementación de Hadoop
Después de obtener información a través de nuestro proceso de descubrimiento y recopilación de requisitos, diseñamos una solución de big data que utiliza Hadoop junto con una combinación de otros componentes clave de código abierto para aprovechar todo su potencial. Al hacerlo, creamos la arquitectura MapReduced.

Nuestra solución procesa y prepara los datos para ser consumidos, creando un archivo de "solución" y "problema".

Estos archivos se agregan y distribuyen: los archivos de registro se envían a Solr para su indexación y los datos de "solución" a HDFS. Luego, los datos se pasan a un sumidero para procesarlos y cargarlos en un componente Hadoop, que luego se distribuye a Solr Cloud y HDFS, respectivamente. El resultado final es la disponibilidad de datos estructurados en múltiples formatos, con flexibilidad para consultas de baja latencia proporcionadas a través de Cloudera Impala y visualización de datos con conectividad OBIEE.

Resultados finales:

Con recursos mínimos de hardware y una colección de software de código abierto que no requiere tarifas de licencia, nos dimos cuenta de que la solución de Big Data del Cliente a una fracción del costo que una solución de base de datos relacional tradicional hubiera requerido. La implementación de Hadoop resultó en ahorros de costos y tiempo, con un beneficio adicional del aumento en la productividad que lograrán con sus nuevos activos analíticos.