Estudio de caso de Big Data:
Implementación de Hadoop
Organizar y analizar grandes almacenes de datos no estructurados puede ser un desafío abrumador.
Surgen preguntas sobre cómo gestionar estos datos; ¿Cuánto costará una solución? ¿Dónde lo guardamos? ¿Cómo lo analizamos de manera eficiente? ¿Nuestras bases de datos relacionales podrán ordenar y consultar estos datos de manera efectiva?
El desafío del Big Data
Nuestro cliente, líder en el ámbito del transporte y la logística, se enfrentaba a esta situación de big data. Combinados, sus camiones viajan aproximadamente 8 millones de millas por día para entregar su carga. El Cliente necesitaba un método para analizar eficazmente los patrones de viaje de los camiones para comprender una gran cantidad de cuestiones, incluida la cantidad de "millas vacías" acumuladas en las rutas y, posteriormente, realizar ajustes para entregas más eficientes.
Utilizando su software de seguimiento logístico interno, el Cliente había estado almacenando temporalmente archivos de registro para analizar y depurar problemas relacionados con el "proceso de selección" del optimizador. Debido a la enorme cantidad de datos que se introducen en estos archivos, solo los conservaban durante un breve período. Además, dado que los datos no estaban estructurados, los desarrolladores tendrían que extraer, analizar y buscar manualmente los datos cada vez que necesitaran realizar un análisis.
Caso de negocios de Big Data
Se necesitaba una solución para agregar estructura a estos registros de datos, proporcionar la capacidad de ejecutar consultas ad-hoc cuando ocurrieran problemas y realizar análisis contra los datos para mejorar la eficiencia de la ruta de camiones. Un sistema de base de datos relacional tradicional requeriría demasiados recursos debido al volumen y la velocidad. El cliente necesitaba una solución de big data.
Requisitos:
- Procesamiento y almacenamiento de datos de alto volumen / velocidad
- Capacidad para realizar consultas ad-hoc y ejecutar análisis contra datos
- Organización y indexación de datos sostenibles.
- Visualización de datos para usuarios empresariales.
La solución de Big Data: implementación de Hadoop
Después de obtener información a través de nuestro proceso de descubrimiento y recopilación de requisitos, diseñamos una solución de big data que utiliza Hadoop junto con una combinación de otros componentes clave de código abierto para aprovechar todo su potencial. Al hacerlo, creamos la arquitectura MapReduced que se ilustra a continuación.
Nuestra solución procesa y prepara los datos para ser consumidos, creando un archivo de "solución" y "problema". Estos archivos se agregan y distribuyen: los archivos de registro se envían a Solr para su indexación y los datos de "solución" a HDFS. Luego, los datos se pasan a un sumidero para procesarlos y cargarlos en un componente Hadoop, que luego se distribuye a Solr Cloud y HDFS, respectivamente. El resultado final es la disponibilidad de datos estructurados en múltiples formatos, con flexibilidad para consultas de baja latencia proporcionadas a través de Cloudera Impala y visualización de datos con conectividad OBIEE.
Resultados finales
Con recursos mínimos de hardware y una colección de software de código abierto que no requiere tarifas de licencia, nos dimos cuenta de que la solución de Big Data del Cliente a una fracción del costo que una solución de base de datos relacional tradicional hubiera requerido. La implementación de Hadoop resultó en ahorros de costos y tiempo, con un beneficio adicional del aumento en la productividad que lograrán con sus nuevos activos analíticos.
Conclusión
¿Podría su organización beneficiarse de una solución de big data de código abierto con Hadoop? Si maneja grandes conjuntos de datos que requieren conocimientos analíticos, no busque más. Aptude trae dos décadas de consultoría de TI a la mesa, con experiencia en implementaciones de big data y soluciones de inteligencia empresarial de Microsoft y Oracle.
“Aptude proporciona soporte de Oracle DBA en el sitio y en el extranjero, que incluye resolución de problemas, respaldo, recuperación, migración, actualizaciones y mantenimiento diario de los servidores de bases de datos de Oracle. Aptude ha estado trabajando con nuestro equipo durante los últimos cuatro años y seguimos utilizándolos y estamos satisfechos con su trabajo ".
Warren E,
Schneider Nacional
Sigue avanzando con Aptude
Aptude es su propia firma personal de servicios profesionales de TI. Brindamos a nuestros clientes recursos de primera clase de manera continua y con costos reducidos.
Nuestros servicios de soporte liberarán a su personal superior de TI de la abrumadora carga de los problemas de mantenimiento diarios. Ya tendrán tiempo de lanzar esos nuevos proyectos y aplicaciones que estabas esperando. En pocas palabras, podemos liberar sus recursos y contener sus costos. Tengamos una charla rápida para hablar sobre nuestros servicios exclusivos.
¿En que estas trabajando?
¿Busca soluciones tecnológicas inteligentes? ¿Busca consulta sobre sus próximos proyectos? ¿Necesitas un presupuesto de servicios? Póngase en contacto con Aptude's equipo ejecutivo directamente. Es asombroso cuánto un pequeño correo electrónico puede acelerar rápidamente su productividad.
English
Chinese (Simplified)
English
Spanish
French
German
Hindi
Japanese
Malay