बिग डेटा केस स्टडी - हडोप कार्यान्वयन

संगठित और असंरचित डेटा के बड़े पैमाने पर विश्लेषण एक चुनौतीपूर्ण चुनौती हो सकती है।

इस डेटा को प्रबंधित करने के तरीके पर सवाल उठते हैं; एक समाधान की लागत कितनी होगी? हम इसे कहाँ संग्रहीत करते हैं? हम इसका कुशलता से विश्लेषण कैसे करते हैं? क्या हमारे रिलेशनल डेटाबेस इस डेटा को प्रभावी ढंग से सॉर्ट और क्वेरी कर पाएंगे?

विस्तार में पढ़ें

बिग डेटा चैलेंज

हमारे ग्राहक, परिवहन और रसद डोमेन में एक नेता, इस बड़े डेटा विधेयकों का सामना कर रहा था। संयुक्त, उनके ट्रक अपने माल को देने के लिए लगभग 8 मिलियन मील प्रति दिन की यात्रा करते हैं। क्लाइंट को मार्गों पर कई "खाली मील" शामिल करने और बाद में अधिक कुशल प्रसव के लिए समायोजन करने सहित मुद्दों के असंख्य पर एक समझ हासिल करने के लिए ट्रक यात्रा पैटर्न का प्रभावी ढंग से विश्लेषण करने के लिए एक विधि की आवश्यकता थी।

उनके इन-हाउस लॉजिस्टिक ट्रैकिंग सॉफ़्टवेयर का उपयोग करते हुए, क्लाइंट ने ऑप्टिमाइज़र की "चयन प्रक्रिया" से संबंधित मुद्दों का विश्लेषण और डीबगिंग के लिए अस्थायी रूप से लॉग फ़ाइलों को संग्रहीत किया था। भारी मात्रा में डेटा इन फ़ाइलों में धकेल दिए जाने के कारण, वे केवल इस डेटा को थोड़े समय के लिए बनाए रख रहे थे। इसके अतिरिक्त, चूंकि डेटा असंरचित था, इसलिए डेवलपर्स को विश्लेषण करने के लिए मैन्युअल रूप से हर बार डेटा निकालने, पार्स और खोज करना होगा।

बिग डाटा बिजनेस केस

इन डेटा लॉग में संरचना को जोड़ने के लिए एक समाधान की आवश्यकता थी, जब समस्याएँ हुईं तो तदर्थ प्रश्नों को चलाने की क्षमता प्रदान करें और ट्रकिंग मार्ग दक्षता में सुधार करने के लिए डेटा के खिलाफ विश्लेषण करें। एक पारंपरिक रिलेशनल डेटाबेस सिस्टम वॉल्यूम और वेग के कारण बहुत अधिक संसाधन-युक्त होगा। क्लाइंट को एक बड़े डेटा समाधान की आवश्यकता थी।

आवश्यकताएँ:

  • उच्च मात्रा / वेग डेटा का प्रसंस्करण और भंडारण
  • डेटा के विरुद्ध विश्लेषण करने और विश्लेषण चलाने की क्षमता
  • सतत डेटा अनुक्रमण और संगठन
  • व्यावसायिक उपयोगकर्ताओं के लिए डेटा विज़ुअलाइज़ेशन

बिग डेटा सॉल्यूशन: हडॉप इंप्लीमेंटेशन

हमारी खोज और आवश्यकताओं को इकट्ठा करने की प्रक्रिया के माध्यम से जानकारी प्राप्त करने के बाद, हमने अपनी पूरी क्षमता का उपयोग करने के लिए अन्य प्रमुख ओपन-सोर्स घटकों के संयोजन के साथ Hadoop का उपयोग करते हुए एक बड़ा डेटा समाधान तैयार किया। ऐसा करने के लिए, हमने नीचे चित्रित सचित्र मानचित्रित वास्तुकला का निर्माण किया।

हमारा समाधान पूर्व-प्रक्रिया करता है और "समाधान" और "समस्या" फ़ाइल का निर्माण करते हुए, खपत होने वाले डेटा को तैयार करता है। इन फ़ाइलों को तब एकत्रित और वितरित किया जाता है: लॉग फाइलें जहां सोलर को अनुक्रमण के लिए और "समाधान" डेटा को एचडीएफएस के लिए भेजा जाता है। फिर डेटा को एक Hadoop घटक में संसाधित करने और लोड करने के लिए एक सिंक में पारित किया जाता है, जिसे बाद में क्रमशः Solr Cloud और HDFS में वितरित किया जाता है। अंतिम परिणाम कई प्रारूपों में संरचित डेटा उपलब्धता है, जिसमें क्लोएडर इम्पाला के माध्यम से कम विलंबता प्रश्नों के लिए लचीलापन और OBIEE कनेक्टिविटी के साथ डेटा विज़ुअलाइज़ेशन है।

अनुसूची एक कॉल टुडे

अंतिम परिणाम

न्यूनतम हार्डवेयर संसाधनों और ओपन-सोर्स सॉफ़्टवेयर के संग्रह के साथ, जिसके लिए कोई लाइसेंस फीस की आवश्यकता नहीं है, हमें एहसास हुआ कि पारंपरिक रिलेशनल डेटाबेस समाधान की आवश्यकता के एक अंश पर क्लाइंट के बड़े डेटा समाधान की आवश्यकता होगी। Hadoop कार्यान्वयन लागत और समय की बचत के परिणामस्वरूप हुआ, उत्पादकता में वृद्धि से एक अतिरिक्त लाभ के साथ वे अपनी नई विश्लेषणात्मक परिसंपत्तियों के साथ प्राप्त करेंगे।

निष्कर्ष

क्या आपके संगठन को Hadoop के साथ एक खुले स्रोत बड़े डेटा समाधान से लाभ मिल सकता है? यदि आप बड़े डेटा सेटों को संभालते हैं जिन्हें विश्लेषणात्मक अंतर्दृष्टि की आवश्यकता होती है, तो आगे नहीं देखें। Aptude बड़े डेटा कार्यान्वयन और Microsoft और Oracle व्यापार खुफिया समाधान दोनों में विशेषज्ञता के साथ, तालिका में दो दशक का आईटी परामर्श लाता है।

“Aptude ओरेकल और ऑफशोर ओरेकल डीबीए सपोर्ट प्रदान करता है, जिसमें समस्या निवारण, बैक-अप, रिकवरी, माइग्रेशन, अपग्रेड और ओरेकल डेटाबेस सर्वर का दैनिक रखरखाव शामिल है। आप्टूडे पिछले चार वर्षों से हमारी टीम के साथ काम कर रहे हैं और हम उनका उपयोग करना जारी रखते हैं और अपने काम से संतुष्ट हैं। ”

वॉरेन ई।,
श्नाइडर नेशनल

Aptude के साथ आगे बढ़ते रहें

Aptude अपनी निजी IT पेशेवर सेवा फर्म है। हम अपने ग्राहकों को निरंतर, लागत-युक्त फैशन में प्रथम श्रेणी के संसाधन प्रदान करते हैं।

हमारी सहायता सेवाएं आपके वरिष्ठ आईटी कर्मचारियों को दिन-प्रतिदिन के रखरखाव के भारी बोझ से मुक्त करेंगी। अब आपके पास उन नई परियोजनाओं और अनुप्रयोगों को लॉन्च करने का समय होगा जिनके लिए आप इंतजार कर रहे हैं। सीधे शब्दों में कहें, तो हम आपके संसाधनों को मुक्त कर सकते हैं और आपकी लागतों को शामिल कर सकते हैं। आइए हमारी विशिष्ट सेवाओं पर चर्चा करने के लिए एक त्वरित चैट करें।

हमसे संपर्क करें आज

आप किस पर काम कर रहे हैं?

बुद्धिमान तकनीकी समाधान के लिए खोज रहे हैं? अपनी आगामी परियोजनाओं पर परामर्श लेना? सेवाओं के लिए एक उद्धरण की आवश्यकता है? आप्ट्यूड से संपर्क करें कार्यकारी दल सीधे। यह आश्चर्यजनक है कि कितना एक छोटा सा ईमेल आपकी उत्पादकता को तेजी से बढ़ा सकता है।

गाइ डेरासा

वरिष्ठ उपाध्यक्ष

ईमेल पता है

p: 630.692.6700 ext। 406

श्रीनाथ पेरेपल्ली

वाइस राष्ट्रपति

ईमेल SRINATH

p: 630.692.6700 ext। 402

उदय मेहता

विकास के उपाध्यक्ष

ईमेल UDAY

पी: 630.692.6700। ext। 403

डायना गुज़मैन

संचार प्रशासक

EMAIL DIANA

p: 630.692.6700 ext। 409