Kajian Kes Data Besar:
Pelaksanaan Hadoop

Menyusun dan menganalisis penyimpanan data tidak berstruktur secara besar-besaran boleh menjadi cabaran yang menakutkan.

Soalan timbul mengenai bagaimana menguruskan data ini; Berapa kos penyelesaian? Di mana kita menyimpannya? Bagaimana kita menganalisisnya dengan cekap? Adakah pangkalan data hubungan kita dapat menyusun dan menyoal data ini dengan berkesan?

Lebih Lanjut

Cabaran Data Besar

Pelanggan kami, peneraju domain Pengangkutan dan Logistik, menghadapi masalah besar ini. Gabungan, trak mereka menempuh jarak kira-kira 8 juta batu sehari untuk menghantar kargo mereka. Pelanggan memerlukan kaedah untuk menganalisis corak perjalanan trak dengan berkesan untuk mendapatkan pemahaman mengenai pelbagai masalah termasuk berapa banyak "batu kosong" yang terkumpul di laluan dan seterusnya membuat penyesuaian untuk penghantaran yang lebih cekap.

Dengan menggunakan perisian pelacakan logistik dalaman mereka, Pelanggan telah menyimpan sementara fail log untuk menganalisis dan men-debug masalah yang berkaitan dengan "proses pemilihan" pengoptimal. Oleh kerana sejumlah besar data dimasukkan ke dalam fail ini, mereka hanya menyimpan data ini untuk jangka waktu yang pendek. Selain itu, sejak data tidak terstruktur, pengembang harus mengekstrak, mengurai, dan mencari data secara manual setiap kali mereka perlu melakukan analisis.

Kes Perniagaan Data Besar

Satu penyelesaian diperlukan untuk menambahkan struktur pada data log ini, memberikan kemampuan untuk menjalankan pertanyaan ad-hoc ketika masalah terjadi dan melakukan analisis terhadap data untuk meningkatkan kecekapan laluan trak. Sistem pangkalan data perhubungan tradisional akan terlalu padat sumber daya kerana jumlah dan halaju. Pelanggan memerlukan penyelesaian data yang besar.

Keperluan:

  • Pemprosesan dan penyimpanan data kelantangan / halaju tinggi
  • Keupayaan untuk membuat pertanyaan ad-hoc dan menjalankan analisis terhadap data
  • Pengindeksan dan organisasi data yang mampan
  • Visualisasi data untuk pengguna perniagaan

Penyelesaian Data Besar: Pelaksanaan Hadoop

Setelah memperoleh maklumat melalui proses penemuan dan pengumpulan keperluan, kami membuat penyelesaian data besar menggunakan Hadoop bersama dengan gabungan komponen sumber terbuka utama yang lain untuk memanfaatkan potensi penuhnya. Dengan berbuat demikian, kami membuat seni bina MapReduced yang digambarkan di bawah.

Penyelesaian kami melakukan pra-proses dan menyiapkan data yang akan digunakan, membuat fail "penyelesaian" dan "masalah". Fail-fail ini kemudian digabungkan dan diedarkan: fail log di mana dihantar ke Solr untuk pengindeksan dan data "penyelesaian" ke HDFS. Data kemudian disalurkan ke sink untuk memproses dan memuatkannya ke dalam komponen Hadoop, yang kemudian diedarkan ke Solr Cloud dan HDFS, masing-masing. Hasil akhirnya adalah ketersediaan data berstruktur dalam pelbagai format, dengan fleksibiliti untuk pertanyaan latensi rendah yang disediakan melalui Cloudera Impala dan visualisasi data dengan sambungan OBIEE.

JADUAL PANGGILAN HARI INI

Hasil Akhir

Dengan sumber perkakasan yang minimum dan koleksi perisian sumber terbuka yang tidak memerlukan bayaran pelesenan, kami menyedari penyelesaian data besar Pelanggan dengan sebahagian kecil daripada kos yang diperlukan oleh penyelesaian pangkalan data hubungan tradisional. Pelaksanaan Hadoop menghasilkan penjimatan kos dan masa, dengan keuntungan tambahan dari peningkatan produktiviti yang akan mereka capai dengan aset analisis baru mereka.

Kesimpulan

Mungkinkah organisasi anda mendapat keuntungan daripada penyelesaian data besar sumber terbuka dengan Hadoop? Sekiranya anda mengendalikan set data besar yang memerlukan pandangan analitis, maka jangan cari lagi. Aptude membawa konsultasi IT selama dua dekad, dengan kepakaran dalam pelaksanaan data besar dan penyelesaian kecerdasan perniagaan Microsoft dan Oracle.

“Aptude menyediakan sokongan Oracle DBA di dalam dan luar pesisir, yang merangkumi penyelesaian masalah, cadangan, pemulihan, migrasi, peningkatan, dan penyelenggaraan harian pelayan pangkalan data Oracle. Aptude telah bekerjasama dengan pasukan kami selama empat tahun terakhir dan kami terus menggunakannya dan berpuas hati dengan pekerjaan mereka. "

Warren E.,
Schneider Nasional

Terus Melangkah ke Hadapan dengan Aptude

Aptude adalah firma perkhidmatan profesional IT anda sendiri. Kami menyediakan sumber kelas pertama kepada pelanggan kami dengan cara yang berterusan dan dapat menampung kos.

Perkhidmatan sokongan kami akan membebaskan kakitangan IT kanan anda dari beban masalah penyelenggaraan seharian. Sekarang mereka akan mempunyai masa untuk melancarkan projek dan aplikasi baru yang anda nantikan. Ringkasnya, kami dapat membebaskan sumber anda dan menampung kos anda. Mari berbual pantas untuk membincangkan perkhidmatan eksklusif kami.

HUBUNGI KAMI HARI INI

Apa Yang Anda Bekerja?

Mencari penyelesaian teknologi pintar? Mencari rundingan mengenai projek anda yang akan datang? Perlukan sebut harga untuk perkhidmatan? Hubungi Aptude's pasukan eksekutif secara langsung. Sungguh mengagumkan betapa satu e-mel kecil dapat mempercepat produktiviti anda.

Uday Mehta

Rakan Kongsi Urusan

EMAIL HARI INI

Guy DeRosa

Rakan Kongsi Urusan

EMAIL GUY

Srinath Secara Parepally

Rakan Kongsi Urusan

SRINATH EMAIL