ビッグデータのケーススタディ:
Hadoopの実装

非構造化データの大規模なストアを整理および分析することは、困難な課題になる可能性があります。

Questions arise of how to manage this data;このデータを管理する方法について疑問が生じます。 How much will a solution cost?ソリューションの費用はいくらですか? Where do we store it?どこに保管しますか? How do we efficiently analyze it?どうすれば効率的に分析できますか? Will our relational databases be able to effectively sort and query this data?リレーショナルデータベースは、このデータを効果的に並べ替えてクエリすることができますか?

続きを読む

ビッグデータの課題

Our client, a leader in the Transportation and Logistics domain, was facing this big data predicament.運輸・ロジスティクス分野のリーダーである私たちのクライアントは、このビッグデータの窮状に直面していました。 Combined, their trucks travel roughly 8 million miles per day to deliver their cargo.合わせて、彼らのトラックは貨物を配達するためにXNUMX日あたり約XNUMX万マイルを移動します。 The Client needed a method to effectively analyze truck travel patterns to gain an understanding on a myriad of issues including how many “empty miles” were accrued on routes and subsequently make adjustments for more efficient deliveries.クライアントは、トラックの移動パターンを効果的に分析して、ルートで発生した「空のマイル」の数などの無数の問題を理解し、その後、より効率的な配送のために調整を行う方法を必要としていました。

Utilizing their in-house logistics tracking software, the Client had been temporarily storing log files for analyzing and debugging issues related to the optimizer's “selection process”.クライアントは、社内のロジスティクス追跡ソフトウェアを利用して、オプティマイザーの「選択プロセス」に関連する問題を分析およびデバッグするためのログファイルを一時的に保存していました。 Due to the massive amount of data being pushed into these files, they were only retaining this data for a short duration.これらのファイルには大量のデータがプッシュされているため、このデータは短期間しか保持されていませんでした。 Additionally, since the data was unstructured, developers would have to manually extract, parse, and search the data every time they needed to perform an analysis.さらに、データは構造化されていないため、開発者は分析を実行する必要があるたびに、データを手動で抽出、解析、および検索する必要がありました。

ビッグデータのビジネスケース

これらのデータログに構造を追加し、問題が発生したときにアドホッククエリを実行し、データに対する分析を実行してトラック輸送ルートの効率を改善する機能を提供するソリューションが必要でした。 従来のリレーショナルデータベースシステムは、ボリュームと速度のためにリソースを大量に消費していました。 クライアントにはビッグデータソリューションが必要でした。

認定要件:

  • 大容量/高速データの処理と保存
  • アドホッククエリとデータに対する分析の実行機能
  • 持続可能なデータのインデックス作成と組織化
  • ビジネスユーザー向けのデータ視覚化

ビッグデータソリューション:Hadoopの実装

発見および要件収集プロセスを通じて情報を取得した後、Hadoopを他の主要なオープンソースコンポーネントと組み合わせて活用し、その潜在能力を最大限に活用するビッグデータソリューションを設計しました。 その際、以下に示すMapReducedアーキテクチャを作成しました。

当社のソリューションは、消費するデータを前処理および準備し、「ソリューション」および「問題」ファイルを作成します。 次に、これらのファイルが集約されて配布されます。インデックス作成のためにSolrに送信されるログファイルと、HDFSへの「ソリューション」データ。 その後、データはシンクに渡されて処理され、Hadoopコンポーネントに読み込まれます。Hadoopコンポーネントは、それぞれSolr CloudとHDFSに配信されます。 最終結果は、Cloudera Impalaで提供される低遅延クエリの柔軟性と、OBIEE接続を使用したデータの視覚化により、複数の形式での構造化されたデータ可用性です。

今日の電話のスケジュール

最終結果

最小限のハードウェアリソースと、ライセンス料を必要としないオープンソースソフトウェアのコレクションにより、従来のリレーショナルデータベースソリューションが必要としていたコストの数分のXNUMXで、クライアントのビッグデータソリューションを実現しました。 Hadoopの実装により、コストと時間を節約でき、新しい分析資産で生産性が向上するという追加の利点も得られました。

結論

Aptudeは、ビッグデータの実装とマイクロソフトとオラクルの両方のビジネスインテリジェンスソリューションの専門知識を備えた、XNUMX年にわたるITコンサルティングを提供します。

「Aptudeは、Oracleデータベースサーバーのトラブルシューティング、バックアップ、リカバリ、移行、アップグレード、および日常のメンテナンスを含む、オンサイトおよびオフショアのOracleDBAサポートを提供します。 Aptudeは過去XNUMX年間私たちのチームと協力してきましたが、私たちはそれらを使い続け、彼らの仕事に満足しています。」

ウォーレンE.、
シュナイダーナショナル

Aptudeで前進し続ける

Aptudeは、個人のITプロフェッショナルサービス会社です。 お客様に最高のリソースを継続的にコストを抑えて提供します。

私たちのサポートサービスは、日常のメンテナンスの問題という圧倒的な負担からシニアITスタッフを解放します。 今、彼らはあなたが待っていたそれらの新しいプロジェクトとアプリケーションを立ち上げる時間を持っているでしょう。 簡単に言うと、リソースを解放してコストを抑えることができます。 私たちの排他的なサービスについて話し合うために簡単なチャットをしましょう。

お問い合わせ

何に取り組んでいますか?

インテリジェントな技術ソリューションをお探しですか? 今後のプロジェクトに関する相談をお探しですか? サービスの見積もりが必要ですか? Aptude'sに連絡する 経営陣 直接。 XNUMX通の小さなメールで生産性を急速に向上できるのは驚くべきことです。

ウダイ・メタ

パートナーの管理

メールUDAY

ガイ・デローサ

パートナーの管理

電子メールの男

スリナス・パレパリー

パートナーの管理

メールスリナート