Forbesによると、企業の95%は、大量の非構造化データを適切に処理するための専門知識や予算が不足しています。 つまり、データは、品質に関する主要なQAなしで、簡単に消費できるデータウェアハウスに構造化されることなく、傾向を分析されることなく、洞察に満ちた視覚化に変換されることなく、予測AIや機械学習アプリケーションで使用されることなく、衰えることなく成長し続けます。 。 つまり、多くの企業が最も収益性の高いビジネス資産のXNUMXつを未開発のまま残しています。

残念ながら、専門知識の欠如は、今日の企業が直面しているXNUMXの一般的なデータサイエンスの問題のXNUMXつにすぎません。 このブログでは、XNUMXのそれぞれをより詳細に分類します。

企業が直面する12のデータ問題

サイロ化されたデータ

サイロ化されたデータは、XNUMXつのグループまたはビジネスユニットによって保持され、他のグループによって共有されないデータです。 これの非常に一般的な例は、マーケティンググループと販売グループの間です。 営業はDynamicsCRMまたはSalesforceを実行している可能性がありますが、マーケティングチームはMarketoまたはHubSpotを実行している可能性があります。 これらのツールのデータは接続できますが、多くの場合、包括的なデータ管理と明確なコミュニケーションが欠如しているため、接続できません。

データ入力エラー

データ入力エラーは、入力時に発生する品質の問題です。 データ入力の問題は、文字起こしまたは転置エラーが原因である可能性があり、多くの場合、人間の入力によって引き起こされます。 残念ながら、高品質の出力を得ることができるのは、適切なデータ入力がある場合のみです。

データ品質が悪い

データに関する大きな問題のXNUMXつは、データ品質です。 マーケターがCRMから電子メールのリストを引き出したのに、電子メールアドレスの多くがバウンスしたことに気付いたのは何回ですか。 または、CRMデータが古くなったために以前の会社にいなくなったリードと、企業の営業担当者が接続を試みたことが何回ありますか?

データ品質は、適時性、整合性、適合性、一意性、一貫性、完全性、正確性などの側面で構成されています。 これらの次元のいずれかが間違っていると、データ分析、視覚化の精度、そして最終的には予測分析や機械学習の使いやすさに影響を与える可能性があります。

Aptudeのデータエンジニアリングチームは、まさにこの理由から、データ品質のベストプラクティスの作成と実装を専門としています。データはあるが、それが良くない場合は、 データがまったくない.

データの大洪水

多くの組織は、大量のデータを収集する方法を見つけました。 残念ながら、データを収集する機能は、データを処理、管理、分析するほとんどの組織の機能をはるかに上回っています。 データ、特に非構造化データが多すぎると、データレイクが発生し、企業の純利益にまったく貢献せずにスペースを占有します。 さらに悪いことに、管理なしでデータが長く存在するほど、データの価値は低下します。

データをより有効に活用するには、ダッシュボードやオンデマンドの視覚化で使用できるデータウェアハウスを作成することをお勧めします。 そのインフラストラクチャが整備されると、利害関係者はますますデータ主導の意思決定を行うことができるため、データはコストではなく投資になり始めます。

データの専門知識の欠如

競争力を維持したい場合、データエンジニアリング、予測分析、機械学習、またはビッグデータソリューションを実装できないチームを持つことは問題です。 「デジタルネイティブ」の競合他社は、データ主導の組織文化を持っていることが多く、トレンドに迅速に対応できないレガシー企業を非常に迅速に追い抜くことができます。

チーム全体を社内で採用できない場合は、明確に定義されたプロジェクトを通じてデータプロジェクトを削減することをお勧めします。 プロジェクトの全期間を通じて、さまざまなスキルセットを備えたチームメンバーを交代させることができるため、非常に価値のある作業を行いながら、コストを管理できます。

データ重複

データの重複は、複数の場所にデータのコピーが過剰にある場合に発生します。 これにより、付加価値を追加することなく、ストレージ容量が削減されます。 この問題を解決するには、組織はデータの「信頼できる唯一の情報源」を開発する必要があります。これは、多くの場合、データウェアハウスにフィードするデータパイプラインを作成することの価値です。

データの一貫性の欠如

企業が直面する別の問題は? データセット全体の変数の測定における一貫性の欠如。 この不整合は、多くのクリーンアップ作業がなければ、データを単一の構造化された場所に簡単に結合できないことを意味します。

この問題を解決するために、企業はデータディクショナリを開発することで会話を始めることができます。 正しく実行されたデータディクショナリは、システム内のデータタイプ、フィールド、ディメンション、およびメトリックを一覧表示します。 データの品質と標準がわかれば、システム間の違いの程度を評価し、不整合を解決するためのアクションプランを立てることができます。

チーム間のミスアラインメント

私たちが何度も目にしたことのXNUMXつは、特にデータチーム間でのチーム間のミスアライメントです。 たとえば、データエンジニアリングチームがデータ視覚化チームとは異なる手順、目標、およびデータ管理の標準を持っている場合が多くあります。 この不整合により、一方のチームがもう一方のチームの作業を取り消すプッシュプル状況が発生し、途中で恨みと混乱が生じます。

Aptudeのテクニカルプロジェクトマネージャーは、組織に入り、データチーム間のコミュニケーションと共有プラクティスを促進することに長けています。 これにより、チームメンバー間の連携が強化され、部門間での作業の一貫性が高まります。

視覚化の欠如

もうXNUMXつの一般的なデータの問題は、データの視覚化の欠如です。 これが発生した場合、データ主導のストーリーを伝えたり、データから迅速な洞察を収集したりする方法はありません。 したがって、大量のデータを収集していますが、それをうまく利用することはできません。

Aptudeでは、クライアント向けに堅牢なデータの視覚化とダッシュボード(Power BIなど)を作成してきた数十年の経験があります。 ほんの数例を挙げると、CCRPIパフォーマンス、K12スマートレポートシステム、輸送、ポートフォリオおよびプロジェクト管理用のダッシュボードを作成しました。 データダッシュボード機能とケーススタディの詳細をご覧ください。

プライバシーに関する懸念

企業、特にグローバル企業やPPIを扱う企業にとって増大している問題は、データのプライバシーとセキュリティです。 この問題は、保存されているデータが安全でないか、プライバシー法や規制に準拠していない場合、またはセキュリティ対策が緩い場合に発生します。

データの透明性の欠如

データの透明性の欠如は、場所やアプリケーションソースに関係なく、データに簡単にアクセスして操作できず、そのデータの正確性と一貫性を信頼できないことです。 2017年のある調査によると、「マーケターの32%が、プログラマティックマーケティングの将来の成長と規模を阻害する最大の要因として「透明性の欠如」を挙げています。」1

Forresterによる別の調査–今回の経営幹部は、「調査した100人の経営幹部のうち、85%が、ターゲットオーディエンスを定義するためのデータの可視性の欠如を訴えています。 そして、ほぼ同じくらい多くの人が、品質と信頼性のランキングはないと言っています。」2

データに透明性と信頼性を追加するには、企業は既存のデータセットにサードパーティのデータパイプラインを追加して、欠落しているデータを補強し、品質管理として機能することを検討する必要があります。

不適切なデータリンク

最後に、企業でよく見られる最後のデータの問題は、異なるデータセットを接続してセマンティッククエリを実行する機能がないことです。 または、データが相互にリンクされている場合、そのデータは不適切にリンクされているため、意思決定にはあまり有効ではありません。

Aptudeが役立ちます。

どこから始めればよいか、データ、人員、ツール、予算の観点から何が必要かを理解する準備ができたら、私たちがお手伝いします。 私たちのプロジェクトの多くは、特にメキシコのメキシコシティにPython Center of Excellenceがあるため、データ関連のイニシアチブを伴います。 私たちの助けを得るのは、電子メール、フォーム、または電話で私たちに連絡するのと同じくらい簡単であり、会話を始めることは絶対に義務がありません。 機密情報を保護するためにNDAを送信することもあります。 今日お問い合わせください。

開始する最も速い方法は、このページのフォームに記入して詳細情報を要求するか、予約リンクを使用してデータチームの担当者との相談電話を予約することです。

相互NDAをフォローアップしてから、要件、目標、およびニーズについての会話を開始します。 最後に、私たちは協力して、お客様のニーズと予算に合った専門家の人員配置またはコンサルティングソリューションを設計します。 準備ができたら、次に進みます。

それはすべてこんにちはから始まります。 会話を始めるために今日私達に連絡してください。

ソース:
1. https://www.prnewswire.com/news-releases/survey-marketers-say-lack-of-data-transparency-stunts-programmatic-growth-300448210.html
2. https://www.mediapost.com/publications/article/310141/the-data-swamp-forrester-study-shows-lack-of-tran.html