価格比較エンジンは紙の上で非常に簡単で、実際に実装することも同様に困難です。 健全で効果的で拡張性の高い価格インテリジェンスエンジンを開発するには、二つの広範な課題に取り組む必要があります:
- 大規模なデータ集約
- ML/AIベースの正規化技術を使用してデータをクリーンアップし、そこから意味のある洞察を発掘できるようにします
まず、データ集約の課題を定義しましょう。 通常、情報を調達するために、価格比較プラットフォームは、いくつかのe-com市場と統合し、継続的に新しい情報を検出するために、完全な製品カテゴリ いくつかの見積もりによると、Amazon（.com）だけで1200万製品の製品名簿があり、Amazon Marketplaceの売り手を追加すると、驚異的な3億5000万製品に膨れ上がります。
2時間ごとに8つのマーケットプレイスで5000製品の1つの製品カテゴリを比較したい場合は、1日あたり〜500kのクロールを見ています。 ソーシングエンジンが直面する他の多くの課題があり、大規模に動作を開始するにつれてさらに深刻になります。 サーバーファームを設定するハードウェア要件だけでは膨大なものになります。 私たちも、言語、郵便番号、マルチページのクロールとモバイルアプリのカバレッジに全く行っていません。
通常、価格比較プラットフォームは、複数のe-com市場からデータを取得するだけでなく、取得したすべてのデータの履歴ストアへのアクセスを提供し、クライ
第二の課題は、ウェブからすべてのデータポイントを取得した後、情報をどのように理解するかということです。 どのように処理しますか？
事実、World-wide-webは統一された場所ではなく、いくつかのウェブサイトは統合に適していますが、ほとんどのウェブサイトはそうではありません。 彼らは、競争力のある価格を追跡するためのスマートな価格比較エンジンのためではなく、訪問者が読むための情報を投稿します。 そのため、比較エンジンはスマートであり、異なるwebサイトをクロールするために一定の微調整を必要とする必要があります。
ウェブサイト開発のための普遍的な基準がないため、大規模なウェブサイトと統合することは非常に困難です。 ブラウザの使用のためのMS対Google戦争は伝説的であり、私たちは実際には少なくとも実際にはweb標準を定義していません。
大量のノイズとウェブデータの構造の欠如のために、データをきれいにするためのかなり高度な正規化技術を開発する必要があります。 データを整理した後、そこから意味のある情報を発掘することを考えることができます。
各価格設定インテリジェンスツールは、データの意味を理解するのに役立つ複雑な機械学習ベースのセマンティックモデルに基づいています。 しかし、価格設定インテリジェンスツールは成熟して開発するのに多くの時間がかかり、開発されると、ブランドマネージャーにリアルタイムデータのほぼシミュレータを提供し、動的な価格設定、価格弾力性の測定、SKUレベルの収益性の導出、これらすべての指標を競合他社と比較する能力など、ビジネスに不可欠ないくつかの能力を引き受けるのに役立ちます。