semblent très faciles sur le papier et tout aussi difficiles à mettre en œuvre dans la pratique. Le développement de moteurs d’intelligence des prix solides, efficaces et évolutifs nous oblige à relever deux grands défis:
- Agrégation de données à grande échelle
- Utilisez des techniques de normalisation basées sur le ML / AI pour nettoyer les données afin que nous puissions en extraire des informations significatives
Définissons d’abord les défis d’agrégation de données, d’abord à l’échelle – dans la plupart des scénarios commerciaux, nous devons acquérir certainement quelques millions de points de données. Habituellement, pour obtenir des informations d’approvisionnement, la plate-forme de comparaison de prix doit s’intégrer à plusieurs marchés e-com et surveiller en permanence les informations de prix sur des catégories de produits complètes pour détecter de nouvelles informations. Selon certaines estimations, juste Amazon (.com) a une liste de produits de 12 millions de produits, si vous ajoutez des vendeurs Amazon Marketplace, cela gonfle à 350 millions de produits.
Disons que si vous voulez comparer une catégorie de produits de 5000 produits sur 8 marchés toutes les deux heures, nous examinons ~ 500k crawls par jour. Il existe de nombreux autres défis auxquels un moteur d’approvisionnement est confronté et ils deviennent encore plus graves lorsque vous commencez à fonctionner à grande échelle. Juste les exigences matérielles de la configuration d’une batterie de serveurs seraient énormes. Nous ne sommes même pas entrés dans la langue, les codes postaux, l’exploration de plusieurs pages et la couverture des applications mobiles.
Habituellement, les plates-formes de comparaison de prix sont conçues pour fonctionner dans des environnements Web complexes qui non seulement acquièrent des données de plusieurs marchés e-com, mais donnent également accès au magasin historique de toutes les données acquises, permettant aux clients de tirer des informations uniques sur des séries chronologiques.
Le deuxième défi est encore plus grand, comment donner un sens à l’information une fois que vous avez acquis tous les points de données du Web. Comment le traitez-vous?
Le fait est que le World-wide-web n’est pas un lieu uniforme, certains sites Web sont compatibles avec l’intégration, mais la plupart des sites Web ne le sont pas. Ils publient des informations à lire pour les visiteurs, pas pour un moteur de comparaison de prix intelligent pour suivre les prix compétitifs. Ainsi, les moteurs de comparaison doivent être intelligents et nécessitent des ajustements constants pour explorer différents sites Web.
Il est extrêmement difficile de s’intégrer à des sites Web à grande échelle car il n’existe pas de normes universelles pour le développement de sites Web. La guerre entre MS et Google pour l’utilisation du navigateur est légendaire et nous n’avons pas vraiment de normes Web définies, du moins pas pratiquement.
En raison du bruit énorme et du manque de structure des données Web, nous devons développer des techniques de normalisation assez avancées pour nettoyer les données, en utilisant parfois l’IA pour l’analyse d’images et de textes (certaines startups se concentrent uniquement sur l’analyse d’images à partir de sites Web de commerce électronique). Après avoir organisé les données, nous pouvons penser à en extraire des informations significatives.
Chaque outil de pricing Intelligence s’appuie sur des modèles sémantiques complexes basés sur l’apprentissage automatique qui aident à donner un sens aux données. Cependant, les outils de pricing intelligence prennent beaucoup de temps à mûrir et à se développer, une fois développés, ils fournissent aux responsables de marque presque un simulateur sur des données en temps réel et les aident à acquérir plusieurs capacités critiques telles que la tarification dynamique, la Mesure de l’élasticité-prix, La rentabilité au niveau SKU et, mieux encore, la capacité de comparer toutes ces mesures avec les concurrents.