Prijsvergelijkingsmotoren klinken op papier zeer eenvoudig en in de praktijk even moeilijk te implementeren. Het ontwikkelen van gezonde, effectieve en schaalbare price intelligence-motoren vereist dat we twee brede uitdagingen aangaan:
- grootschalige gegevensaggregatie
- gebruik op ML/AI gebaseerde normalisatietechnieken om de gegevens schoon te maken, zodat we er zinvolle inzichten uit kunnen halen
laten we eerst gegevensaggregatie uitdagingen definiëren, schaal – in de meeste bedrijfsscenario ‘ s moeten we zeker een paar miljoen datapunten verwerven. Meestal, voor sourcing informatie, de prijsvergelijkingsplatform moet integreren met verschillende e-com marktplaatsen en continu toezicht op de prijsinformatie over complete productcategorieën om nieuwe informatie te detecteren. Volgens sommige schattingen, gewoon Amazon (. com) heeft een product rooster van 12 miljoen producten, als je Amazon Marketplace verkopers toe te voegen dan zwelt het tot onthutsende 350 miljoen producten.
Als u om de twee uur één productcategorie van 5000 producten op 8 markten wilt vergelijken, kijken we naar ~500k crawls per dag. Er zijn tal van andere uitdagingen die een sourcing motor wordt geconfronteerd en ze worden zelfs ernstig als je begint te werken op grote schaal. Alleen hardware eisen van het opzetten van een server farm zou enorm zijn. We hebben zelfs niet gegaan in taal, postcodes, multi-pagina kruipen en mobiele apps dekking op alle.
gewoonlijk zijn platforms voor prijsvergelijking gebouwd om te werken in complexe webomgevingen die niet alleen gegevens van meerdere e-com-markten verwerven, maar ook toegang bieden tot de historische opslag van alle verkregen gegevens, waardoor klanten unieke tijdreeksinzichten kunnen afleiden.
de tweede uitdaging is nog groter, hoe je de informatie kunt begrijpen zodra je alle datapunten van het Web hebt verkregen. Hoe verwerk je het?
feit is dat World-wide-web geen uniforme plaats is, sommige websites zijn integratievriendelijk, maar de meeste websites niet. Ze plaatsen informatie voor bezoekers om te lezen, niet voor een slimme prijsvergelijking motor om concurrerende prijzen te volgen. Zo, vergelijking motoren moeten slim zijn en vereisen constante tweaken voor het kruipen van verschillende websites.
het is uiterst moeilijk om op grote schaal met websites te integreren, aangezien er geen universele normen voor de ontwikkeling van websites bestaan. MS vs Google oorlog voor browser gebruik is legendarisch en we hebben niet echt gedefinieerd webstandaarden, althans niet praktisch.
vanwege de enorme ruis en het gebrek aan structuur in webgegevens, moeten we vrij geavanceerde normalisatietechnieken ontwikkelen om de gegevens op te schonen, soms met behulp van AI voor Beeld-en tekstanalyses(sommige startups richten zich alleen op beeldanalyses van e-commerce websites). Na het organiseren van de gegevens, kunnen we nadenken over het opgraven van zinvolle informatie uit het.
elk instrument voor prijsinformatie is gebaseerd op complexe semantische modellen op basis van machine-learning die helpen de gegevens te begrijpen. Echter, pricing intelligence tools nemen veel tijd om te rijpen en te ontwikkelen, eenmaal ontwikkeld bieden ze merkmanagers met bijna een simulator op real-time gegevens en helpt hen ondernemen verschillende bedrijfskritische vaardigheden, zoals dynamische prijzen, het meten van prijselasticiteit, het afleiden van SKU-niveau winstgevendheid en het beste van alles, de mogelijkheid om al deze statistieken te vergelijken met concurrenten.