motoarele de comparare a prețurilor sună foarte ușor pe hârtie și la fel de dificil de implementat în practică. Dezvoltarea unor motoare solide, eficiente și scalabile de informații privind prețurile ne obligă să abordăm două provocări majore:
- agregarea pe scară largă a datelor
- utilizați tehnici de normalizare bazate pe ML/AI pentru a curăța datele, astfel încât să putem descoperi informații semnificative din it
să definim provocările de agregare a datelor, în primul rând, la scară – în majoritatea scenariilor de afaceri trebuie să dobândim cu siguranță câteva milioane de puncte de date. De obicei, pentru furnizarea de informații, platforma de comparare a prețurilor trebuie să se integreze cu mai multe piețe e-com și să monitorizeze continuu informațiile despre prețuri pe categorii complete de produse pentru a detecta informații noi. Conform unor estimări, doar Amazon (. com) are o listă de produse de 12 milioane de produse, dacă adăugați vânzătorii Amazon Marketplace, atunci se umflă la 350 de milioane de produse uimitoare.
spuneți dacă doriți să comparați o categorie de produse de 5000 de produse pe 8 piețe la fiecare două ore, ne uităm la ~500K crawls pe zi. Există numeroase alte provocări cu care se confruntă un motor de aprovizionare și devin chiar severe pe măsură ce începeți să funcționați pe scară largă. Doar cerințele hardware de înființare a unei ferme de servere ar fi uriașe. Nici măcar nu am intrat în limbaj, coduri poștale, crawling pe mai multe pagini și acoperire de aplicații mobile.
de obicei, platformele de comparare a prețurilor sunt construite pentru a funcționa în medii web complexe, care nu numai că achiziționează date de pe mai multe piețe e-com, dar oferă și acces la magazinul istoric al tuturor datelor achiziționate, permițând clienților să obțină informații unice despre seriile de timp.
a doua provocare este și mai mare, cum să înțelegeți informațiile odată ce achiziționați toate punctele de date de pe Web. Cum îl procesați?
faptul este că World-wide-web nu este un loc uniform, unele dintre site-urile web sunt prietenoase cu integrarea, dar majoritatea site-urilor web nu. Ei Postează informații pentru vizitatori pentru a citi, nu pentru un motor inteligent de comparare a prețurilor pentru a urmări prețurile competitive. Deci, motoarele de comparație trebuie să fie inteligente și necesită modificări constante pentru accesarea cu crawlere a diferitelor site-uri web.
este extrem de greu de integrat cu site-urile web la o scară, deoarece nu există standarde universale pentru dezvoltarea site-urilor web. Războiul MS vs Google pentru utilizarea browserului este legendar și nu avem cu adevărat standarde web definite, cel puțin nu practic.
din cauza zgomotului enorm și a lipsei de structură a datelor Web, trebuie să dezvoltăm tehnici de normalizare destul de avansate pentru a curăța datele, uneori folosind AI pentru analiza imaginilor și a textului(unele startup-uri se concentrează doar pe analiza imaginilor de pe site-urile de comerț electronic). După organizarea datelor, ne putem gândi să dezgropăm informații semnificative din acestea.
fiecare instrument de informații privind prețurile s-a bazat pe modele semantice complexe bazate pe învățarea automată care ajută la înțelegerea datelor. Cu toate acestea, instrumentele de informații privind prețurile necesită mult timp pentru a se maturiza și a se dezvolta, odată dezvoltate, oferă managerilor de marcă aproape un simulator pe date în timp real și îi ajută să întreprindă mai multe abilități critice pentru afaceri, cum ar fi prețurile dinamice, măsurarea elasticității prețurilor, derivarea profitabilității nivelului SKU și, cel mai bine, capacitatea de a compara toate aceste valori cu concurenții.