porównywarki cen brzmią bardzo łatwo na papierze i równie trudno je wdrożyć w praktyce. Opracowanie solidnych, skutecznych i skalowalnych mechanizmów analizy cen wymaga od nas sprostania dwóm szerokim wyzwaniom:
- agregacja danych na dużą skalę
- użyj technik normalizacji opartych na ML/AI, aby wyczyścić dane, abyśmy mogli wydobyć z nich znaczące informacje
zdefiniujmy najpierw wyzwania związane z agregacją danych, skalowanie – w większości scenariuszy biznesowych musimy zdobyć z pewnością kilka milionów punktów danych. Zazwyczaj w celu pozyskania informacji Platforma porównawcza musi zintegrować się z kilkoma rynkami e-com i stale monitorować informacje o cenach na pełnych kategoriach produktów w celu wykrycia nowych informacji. Według niektórych szacunków, tylko Amazon (. com) ma listę Produktów 12 milionów produktów, jeśli dodasz sprzedawców Amazon Marketplace, to pęcznieje do oszałamiających 350 milionów produktów.
powiedzmy, że jeśli chcesz porównać jedną kategorię produktów 5000 produktów na 8 rynkach co dwie godziny, patrzymy na ~500 tysięcy indeksów dziennie. Istnieje wiele innych wyzwań, przed którymi stoi silnik zaopatrzenia, a stają się one nawet poważne, gdy zaczynasz działać na dużą skalę. Tylko wymagania sprzętowe związane z założeniem farmy serwerów byłyby ogromne. Nie przeszliśmy nawet do języka, kodów pocztowych, indeksowania wielostronicowego i zasięgu aplikacji mobilnych.
zazwyczaj platformy porównawcze są zbudowane do działania w złożonych środowiskach internetowych, które nie tylko pozyskują dane z wielu rynków e-com,ale także zapewniają dostęp do historycznego magazynu wszystkich pozyskanych danych, umożliwiając klientom uzyskanie unikalnych, szeregów czasowych.
drugie wyzwanie jest jeszcze większe, jak zrozumieć informacje po uzyskaniu wszystkich punktów danych z sieci. Jak to przetwarzasz?
faktem jest, że World-wide-web nie jest jednolitym miejscem, niektóre strony są przyjazne integracji, ale większość stron internetowych nie. Publikują informacje dla odwiedzających do przeczytania, a nie dla inteligentnego porównywarki cen, aby śledzić konkurencyjne ceny. Tak więc porównywarki muszą być inteligentne i wymagają ciągłego ulepszania w celu indeksowania różnych stron internetowych.
niezwykle trudno jest zintegrować się ze stronami internetowymi w skali, ponieważ nie ma uniwersalnych standardów tworzenia stron internetowych. MS vs Google wojna o korzystanie z przeglądarki jest legendarna i tak naprawdę nie mamy zdefiniowanych standardów internetowych, przynajmniej nie praktycznie.
ze względu na ogromny szum i brak struktury w danych internetowych, musimy opracować dość zaawansowane techniki normalizacji, aby wyczyścić dane, czasami używając sztucznej inteligencji do analizy obrazu i tekstu (niektóre startupy koncentrują się tylko na analizie obrazu ze stron e-commerce). Po uporządkowaniu danych możemy myśleć o wydobyciu z nich istotnych informacji.
każde Narzędzie analizy cen opiera się na złożonych modelach semantycznych opartych na uczeniu maszynowym, które pomagają zrozumieć dane. Jednak narzędzia do analizy cen zajmują dużo czasu, aby dojrzewać i rozwijać się, po opracowaniu zapewniają menedżerom marek niemal symulator danych w czasie rzeczywistym i pomagają im podjąć kilka krytycznych dla biznesu umiejętności, takich jak dynamiczne ustalanie cen, mierzenie elastyczności cenowej, uzyskiwanie rentowności na poziomie SKU, a co najważniejsze, możliwość porównywania wszystkich tych wskaźników z konkurentami.