Preisvergleichsmaschinen klingen auf dem Papier sehr einfach und in der Praxis ebenso schwierig umzusetzen. Um solide, effektive und skalierbare Price Intelligence Engines zu entwickeln, müssen wir zwei große Herausforderungen angehen:
- Groß angelegte Datenaggregation
- Verwenden Sie ML / AI-basierte Normalisierungstechniken, um die Daten zu bereinigen, damit wir aussagekräftige Erkenntnisse daraus gewinnen können
Lassen Sie uns zunächst die Herausforderungen bei der Datenaggregation definieren, skalieren – in den meisten Geschäftsszenarien müssen wir sicherlich einige Millionen Datenpunkte erfassen. Für die Beschaffung von Informationen muss die Preisvergleichsplattform in der Regel in mehrere E-Commerce-Marktplätze integriert werden und Preisinformationen zu vollständigen Produktkategorien kontinuierlich überwachen, um neue Informationen zu ermitteln. Nach einigen Schätzungen hat nur Amazon (.com) eine Produktliste von 12 Millionen Produkten, wenn Sie Amazon Marketplace-Verkäufer hinzufügen, dann schwillt es zu erstaunlichen 350 Millionen Produkten an.
Wenn Sie beispielsweise alle zwei Stunden eine Produktkategorie mit 5000 Produkten auf 8 Marktplätzen vergleichen möchten, sehen wir uns ~ 500k Crawls pro Tag an. Es gibt zahlreiche andere Herausforderungen, denen eine Beschaffungsmaschine gegenübersteht, und sie werden noch schwerwiegender, wenn Sie in großem Maßstab arbeiten. Nur die Hardwareanforderungen für die Einrichtung einer Serverfarm wären enorm. Wir haben uns noch nicht einmal mit Sprache, Postleitzahlen, mehrseitigem Crawling und der Abdeckung mobiler Apps befasst.
Normalerweise sind Preisvergleichsplattformen für den Betrieb in komplexen Webumgebungen konzipiert, die nicht nur Daten von mehreren E-Com-Marktplätzen erfassen, sondern auch Zugriff auf den historischen Speicher aller erfassten Daten bieten, sodass Kunden einzigartige Zeitreiheneinblicke ableiten können.
Die zweite Herausforderung ist noch größer, wie man die Informationen versteht, wenn man alle Datenpunkte aus dem Web bezieht. Wie verarbeiten Sie es?
Tatsache ist, dass das World Wide Web kein einheitlicher Ort ist, einige der Websites sind integrationsfreundlich, die meisten Websites jedoch nicht. Sie veröffentlichen Informationen, die Besucher lesen können, nicht für eine intelligente Preisvergleichsmaschine, um wettbewerbsfähige Preise zu verfolgen. Daher müssen Vergleichsmaschinen intelligent sein und erfordern ständige Optimierungen für das Crawlen verschiedener Websites.
Es ist extrem schwierig, Websites in großem Maßstab zu integrieren, da es keine universellen Standards für die Website-Entwicklung gibt. MS vs Google war für Browser-Nutzung ist legendär und wir haben nicht wirklich Web-Standards definiert, zumindest nicht praktisch.
Aufgrund des enormen Rauschens und der fehlenden Struktur in Webdaten müssen wir ziemlich fortgeschrittene Normalisierungstechniken entwickeln, um die Daten zu bereinigen, manchmal mit KI für Bild- und Textanalysen (Einige Startups konzentrieren sich nur auf Bildanalysen von E-Commerce-Websites). Nachdem wir die Daten organisiert haben, können wir darüber nachdenken, aussagekräftige Informationen daraus zu gewinnen.
Jedes Pricing Intelligence Tool basiert auf komplexen, auf maschinellem Lernen basierenden semantischen Modellen, die helfen, die Daten zu verstehen. Sobald sie entwickelt sind, bieten sie Markenmanagern fast einen Simulator für Echtzeitdaten und helfen ihnen dabei, mehrere geschäftskritische Fähigkeiten wie dynamische Preisgestaltung, Messung der Preiselastizität, Ableitung der Rentabilität auf SKU-Ebene und am besten von allen, Fähigkeit, all diese Metriken mit Wettbewerbern zu vergleichen.