Los motores de comparación de precios suenan muy fáciles en papel e igualmente difíciles de implementar en la práctica. El desarrollo de motores de inteligencia de precios sólidos, eficaces y escalables nos obliga a abordar dos grandes desafíos:
- Agregación de datos a gran escala
- Utilice técnicas de normalización basadas en ML / AI para limpiar los datos de modo que podamos desenterrar información significativa de los mismos
Definamos los desafíos de agregación de datos, primero, escalemos: en la mayoría de los escenarios comerciales, necesitamos adquirir un par de millones de puntos de datos. Por lo general, para obtener información, la plataforma de comparación de precios debe integrarse con varios mercados de comercio electrónico y monitorear continuamente la información de precios en categorías completas de productos para detectar nueva información. Según algunas estimaciones, solo Amazon (. com) tiene una lista de productos de 12 millones de productos, si agrega vendedores de Amazon Marketplace, se eleva a la asombrosa cifra de 350 millones de productos.
Digamos que si desea comparar una categoría de productos de 5000 productos en 8 mercados cada dos horas, estamos buscando ~500k rastreos por día. Hay muchos otros desafíos a los que se enfrenta un motor de abastecimiento y se vuelven incluso graves a medida que comienza a operar a gran escala. Solo los requisitos de hardware para configurar una granja de servidores serían enormes. Ni siquiera hemos entrado en el idioma, los códigos postales, el rastreo de varias páginas y la cobertura de aplicaciones móviles.
Por lo general, las plataformas de comparación de precios están diseñadas para operar en entornos web complejos que no solo adquieren datos de múltiples mercados de comunicaciones electrónicas, sino que también proporcionan acceso al almacén histórico de todos los datos adquiridos, lo que permite a los clientes obtener información única de series temporales.
El segundo desafío es aún más grande, cómo dar sentido a la información una vez que adquieras todos los puntos de datos de la Web. ¿Cómo lo procesa?
El hecho es que la World-wide-web no es un lugar uniforme, algunos de los sitios web son fáciles de integrar, pero la mayoría de los sitios web no lo son. Publican información para que los visitantes la lean, no para un motor de comparación de precios inteligente para rastrear precios competitivos. Por lo tanto, los motores de comparación deben ser inteligentes y requieren ajustes constantes para rastrear diferentes sitios web.
Es extremadamente difícil de integrar con sitios web a una escala, ya que no hay estándares universales para el desarrollo de sitios web. MS vs Google war para el uso del navegador es legendario y realmente no tenemos estándares web definidos, al menos no prácticamente.
Debido al enorme ruido y la falta de estructura en los datos web, necesitamos desarrollar técnicas de normalización bastante avanzadas para limpiar los datos, a veces utilizando IA para el análisis de imágenes y texto(Algunas startups se centran solo en el análisis de imágenes de sitios web de comercio electrónico). Después de organizar los datos, podemos pensar en desenterrar información significativa de ellos.
Cada herramienta de inteligencia de precios se ha basado en modelos semánticos complejos basados en aprendizaje automático que ayudan a dar sentido a los datos. Sin embargo, las herramientas de inteligencia de precios tardan mucho tiempo en madurar y desarrollarse, una vez desarrolladas, proporcionan a los gerentes de marca casi un simulador en datos en tiempo real y los ayuda a emprender varias habilidades críticas para el negocio, como Precios dinámicos, Medición de Elasticidad de precios, Obtención de rentabilidad a nivel de SKU y, lo mejor de todo, la capacidad de comparar todas estas métricas con la competencia.