os motores de comparação de preços soam muito fáceis no papel e igualmente difíceis de implementar na prática. Desenvolver mecanismos de inteligência de preços sólidos, eficazes e escaláveis exige que enfrentemos dois grandes desafios:
- Grande Escala de Agregação de Dados
- Usar ML/AI baseado em técnicas de normalização para limpar os dados de modo que somos capazes de descobrir significativa ensinamentos
Vamos definir os dados de agregação de desafios, em primeiro lugar, escala – na maioria dos cenários de negócios que devemos adquirir, certamente, um par de milhões de pontos de dados. Normalmente, para obter informações, a plataforma de comparação de preços deve se integrar a vários mercados de e-com e monitorar continuamente as informações de preços em categorias de produtos completas para detectar novas informações. De acordo com algumas estimativas, apenas a Amazon(.Com) tem uma lista de produtos de 12 milhões de produtos, se você adicionar vendedores do Amazon Marketplace, ela aumentará para impressionantes 350 milhões de produtos.
digamos que se você quiser comparar uma categoria de produto de 5000 produtos em 8 mercados a cada duas horas, Estamos olhando para rastreamentos de ~500k por dia. Existem inúmeros outros desafios que um mecanismo de sourcing enfrenta e eles se tornam ainda mais severos à medida que você começa a operar em grande escala. Apenas os requisitos de hardware para configurar um farm de servidores seriam enormes. Nem sequer entramos em linguagem, códigos postais, rastreamento de várias páginas e cobertura de aplicativos móveis.Normalmente, as plataformas de comparação de preços são construídas para operar em ambientes Web complexos que não apenas adquirem dados de vários mercados de e-com, mas também fornecem acesso ao armazenamento histórico de todos os dados adquiridos, permitindo que os clientes obtenham insights exclusivos de séries temporais.
o segundo desafio é ainda maior, como dar sentido às informações depois de adquirir todos os pontos de dados da Web. Como você processa isso?
o fato é que a World-wide-web não é um lugar uniforme, alguns dos sites são amigáveis à integração, mas a maioria dos sites não. Eles postam informações para os visitantes lerem, não para um mecanismo inteligente de comparação de preços para rastrear preços competitivos. Portanto, os mecanismos de comparação precisam ser inteligentes e exigir ajustes constantes para rastrear sites diferentes.
é extremamente difícil de integrar com sites em uma escala, pois não há padrões universais para o desenvolvimento de sites. MS vs Google war para uso do navegador é lendário e nós realmente não definimos padrões da web, pelo menos não praticamente.
devido ao ruído enorme e à falta de estrutura nos dados da Web, precisamos desenvolver técnicas de normalização bastante avançadas para limpar os dados, às vezes usando IA para análise de imagens e texto(algumas startups se concentram apenas na análise de imagens de sites de comércio eletrônico). Depois de organizar os dados, podemos pensar em descobrir informações significativas a partir dele.
cada ferramenta de inteligência de preços foi construída com base em modelos semânticos complexos baseados em aprendizado de máquina que ajudam a entender os dados. No entanto, as ferramentas de inteligência de preços levam muito tempo para amadurecer e desenvolver, uma vez desenvolvidas, fornecem aos gerentes de marca quase um simulador de dados em tempo real e os ajudam a realizar várias habilidades críticas aos negócios, como preços dinâmicos, Medição da elasticidade do preço, derivando a lucratividade do nível SKU e, o melhor de tudo, a capacidade de comparar todas essas métricas com os concorrentes.