Pruebas Sintéticas Fuera de Línea: Un Método Rápido y Seguro Para Mejorar los Resultados de Búsqueda

A la hora de ajustar la búsqueda de un sitio web, mucha gente corrige consultas individuales o realiza pruebas A/B. Sin embargo, si quieres estar 100% seguro de que tu búsqueda está funcionando como debería, considera el uso de pruebas sintéticas fuera de línea. Se itera rápidamente algoritmos de búsqueda y elimina el riesgo de perder conversiones por lo que te permite probar los cambios de forma segura fuera de línea.

Todas las empresas e-commerce quieren tener una gran función de búsqueda, pero el camino hacia ella es complicado. Requiere una gran capacidad de observación, un buen conocimiento de los análisis de búsqueda y un enfoque sistemático. Sin embargo, la mayoría de la gente se deja llevar por sus instintos, lo cual no es lo ideal.

El poder de las pruebas sintéticas fuera de línea

Uno de los mejores métodos que hemos encontrado para mejorar los resultados de búsqueda se llama prueba sintética fuera de línea. Fuera de línea porque no se necesitan usuarios reales para realizar las pruebas y sintético porque sólo se utilizan datos medidos como referencia (los usuarios reales pueden comportarse de forma diferente). La ventaja de este método es que no se corre el riesgo de un impacto negativo en la tasa de conversión, se obtienen resultados con bastante rapidez y sólo se necesitan los registros de búsqueda (o más exactamente: consultas, resultados e interacciones de los usuarios con esos resultados).

El método funciona así: se escanean las búsquedas anteriores de los usuarios y se vuelven a ejecutar con un nuevo algoritmo de clasificación. Si sabes qué resultados de tu búsqueda se devolvieron en el pasado y en cuáles de esos resultados se hizo clic o se convirtieron, puedes compararlos con los resultados de nuevo algoritmo de clasificación.

Análisis de los resultados de las pruebas sintéticas fuera de línea

Imagínate que, para la consulta x, la búsqueda anterior devolvía el producto X en la posición 1. Esto significa que el producto X era el artículo de mayor conversión para esta consulta. Con el nuevo algoritmo, una nueva búsqueda para la consulta x devuelve el producto X en la posición 10. ¿Puedes adivinar qué búsqueda fue mejor? La respuesta correcta es la búsqueda original.

¡Qué fácil! Ahora pongamos un ejemplo más difícil: la consulta x devuelve el producto Y como mejor resultado. Algunas personas hacen clic en él; por lo tanto, parece una coincidencia relevante, pero el verdadero mejor resultado X no está entre los resultados. La nueva búsqueda lo soluciona clasificando el producto X en primer lugar y el producto Y en segundo lugar. Lo que puede parecer una regresión, en realidad no lo es, porque los resultados para la consulta x son mejores.

Como ves, en muchos casos analizar qué es mejor no es tan sencillo y se necesitan modelos complejos para obtener resultados fiables y procesables. Existen varios modelos cuantitativos diseñados para mejor la calidad de la clasificación, como la Ganancia Acumulativa Descontada Normalizada (NDCG), la Ganancia Acumulativa Descontada, la Clasificación Recíproca Media o la Corrección de la Clasificación (precisión, precisión media, etc.).

Todas estas métricas suelen medirse sólo en los resultados top-n porque son los que tienen más posibilidades de ser vistos por los usuarios. Existen modelos aún más robustos y complejos basados en la retroalimentación implícita que son más adecuados para modelar la calidad de la búsqueda. Cada una de estas métricas tiene características diferentes y modela distintos aspectos de la calidad de la búsqueda, pero al final, elijas la que elijas, tendrás una medida cuantitativa de tu búsqueda que podrás utilizar para comparar distintos algoritmos de clasificación.

Más allá de la medición de los cambios en la calidad de las búsquedas

Las pruebas sintéticas fuera de línea te permiten algo más que medir el cambio en la calidad de la búsqueda – te permiten comprender los porqués de la diferencia de rendimiento. Si se hace bien, se pueden obtener informes detallados y agregaciones del rendimiento histórico individual de las consultas con la nueva clasificación. A continuación, puedes empezar a hacer preguntas y ver las consultas exactas en las que la nueva clasificación ayudó, o en las que empeoró los resultados.

Según nuestra experiencia, repasar unas cuantas consultas en las que el rendimiento de la búsqueda se haya visto más afectado puede ayudarte a identificar patrones en lo que la nueva clasificación tenga un rendimiento inferior. A continuación, puedes corregir tus suposiciones, actualizar el algoritmo de clasificación y volver a ejecutar la prueba fuera de línea.

Lo mejor es combinar los métodos

Lo bueno de las pruebas sintéticas fuera de línea es que revelan hallazgos importantes. Si una prueba sintética fuera de línea muestra que tu nueva búsqueda es mucho peor que tu búsqueda actual, entonces generalmente será peor. Si la prueba sintética fuera de línea muestra que la nueva búsqueda es mucho mejor que la actual, entonces generalmente será mejor. Pero, ¿en qué medida?

Eso es algo que este método no puede decirte, ya que no representa el comportamiento del mundo real. Para averiguarlo, es necesario realizar una prueba A/B en vivo. Así que, la próxima vez que quieras arreglar algo:

1. Encuentra una consulta que necesita ser mejorada
2. Actualiza el algoritmo de clasificación
3. Realiza pruebas sintéticas fuera de línea hasta que estés seguro de que hay una mejora
4. Realiza una prueba A/B en vivo para confirmarlo
5. Repítelo

Así es como lo hacemos en Luigi’s Box, y eso nos ha dado los conocimientos técnicos en lo que has llegado a confiar. La buena noticia es que hemos integrado las pruebas sintéticas fuera de línea en Luigi’s Box, así que si quieres probarlas, no tienes que desarrollarlas tú mismo.

Para obtener más información sobre esta función, no dudes en ponerte en contacto con nuestros representantes de ventas.