Utilizamos solr para nuestros casos de uso de búsqueda/alimentación/autosugerencia/personalización de comercio electrónico.

Desafíos con el clúster solr

• Administrar la infraestructura de solr (zookeeper, JVM, análisis de GC, etc.) es un desafío. En general, necesitamos un desarrollador dedicado (SRE/SDE-3) para ello.
• Actualización a una versión estable más reciente. Menos apoyo de la comunidad para cualquier problema crítico.

ELK ahora viene con una licencia premium elástica. Así que optamos por OpenSearch ya que es de código abierto. Se basa en la versión 7.10 de elasticsearch. Tiene licencia apache.

Retos mayores

• El código existente tenía problemas de diseño. Estrechamente acoplado con solr. Arquitectura de microservicios y dependencia de múltiples servicios.
• Gran tamaño de clúster en algunas regiones y lanzamientos por país.

1. Utilizamos terraform para la formación de grupos de búsqueda abierta en todas las regiones.
2. Para el código usamos el patrón de diseño de fábrica y el patrón de diseño de adaptador.
3. Ingesta de datos en paralelo tanto en opensearch como en solr.
4. Migración de datos delta opensearch & solr por nuestro servicio de reindexación.
5. Lanzamiento de servicio uno por uno con soporte para opensearch y solr
6. Una vez que los pasos 1 a 5 estaban listos. Planificamos el lanzamiento y el seguimiento por país de newRelic.

Cuello de botella importante : se trataba de la elección del tipo de nodo c5 de la máquina AWS. Lo solucionamos mediante la evaluación comparativa y elegimos ir con c6g.

Resultado

Migramos con éxito más de 100 millones de documentos de solr a opensearch sin tiempo de inactividad. La migración involucró más de 100 nodos en solr y opensearch. También logramos ahorrar aproximadamente 0,8 millones de dólares.

Referencia

1. patrón de diseño de fábrica
2. Terraformar
3. búsqueda abierta
4. Solr
5. Patrón de diseño del adaptador