Gremlin: OLAP vs consulta dividida
Tengo una consulta (enlace a continuación) que debo ejecutar una vez al día o una vez a la semana en mi aplicación para encontrar grupos de usuarios conectados. En la consulta verifico todos los grupos posibles para cada usuario de la aplicación (no se evalúan todos los usuarios pero podrían ser muchos). Por el momento solo estoy haciendo pruebas de rendimiento en localhost usando Gremlin Server, ya que mi aplicación aún no está activa.
El problema es que al probar esta consulta simulando muchos usuarios la consulta alcanza el límite de tiempo que puede tomar una solicitud que está configurada en Gremlin Server por defecto, otro problema es que la consulta no toma el uso completo de la CPU ya que parece que se diseña una sola consulta utilizar un solo hilo o una cantidad reducida de procesamiento de CPU de alguna manera.
Así que tengo 2 soluciones en mente, divida la consulta en un fragmento por usuario o use OLAP:
Solución 1: envíe una consulta para obtener los usuarios primero y luego envíe una consulta por usuario, luego elimine los duplicados en el código del servidor, esto debería funcionar en mi caso y como puedo enviar todas las consultas al mismo tiempo, puedo usar todos los recursos disponible y evite los límites de tiempo.
Solución 2: use OLAP. Supongo que OLAP no tiene límite de tiempo. El problema: Mi idea es usar Amazon Neptune y OLAP no es compatible allí que yo sepa. En esta pregunta al respecto: consultas OLAP de Gremlin en AWS Neptune
David dice: Actualización: desde GA (junio de 2018), Neptune admite múltiples consultas en una sola solicitud / transacción
¿Qué significa "múltiples consultas en una sola solicitud"?
¿Cómo se compara mi solución 1 con OLAP?
¿Debo buscar otro servicio de base de datos que admita OLAP en lugar de Neptune? Cual podria ser? No quiero una opción que implique aprender a configurar mi propio servidor "similar a Neptune", tengo un tiempo limitado.
Mi consulta por si quieres echarle un vistazo: https://gremlify.com/69cb606uzaj
Respuestas
Esta es una pregunta un poco complicada.
El problema es que al probar esta consulta simulando muchos usuarios la consulta alcanza el límite de tiempo que puede tomar una solicitud que está configurado en Gremlin Server por defecto,
Vamos a suponer que hay una razón que no puede cambiar el valor por defecto, pero para aquellos que pueden estar leyendo esta respuesta el tiempo de espera se puede configurar tanto en el servidor (con evaluationTimeoutla yaml servidor ) y por solicitud tanto para los scripts y código de bytes basé peticiones.
Otro problema es que la consulta no toma el uso completo de la CPU, ya que parece que una sola consulta está diseñada para usar un solo hilo o una cantidad reducida de procesamiento de la CPU de alguna manera.
Si está probando con TinkerGraph en Gremlin Server, sepa que TinkerGraph es realmente simple. No hace nada internamente para ejecutar ningún aspecto de un recorrido en paralelo (sin TinkerGraphComputer que está relacionado con OLAP).
Así que tengo 2 soluciones en mente, divida la consulta en un fragmento por usuario o use OLAP:
Cualquiera de los dos enfoques tiene el potencial de funcionar. En la primera solución, sugiere una forma de OLAP del pobre en el que debe diseñar sus propios métodos para realizar este procesamiento paralelo (es decir, administrar grupos de subprocesos, sincronizar el estado, etc.). Creo que este enfoque es un primer paso común que la gente toma para lidiar con este tipo de problema. Me pregunto si necesita ser tan detallado como un usuario por solicitud. Creo que enviar varios a la vez sería aceptable, pero solo las pruebas en su entorno real darían la respuesta a eso. Lo bueno de esta solución es que normalmente funcionará en cualquier sistema de gráficos, incluido Neptune.
Usar su segunda solución con OLAP es más complicado. Tiene el problema obvio de que Neptune no lo admite directamente, pero acudir a un proveedor diferente que sí lo hace no resolverá instantáneamente su problema. Si bien OLAP lo libera de tener que preocuparse por cómo paralelizar de manera óptima su carga de trabajo, no significa que pueda tomar instantáneamente esa consulta de Gremlin que desea ejecutar, lanzarla a Spark y obtener una ganancia instantánea. Por ejemplo, y tomo esto de la Documentación de referencia de TinkerPop:
In OLAP, where the atomic unit of computing is the vertex and its local
"star graph," it is important that the anonymous traversal does not leave the
confines of the vertex’s star graph. In other words, it can not traverse to an
adjacent vertex’s properties or edges.
En su consulta, ya hay lugares en los que "deja el gráfico de estrellas", por lo que inmediatamente encontrará allí problemas para resolver. Por lo general, esa limitación se puede solucionar para los propósitos de OLAP, pero no es tan simple como agregar withComputer()a su recorrido y obtener una victoria en este caso.
Si avanza más en esta ruta de uso de OLAP con un gráfico que no sea Neptune, es probable que desee al menos considerar si este recorrido complejo podría escribirse mejor como una costumbreVertexProgram que podría vincular mejor su caso de uso a las capacidades de BSP que a lo que el hace más genérico TraversalVertexProgramal procesar Gremlin arbitrario. De hecho, una combinación de OLAP de Gremlin, un VertexProgramprocesamiento de estilo de mapa / reducción personalizado y estándar podría conducir en última instancia a la respuesta más elegante y eficiente.
Una idea que he estado considerando para gráficos que no son compatibles con OLAP ha sido subgraph()(con Java) la parte del gráfico que es relevante para su algoritmo y luego ejecutarlo localmente en TinkerGraph. Creo que eso podría tener sentido en algunos casos de uso donde el algoritmo tiene algunos límites que se pueden definir con anticipación para formar el subgrafo, donde esos límites se pueden filtrar fácilmente y donde el subgrafo resultante no es tan grande como para tomar una cantidad obscena de tiempo para construir. Sería incluso mejor si el subgrafo tuviera algún uso más allá de un solo algoritmo, casi comportándose como un gráfico de caché. No tengo idea si eso es útil para ti, pero es un pensamiento. Aquí hay una publicación de blog reciente que escribí que habla sobre la escritura de VertexPrograms . Quizás te resulte interesante.
Dicho todo lo dicho sobre OLAP, creo que su primera solución parece estar bien para empezar. Todavía no tiene un gráfico de borde multimillonario y probablemente pueda permitirse adoptar este enfoque por ahora.
¿Qué significa "múltiples consultas en una sola solicitud"?
Creo que esto solo significa que puedes enviar un script como:
g.addV().iterate()
g.addV().iterate()
g.V()
donde se pueden ejecutar varios comandos de Gremlin dentro del alcance de una sola transacción donde cada comando debe estar "separado por una nueva línea ('\ n'), espacios (''), punto y coma (';') o nada (por ejemplo: g .addV ('persona'). next () gV () es válido) ". Creo que solo el último comando devuelve un valor. No parece que esa característica en particular sea útil en su caso. Buscaría más usuarios por lotes dentro de una solicitud particular cuando sea posible.
Si está buscando un motor de gráficos OLAP nativo, quizás eche un vistazo a AnzoGraphDB, que escala y funciona mucho mejor para ese estilo de consultas más complejas que cualquier otra cosa que conozcamos. Es un motor MPP, por lo que cada núcleo trabaja en la consulta en paralelo. Dependiendo de la cantidad de datos sobre los que necesite actuar, la versión gratuita (solo nodo único, RAM limitada) puede ser todo lo que necesita y puede usarse comercialmente. Puede encontrarlo en AWS Marketplace o en Docker Hub.
Descargo de responsabilidad: trabajo para Cambridge Semantics Inc.