SQL personalizado con Spark Big Query Connector
Nov 24 2020
Tengo un sql personalizado para leer los datos de BigQuery. ¿Cómo puedo ejecutar eso? Intenté usar la opción como consulta pero no funciona. Está ignorando la opción de consulta y leyendo la tabla completa.
Dataset<Row> testDS = session.read().format("bigquery")
//.option("table", <TABLE>)
.option("query",<QUERY>)
.option("project", <PROJECT_ID>)
.option("parentProject", <PROJECT_ID>)
.load();
Respuestas
DavidRabinowitz Nov 26 2020 at 02:31
Eso es porque la queryopción no está disponible en el conector. Verhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md para obtener una lista completa de opciones.
Hay un par de opciones que tiene:
- Cree una vista con su SQL personalizado y lea desde la vista
- Cree una tabla temporal con los resultados de la consulta, léalos y luego elimine la tabla.