SQL personnalisé à l'aide du connecteur Spark Big Query
Nov 24 2020
J'ai un SQL personnalisé pour lire les données de BigQuery. Comment puis-je exécuter cela? J'ai essayé d'utiliser l'option comme requête mais cela ne fonctionne pas. Il ignore l'option de requête et lit le tableau complet.
Dataset<Row> testDS = session.read().format("bigquery")
//.option("table", <TABLE>)
.option("query",<QUERY>)
.option("project", <PROJECT_ID>)
.option("parentProject", <PROJECT_ID>)
.load();
Réponses
DavidRabinowitz Nov 26 2020 at 02:31
C'est parce que l' query
option n'est pas disponible dans le connecteur. Voirhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md pour une liste complète des options.
Deux options s'offrent à vous:
- Créer une vue avec votre SQL personnalisé et lire à partir de la vue
- Créez une table temporaire avec les résultats de la requête, lisez-les, puis supprimez la table.