SQL personnalisé à l'aide du connecteur Spark Big Query

Nov 24 2020

J'ai un SQL personnalisé pour lire les données de BigQuery. Comment puis-je exécuter cela? J'ai essayé d'utiliser l'option comme requête mais cela ne fonctionne pas. Il ignore l'option de requête et lit le tableau complet.

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Réponses

DavidRabinowitz Nov 26 2020 at 02:31

C'est parce que l' queryoption n'est pas disponible dans le connecteur. Voirhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md pour une liste complète des options.

Deux options s'offrent à vous:

  • Créer une vue avec votre SQL personnalisé et lire à partir de la vue
  • Créez une table temporaire avec les résultats de la requête, lisez-les, puis supprimez la table.