Spark Big Query Connector kullanarak özel SQL

Question

BigQuery'deki verileri okumak için bazı özel sql'im var. Bunu nasıl gerçekleştirebilirim? Seçeneği sorgu olarak kullanmayı denedim ama çalışmıyor. Sorgu seçeneğini yok sayıyor ve tüm tabloyu okuyor.

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

Answer 1

Bunun nedeni, queryseçeneğin konektörde mevcut olmamasıdır. Görmekhttps://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md seçeneklerin tam listesi için.

Sahip olduğunuz birkaç seçenek var:

• Özel SQL'inizle bir görünüm oluşturun ve görünümden okuyun
• Sorgunun sonuçlarıyla geçici bir tablo oluşturun, bunları okuyun ve ardından tabloyu silin.