Spark Big Query 커넥터를 사용하는 사용자 지정 SQL

Nov 24 2020

BigQuery에서 데이터를 읽는 커스텀 SQL이 있습니다. 어떻게 실행할 수 있습니까? 옵션을 쿼리로 사용해 보았지만 작동하지 않습니다. 쿼리 옵션을 무시하고 전체 테이블을 읽습니다.

 Dataset<Row> testDS = session.read().format("bigquery")
                    //.option("table", <TABLE>)
                    .option("query",<QUERY>)
                    .option("project", <PROJECT_ID>)
                    .option("parentProject", <PROJECT_ID>)
                    .load();

답변

DavidRabinowitz Nov 26 2020 at 02:31

query커넥터에서 옵션을 사용할 수 없기 때문 입니다. 보다https://github.com/GoogleCloudDataproc/spark-bigquery-connector/README.md 전체 옵션 목록은

다음과 같은 몇 가지 옵션이 있습니다.

  • 사용자 지정 SQL로보기를 만들고보기에서 읽습니다.
  • 쿼리 결과로 임시 테이블을 만들고이를 읽은 다음 테이블을 삭제합니다.