Google dataflow สร้างผ่าน Google cloud deployment manager

Question

ฉันกำลังพยายามสร้างงานกระแสข้อมูลด้วยเทมเพลต Pub / Sub ไปยัง BigQuery ผ่านตัวจัดการการปรับใช้ ปัญหาคือฉันไม่เห็นบริการกระแสข้อมูลใด ๆ หลังจากเรียกใช้gcloud deployment-manager types listคำสั่ง

เป็นไปได้ไหมที่จะมีไฟล์ yaml เพื่อสร้างงานกระแสข้อมูล

Answer 1

ฉันจะให้ตัวอย่างวิธีการตั้งค่า Dataflow สำหรับ Cloud Deployment Manager ตามคำตอบจาก @lukaszberwid

ขั้นแรกคุณต้องมีoptions.yamlไฟล์เพื่อตั้งค่าการรับรองความถูกต้อง (นอกจากนี้คุณอาจต้องตั้งค่าบัญชีบริการของคุณภายใน env ของคุณ):

options:
  inputMappings:
  - fieldName: Authorization
    location: HEADER
    value: '$.concat("Bearer ", $.googleOauth2AccessToken())'

จากนั้นในการลงทะเบียนการเรียกใช้กระแสข้อมูล:

gcloud beta deployment-manager type-providers create dataflow \
    --descriptor-url='https://dataflow.googleapis.com/$discovery/rest?version=v1b3' \
    --api-options-file=options.yaml

ถัดไปคุณสามารถค้นหาตัวอย่างresources.yamlที่สามารถเปิดใช้WordCountเทมเพลตได้จากคู่มือเริ่มต้น:

resources:
  - name: "datafow-job"
    type: "[PROJECT-ID]/dataflow:dataflow.projects.locations.templates.launch"
    properties:
      projectId: [PROJECT-ID]
      location: us-central1
      gcsPath: "gs://dataflow-templates-us-central1/latest/Word_Count"
      jobName: testing-job
      environment:
        bypassTempDirValidation: false
        tempLocation: "gs://[BUCKET-NAME]/dataflow/tmp"
        ipConfiguration: "WORKER_IP_UNSPECIFIED"
        additionalExperiments: []
      parameters:
        inputFile: "gs://dataflow-samples/shakespeare/kinglear.txt"
        output: "gs://[BUCKET-NAME]/dataflow/output/my_output"

ในการเรียกใช้:

gcloud deployment-manager deployments create my-deployment \
    --config resources.yaml

Answer 2

หากคุณมี RESTful CRUD API ที่มีข้อกำหนด OpenAPI สามารถใช้เป็นผู้ให้บริการประเภทได้ เอกสาร

ผู้ให้บริการ Dataflow ไม่ได้ลงทะเบียนโดยค่าเริ่มต้นและคุณจะต้องลงทะเบียนด้วยตัวเอง เอกสารประกอบ

ในการลงทะเบียนการเรียกใช้กระแสข้อมูล:

gcloud deployment-manager type-providers create dataflow 
 --descriptor-url='https://dataflow.googleapis.com/$discovery/rest?version=v1b3'

คุณสามารถดูทุกประเภทที่พร้อมใช้งานสำหรับกระแสข้อมูลด้วย:

gcloud deployment-manager types list --provider dataflow