Integration der Amazon SageMaker-Endpunkte in Batch-ETL-Workflows auf Glue oder EMR

Sep 15 2020

Wie können wir das AWS Sagemaker ML-Modell Endpoint am besten über Glue, EMR-basierte Spark Jobs konfigurieren lassen?

Wie wir in der AWS-Dokumentation 'hier' sehen , wird ein Endpunkt mit dem Namen 'linear-learner-2019-11-04-01-57-20-572' erstellt. Er kann als aufgerufen werden

  response = client.invoke_endpoint(EndpointName='linear-learner-2019-11-04-01-57-20-572',
ContentType='text/csv',Body=values)

Vorausgesetzt, wir haben einen Batch-Job, so dass

  • Geplanter Batch-Job für Big Data, Liest die Daten von einem S3, wobei
  • Es wird eine Transformation durchlaufen, bei der eine neue Spalte als Vorhersage hinzugefügt wird
  • Ergebnis Ausgabe als S3 gespeichert.
  • Kann täglich oder bei Ankunft einer neuen Datei im Quellordner ausgelöst werden

Wie können wir diesen Endpunkt am besten über Glue, EMR-basierte Spark-Jobs konfigurieren lassen?

Antworten

OlivierCruchant Sep 15 2020 at 17:39

Mit Amazon Step Functions können Sie einen Workflow von Aktionen erstellen und jede Aufgabe nacheinander auslösen (EMR, Glue, Athena, SageMaker usw.). In Bezug auf Batch-Aufgaben empfehle ich Ihnen, einen SageMaker Processing- oder SageMaker Batch Inference-Job zu starten