Integration der Amazon SageMaker-Endpunkte in Batch-ETL-Workflows auf Glue oder EMR
Sep 15 2020
Wie können wir das AWS Sagemaker ML-Modell Endpoint am besten über Glue, EMR-basierte Spark Jobs konfigurieren lassen?
Wie wir in der AWS-Dokumentation 'hier' sehen , wird ein Endpunkt mit dem Namen 'linear-learner-2019-11-04-01-57-20-572' erstellt. Er kann als aufgerufen werden
response = client.invoke_endpoint(EndpointName='linear-learner-2019-11-04-01-57-20-572',
ContentType='text/csv',Body=values)
Vorausgesetzt, wir haben einen Batch-Job, so dass
- Geplanter Batch-Job für Big Data, Liest die Daten von einem S3, wobei
- Es wird eine Transformation durchlaufen, bei der eine neue Spalte als Vorhersage hinzugefügt wird
- Ergebnis Ausgabe als S3 gespeichert.
- Kann täglich oder bei Ankunft einer neuen Datei im Quellordner ausgelöst werden
Wie können wir diesen Endpunkt am besten über Glue, EMR-basierte Spark-Jobs konfigurieren lassen?
Antworten
OlivierCruchant Sep 15 2020 at 17:39
Mit Amazon Step Functions können Sie einen Workflow von Aktionen erstellen und jede Aufgabe nacheinander auslösen (EMR, Glue, Athena, SageMaker usw.). In Bezug auf Batch-Aufgaben empfehle ich Ihnen, einen SageMaker Processing- oder SageMaker Batch Inference-Job zu starten