Spark-Anwendung als Rest-Service
Ich habe eine Frage zu einer bestimmten Verwendung der Funkenanwendung. Daher möchte ich, dass unsere Spark-Anwendung wie Spring Boot Applications als REST-API-Server ausgeführt wird. Daher handelt es sich nicht um einen Stapelprozess. Stattdessen laden wir die Anwendung und möchten die Anwendung am Leben erhalten (kein Aufruf von spark.close) ()) und die Anwendung als Echtzeit-Abfrage-Engine über eine API zu verwenden, die wir definieren werden. Ich möchte es auf Databricks bereitstellen. Anregungen werden gut sein. Ich habe Apache Livy überprüft, bin mir aber nicht sicher, ob es eine gute Option ist oder nicht.
Anregungen sind hilfreich.
Antworten
Spark ist nicht dafür ausgelegt, so zu laufen. Es gibt keine anderen REST-API-Server-Frameworks als die integrierte HistoryServer- und Worker-Benutzeroberfläche
Wenn Sie eine lang laufende Spark-Aktion wünschen, können Sie Spark-Streaming verwenden und Aktionen über Raw-Sockets, Kafka usw. anstelle von HTTP-Methoden ausführen
Gute Frage, lassen Sie uns Schritt für Schritt diskutieren
- Sie können es erstellen und es funktioniert einwandfrei. Das folgende Beispiel zeigt:
- https://github.com/vaquarkhan/springboot-microservice-apache-spark
- Ich bin sicher, Sie müssen darüber nachdenken, einen Datensatz oder Datenrahmen zu erstellen und im Speicher zu behalten und als Cache (Redis, Gemfire usw.) zu verwenden, aber hier ist der Haken
i) Wenn Sie Daten in wenigen 100.000 haben, dann brauchen Sie wirklich keine Apache Spark Power Java App ist gut, um Antwort sehr schnell zurückzugeben.
ii) Wenn Sie Daten in Petabyte haben, hilft das Laden in den Speicher als Datensatz oder Datenrahmen nicht, da Apache Spark die Indizierung nicht unterstützt, da Spark kein Datenverwaltungssystem, sondern eine schnelle Batch-Datenverarbeitungs-Engine ist und Gemfire Ihnen Flexibilität bietet Fügen Sie einen Index zum schnellen Abrufen von Daten hinzu.
Umgehen:
Verwenden von Apache Ignite's (https://ignite.apache.org/) In-Memory-Indizes (siehe Fast Apache Spark SQL-Abfragen)
Verwendung von Datenformaten, die die Indizierung unterstützen, wie ORC, Parkett usw.
Warum also nicht die Sparing-Anwendung mit Apache Spark verwenden, ohne spark.close () zu verwenden?
Spring-Anwendung als Mikrodienst Sie benötigen andere Dienste entweder auf Container oder PCF / Bluemix / AWS / Azure / GCP usw. und Apache Spark hat eine eigene Welt und benötigt Rechenleistung, die auf PCF nicht verfügbar ist.
Spark ist keine Datenbank und kann daher keine "Daten speichern". Es verarbeitet Daten und speichert sie vorübergehend im Speicher, dies ist jedoch kein vorhandener Speicher.
Sobald der Spark-Job gesendet wurde, müssen Sie die Ergebnisse warten, bis Sie keine Daten mehr abrufen können.
So verwenden Sie Spark mit der Spring-Anwendung als Rest-API-Aufruf:
Apache Livy ist ein Dienst, der eine einfache Interaktion mit einem Spark-Cluster über eine REST-Schnittstelle ermöglicht. Es ermöglicht die einfache Übermittlung von Spark-Jobs oder Snippets von Spark-Code, das synchrone oder asynchrone Abrufen von Ergebnissen sowie die Verwaltung des Spark-Kontexts über eine einfache REST-Schnittstelle oder eine RPC-Client-Bibliothek.
- https://livy.apache.org/