Flink Time Characteristic i AutoWatermarkInterval
W Apache Flink setAutoWatermarkInterval(interval)tworzy znaki wodne dla dalszych operatorów, aby mogli przyspieszyć czas zdarzenia.
Jeśli znak wodny nie został zmieniony w określonym przedziale czasu (żadne zdarzenia nie nadeszły), środowisko wykonawcze nie wyemituje żadnych znaków wodnych? Z drugiej strony, jeśli nowe zdarzenie nadejdzie przed następnym interwałem, nowy znak wodny zostanie natychmiast wyemitowany lub zostanie umieszczony w kolejce / czeka do osiągnięcia następnego interwału setAutoWatermarkInterval.
Jestem ciekawy, jaka jest najlepsza konfiguracja AutoWatermarkInterval (szczególnie w przypadku źródeł o dużej szybkości): im większa jest ta wartość, tym większe opóźnienie między czasem przetwarzania a czasem zdarzenia będzie małe, ale wiąże się to z większym wykorzystaniem BW do wysyłania znaków wodnych . Czy to prawda?
Z drugiej strony, jeśli użyję env.setStreamTimeCharacteristic (TimeCharacteristic.IngestionTime), środowisko uruchomieniowe Flink automatycznie przypisze znaczniki czasu i znaki wodne (znaczniki czasu odpowiadają czasowi, w którym zdarzenie weszło do potoku przepływu danych Flink, tj. Operator źródłowy), niemniej nawet z ingestionTime możemy nadal zdefiniuj licznik czasu przetwarzania (w funkcji processElement), jak pokazano poniżej:
long timer = context.timestamp() + Timeout.
context.timerService().registerProcessingTimeTimer(timer);
gdzie context.timestamp () jest czasem przetwarzania ustawionym przez Flink.
Dziękuję Ci.
Odpowiedzi
AutoWatermarkInterval wpływa tylko na generatory znaków wodnych, które zwracają na to uwagę. Mają również możliwość wygenerowania znaku wodnego w połączeniu z przetwarzaniem zdarzeń.
W przypadku tych generatorów znaków wodnych, które używają autoWatermarkInterval (co jest zdecydowanie normalnym przypadkiem), zbierają dowody na to, jaki powinien być następny znak wodny jako efekt uboczny przypisywania znaczników czasu dla każdego zdarzenia. Po uruchomieniu licznika czasu (w oparciu o autoWatermarkInterval) generator znaku wodnego jest następnie proszony przez środowisko wykonawcze Flink o utworzenie następnego znaku wodnego. Znak wodny nie czekał gdzieś ani nie był w kolejce, ale raczej jest tworzony na żądanie, w oparciu o informacje, które zostały zapisane przez osobę przypisującą znacznik czasu - co jest zazwyczaj maksymalnym znacznikiem czasu widzianym do tej pory w strumieniu.
Tak, częstsze znaki wodne oznaczają większe obciążenie związane z komunikacją i przetwarzaniem ich oraz mniejsze opóźnienia. Musisz zdecydować, jak obsłużyć ten kompromis przepustowości / opóźnień w oparciu o wymagania aplikacji.
Zawsze możesz używać liczników czasu przetwarzania, niezależnie od TimeCharacteristic. (Nawiasem mówiąc, na niskim poziomie jedyne, co robią znaki wodne, to wyzwalanie liczników czasu zdarzenia, czy to w funkcjach procesów, oknach itp.)