Sqoop - Job

W tym rozdziale opisano, jak tworzyć i obsługiwać zadania Sqoop. Zadanie Sqoop tworzy i zapisuje polecenia importu i eksportu. Określa parametry umożliwiające identyfikację i przywołanie zapisanej pracy. To ponowne wywołanie lub ponowne wykonanie jest używane w imporcie przyrostowym, który może importować zaktualizowane wiersze z tabeli RDBMS do HDFS.

Składnia

Poniżej przedstawiono składnię tworzenia zadania Sqoop.

$ sqoop job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

$ sqoop-job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

Utwórz stanowisko (--create)

Tutaj tworzymy pracę pod nazwą myjob, który może importować dane tabeli z tabeli RDBMS do HDFS. Następujące polecenie służy do tworzenia zadania, które importuje dane z plikuemployee tabela w db bazy danych do pliku HDFS.

$ sqoop job --create myjob \
-- import \
--connect jdbc:mysql://localhost/db \
--username root \
--table employee --m 1

Zweryfikuj zlecenie (--list)

‘--list’argument służy do weryfikacji zapisanych zadań. Następujące polecenie służy do weryfikacji listy zapisanych zadań Sqoop.

$ sqoop job --list

Wyświetla listę zapisanych prac.

Available jobs: 
   myjob

Sprawdź zadanie (--show)

‘--show’argument służy do sprawdzania lub weryfikowania konkretnych ofert pracy i ich szczegółów. Następujące polecenie i przykładowe dane wyjściowe służą do weryfikacji zadania o nazwiemyjob.

$ sqoop job --show myjob

Pokazuje narzędzia i ich opcje, które są używane w myjob.

Job: myjob 
 Tool: import Options:
 ---------------------------- 
 direct.import = true
 codegen.input.delimiters.record = 0
 hdfs.append.dir = false 
 db.table = employee
 ...
 incremental.last.value = 1206
 ...

Wykonaj zadanie (--exec)

‘--exec’służy do wykonania zapisanej pracy. Następujące polecenie służy do wykonania zapisanego zadania o nazwiemyjob.

$ sqoop job --exec myjob

Pokazuje następujące dane wyjściowe.

10/08/19 13:08:45 INFO tool.CodeGenTool: Beginning code generation 
...