Sqoop - Trabalho

Este capítulo descreve como criar e manter os trabalhos do Sqoop. O trabalho do Sqoop cria e salva os comandos de importação e exportação. Ele especifica parâmetros para identificar e recuperar o trabalho salvo. Essa nova chamada ou reexecução é usada na importação incremental, que pode importar as linhas atualizadas da tabela RDBMS para o HDFS.

Sintaxe

A seguir está a sintaxe para criar um trabalho Sqoop.

$ sqoop job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

$ sqoop-job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

Criar Trabalho (--create)

Aqui estamos criando um trabalho com o nome myjob, que pode importar os dados da tabela da tabela RDBMS para o HDFS. O seguinte comando é usado para criar um trabalho que está importando dados doemployee mesa no db banco de dados para o arquivo HDFS.

$ sqoop job --create myjob \
-- import \
--connect jdbc:mysql://localhost/db \
--username root \
--table employee --m 1

Verificar trabalho (--list)

‘--list’O argumento é usado para verificar os trabalhos salvos. O comando a seguir é usado para verificar a lista de trabalhos salvos do Sqoop.

$ sqoop job --list

Mostra a lista de trabalhos salvos.

Available jobs: 
   myjob

Inspecionar trabalho (--show)

‘--show’O argumento é usado para inspecionar ou verificar trabalhos específicos e seus detalhes. O seguinte comando e saída de amostra são usados para verificar um trabalho chamadomyjob.

$ sqoop job --show myjob

Mostra as ferramentas e suas opções, que são utilizadas em myjob.

Job: myjob 
 Tool: import Options:
 ---------------------------- 
 direct.import = true
 codegen.input.delimiters.record = 0
 hdfs.append.dir = false 
 db.table = employee
 ...
 incremental.last.value = 1206
 ...

Execute Job (--exec)

‘--exec’opção é usada para executar um trabalho salvo. O seguinte comando é usado para executar um trabalho salvo chamadomyjob.

$ sqoop job --exec myjob

Mostra a seguinte saída.

10/08/19 13:08:45 INFO tool.CodeGenTool: Beginning code generation 
...