DynamoDB - pipeline de dados
O Data Pipeline permite exportar e importar dados de / para uma tabela, arquivo ou bucket do S3. É claro que isso é útil em backups, testes e para necessidades ou cenários semelhantes.
Em uma exportação, você usa o console do Data Pipeline, que cria um novo pipeline e inicia um cluster Amazon EMR (Elastic MapReduce) para realizar a exportação. Um EMR lê dados do DynamoDB e grava no destino. Discutimos o EMR em detalhes posteriormente neste tutorial.
Em uma operação de importação, você usa o console do Data Pipeline, que cria um pipeline e inicia o EMR para realizar a importação. Ele lê dados da origem e grava no destino.
Note - As operações de exportação / importação têm um custo face aos serviços utilizados, nomeadamente, EMR e S3.
Usando o pipeline de dados
Você deve especificar permissões de ação e recurso ao usar o Data Pipeline. Você pode utilizar uma função ou política do IAM para defini-los. Os usuários que estão realizando importações / exportações devem observar que precisam de uma ID de chave de acesso ativa e uma chave secreta.
Funções de IAM para pipeline de dados
Você precisa de duas funções de IAM para usar o Data Pipeline -
DataPipelineDefaultRole - Contém todas as ações que você permite que o pipeline execute para você.
DataPipelineDefaultResourceRole - Isso tem recursos que você permite que o pipeline forneça para você.
Se você é novo no Data Pipeline, deve gerar cada função. Todos os usuários anteriores possuem essas funções devido às funções existentes.
Use o console IAM para criar funções IAM para Data Pipeline e execute as quatro etapas a seguir -
Step 1 - Faça login no console IAM localizado em https://console.aws.amazon.com/iam/
Step 2 - Selecione Roles do painel.
Step 3 - Selecione Create New Role. Em seguida, insira DataPipelineDefaultRole noRole Name campo e selecione Next Step. NoAWS Service Roles lista no Role Type painel, navegue para Data Pipelinee escolha Select. SelecioneCreate Role no Review painel.
Step 4 - Selecione Create New Role.