Sqoop - Введение

Традиционная система управления приложениями, то есть взаимодействие приложений с реляционной базой данных с помощью СУБД, является одним из источников, генерирующих большие данные. Такие большие данные, генерируемые СУБД, хранятся в реляционнойDatabase Servers в структуре реляционной базы данных.

Когда появились хранилища и анализаторы больших данных, такие как MapReduce, Hive, HBase, Cassandra, Pig и т. Д. Экосистемы Hadoop, им потребовался инструмент для взаимодействия с серверами реляционных баз данных для импорта и экспорта находящихся в них больших данных. Здесь Sqoop занимает место в экосистеме Hadoop, чтобы обеспечить возможное взаимодействие между сервером реляционной базы данных и HDFS Hadoop.

Sqoop - «Из SQL в Hadoop и из Hadoop в SQL»

Sqoop - это инструмент, предназначенный для передачи данных между Hadoop и серверами реляционных баз данных. Он используется для импорта данных из реляционных баз данных, таких как MySQL, Oracle, в Hadoop HDFS и экспорта из файловой системы Hadoop в реляционные базы данных. Он предоставляется Apache Software Foundation.

Как работает Sqoop?

На следующем изображении описан рабочий процесс Sqoop.

Sqoop Import

Инструмент импорта импортирует отдельные таблицы из СУБД в HDFS. Каждая строка в таблице рассматривается как запись в HDFS. Все записи хранятся как текстовые данные в текстовых файлах или как двоичные данные в файлах Avro и Sequence.

Sqoop экспорт

Инструмент экспорта экспортирует набор файлов из HDFS обратно в СУБД. Файлы, передаваемые в качестве входных данных в Sqoop, содержат записи, которые называются строками в таблице. Они считываются и анализируются в набор записей и разделяются указанным пользователем разделителем.