Hadoop-HDFS 작업

HDFS 시작

처음에는 구성된 HDFS 파일 시스템을 포맷하고 이름 노드 (HDFS 서버)를 열고 다음 명령을 실행해야합니다.

$ hadoop namenode -format

HDFS를 포맷 한 후 분산 파일 시스템을 시작합니다. 다음 명령은 namenode와 데이터 노드를 클러스터로 시작합니다.

$ start-dfs.sh

HDFS에서 파일 나열

서버에 정보를로드 한 후 다음을 사용하여 디렉토리에있는 파일 목록, 파일 상태를 찾을 수 있습니다. ‘ls’. 아래에 주어진 구문은ls 인수로 디렉토리 또는 파일 이름에 전달할 수 있습니다.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

HDFS에 데이터 삽입

hdfs 파일 시스템에 저장되어야하는 로컬 시스템의 file.txt 파일에 데이터가 있다고 가정합니다. Hadoop 파일 시스템에 필요한 파일을 삽입하려면 아래 단계를 따르십시오.

1 단계

입력 디렉터리를 만들어야합니다.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

2 단계

put 명령을 사용하여 로컬 시스템에서 Hadoop 파일 시스템으로 데이터 파일을 전송하고 저장합니다.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

3 단계

ls 명령을 사용하여 파일을 확인할 수 있습니다.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

HDFS에서 데이터 검색

HDFS에 다음과 같은 파일이 있다고 가정합니다. outfile. 다음은 Hadoop 파일 시스템에서 필요한 파일을 검색하는 간단한 데모입니다.

1 단계

처음에는 다음을 사용하여 HDFS의 데이터를 봅니다. cat 명령.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

2 단계

다음을 사용하여 HDFS에서 로컬 파일 시스템으로 파일 가져 오기 get 명령.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

HDFS 종료

다음 명령을 사용하여 HDFS를 종료 할 수 있습니다.

$ stop-dfs.sh