차례
•TestDFSIO 란?
•TestDFSIO 사용법
•write
•read
•clean
•결과 출력
•사용 예시
2014-10-02
Sejong System Engineering
2
3.
TestDFSIO 란?
•hadoop의성능을 측정하는 벤치마크 중 하나
•MapReduce를 사용하여 파일을 읽고 쓰는 성능을 측정
2014-10-02
Sejong System Engineering
3
4.
TestDFSIO 사용법
•TestDFSIO실행 과정
1.write로 파일을 작성
2.read로 write에서 생성한 파일을 읽음
3.작업한 파일들을 지우고 결과 확인
2014-10-02
Sejong System Engineering
4
5.
TestDFSIO 사용법
2014-10-02
Sejong System Engineering
5
•다운로드
–wget https://repository.cloudera.com/content/repositories/releases/org/apache/hadoop/hadoop-test/2.3.0-mr1-cdh5.1.0/hadoop- test-2.3.0-mr1-cdh5.1.0-sources.jar
•압축을 풀 필요 없이 바로 실행 가능
6.
write
•hadoop jar(경로 1) TestDFSIO –write - nrFiles (숫자1) -fileSize (숫자2) -resFile (경로2)
•경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함)
2014-10-02
Sejong System Engineering
6
7.
write
•경로 2는write결과를 저장할 .txt 파일 경로. 없으면 파일을 생성하여 저장
•숫자 1은 파일 수, 숫자 2는 파일의 크기(MB)
2014-10-02
Sejong System Engineering
7
8.
read
•hadoop jar(경로 1) TestDFSIO –read - nrFiles (숫자1) -fileSize (숫자2) -resFile (경로2)
•경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함)
2014-10-02
Sejong System Engineering
8
9.
read
•경로 2는read결과가 저장된 .txt 파일 경로
•숫자 1은 파일 수, 숫자 2는 파일의 크기(MB)
2014-10-02
Sejong System Engineering
9
10.
clean
•hadoop jar(경로 1) TestDFSIO –clean
•경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함)
•작업을 통해 생성된 파일들을 지움
2014-10-02
Sejong System Engineering
10
11.
결과 출력
•명령어를모두 치고 나면 write와 read에서 생성한 파일이 남아 측정 결과를 가지고 있음
2014-10-02
Sejong System Engineering
11
12.
사용 예시
•홈에hadoop의 압축을 풀고, hadoop 파일 내에 TestDFSIO를 다운받았다고 가정 시
•~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –write -nrFiles 100 -fileSize 100 -resFile TDFS_Input.txt
•100MB짜리 파일 100개를 생성
2014-10-02
Sejong System Engineering
12
13.
사용 예시
•~/hadoop$ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –read -nrFiles 100 -fileSize 100 -resFile TDFS_Input.txt
•write에서 생성한 100MB짜리 파일 100개를 읽음
•~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –clean
•작업 내역을 지움
2014-10-02
Sejong System Engineering
13
14.
사용 예시
•catTDFS_Input.txt 로 read와 write 결과 확인 가능
2014-10-02
Sejong System Engineering
14
15.
결론
•TestDFSIO는 가볍고단순한 조작으로 성능을 측정할 수 있는 벤치마크
•먼저 공부한 TeraSort보다 결과를 해석하기 용이함
2014-10-02
Sejong System Engineering
15
