Macan

Yarn? Hadoop 1.0에서는 JobTracker가 클러스터의 자원 배분과 Job관리를 함께 수행했기 때문에 JobTracker에서 병목현상이 일어났다. JobTracker가 하던 두 가지 역할-자원관리를 Resource Manager와 Application Master로 분리해서 JobTracker에 몰리던 병목을 제거했습니다. Resource Management, Scheduling/Monitoring을 구분하는 daemon의 기능을 분할하였습니다. global하게 ResourceManager, per-application ApplicationManager를 두자라는 아이디어에서 부터 시작했습니다. 범용 컴퓨팅 클러스터가 가능 (MapReduce)외에도 다양한 어플리케이션을 실행할 수 있으며, ..

Apache Hadoop ?Hadoop은 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크이다.하둡의 인기는 분산 프로그래밍에 대한 IT업계에서의 요구를 충분히 충족시켜 주었으며 분산저장( HDFS ) 기술과 분산 처리기술( MapReduce )을 오픈소스로 풀면서 세상의 주목을 받았다. 왜? 하드디스크의 저장 용량은 지난 수년동안 엄청난 증가한 반면, 액세스 속도는 그러지 못하였다.1990년대 전형적인 하드디스크는 1GB 남짓. 4.4MB/s 전송 속도를 지녔으며 전체 드라이브를 읽어오는데 걸리는 시간은 약 5분 정도였다.20년이 지난 현시대의 드라이브는 1TB. 100MB/s 전송 속도. 전체 드라이브를 읽어오는데 걸리는 시간은 약 두시간 반 이상.하드디스크 드라이브에 있는 모든 데..