Macan

Yarn? Hadoop 1.0에서는 JobTracker가 클러스터의 자원 배분과 Job관리를 함께 수행했기 때문에 JobTracker에서 병목현상이 일어났다. JobTracker가 하던 두 가지 역할-자원관리를 Resource Manager와 Application Master로 분리해서 JobTracker에 몰리던 병목을 제거했습니다. Resource Management, Scheduling/Monitoring을 구분하는 daemon의 기능을 분할하였습니다. global하게 ResourceManager, per-application ApplicationManager를 두자라는 아이디어에서 부터 시작했습니다. 범용 컴퓨팅 클러스터가 가능 (MapReduce)외에도 다양한 어플리케이션을 실행할 수 있으며, ..

Apache Hadoop ?Hadoop은 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크이다.하둡의 인기는 분산 프로그래밍에 대한 IT업계에서의 요구를 충분히 충족시켜 주었으며 분산저장( HDFS ) 기술과 분산 처리기술( MapReduce )을 오픈소스로 풀면서 세상의 주목을 받았다. 왜? 하드디스크의 저장 용량은 지난 수년동안 엄청난 증가한 반면, 액세스 속도는 그러지 못하였다.1990년대 전형적인 하드디스크는 1GB 남짓. 4.4MB/s 전송 속도를 지녔으며 전체 드라이브를 읽어오는데 걸리는 시간은 약 5분 정도였다.20년이 지난 현시대의 드라이브는 1TB. 100MB/s 전송 속도. 전체 드라이브를 읽어오는데 걸리는 시간은 약 두시간 반 이상.하드디스크 드라이브에 있는 모든 데..

ZooKeeper 란 ? ZooKeeper는 구성 정보를 유지 관리하고 이름을 지정하며 분산 동기화를 제공하고 그룹 서비스를 제공하는 중앙 집중식 서비스 (분산 코디네이터) 이다. "분산 시스템"이란 복수의 컴퓨터가 네트워크를 통해 통신하며 하나의 목적을 위해 서로 간에 상호작용하는 것을 말한다.다수의 컴퓨터가 마치 하나인 것처럼 동작하는 시스템인것이다.분산 시스템을 구성할때 고려해야 할 사항들은 네트워크의 신뢰성, 지연, 대역폭, 안정성, 토폴로지에 대한 고려, 전송 비용, 네트워크 유형 등을 고려해야 하며 분산 서버들 간의 정보 공유, 동기화 분산 서버들의 상태 확인등 또한 필요하다. 분산 컴퓨팅에서 "코디네이션"의 예는 그룹 멤버쉽(Group Membership), 잠금제어(Locking), 공급/..

Apache Zeppelin 개발환경 준비하기 가급적 Linux 가 설치된 노트북이나 맥북 (OSX) 을 진행해주시면 진행이 수월해질거에요.Git 이 없다면 설치해주세요. - https://git-scm.com/downloadsMaven 3.5+ 를 설치해주세요 - (windows) https://zetawiki.com/wiki/윈도우_메이븐_설치 - (ubuntu linux) https://zetawiki.com/wiki/우분투16_메이븐_설치 - (osx) brew install mavenJDK8 를 설치하고 JAVA_HOME 과 PATH 를 세팅해주세요 - (windows) http://recipes4dev.tistory.com/50 - (ubuntu linux) https://zetawiki.co..