시작하면서 저번 포스팅에서 HDFS는 3. 여러 개로 분산된 저장소를 하나의 파일 시스템처럼 사용하며 원격으로 접속할 수 있다. 고 했습니다. 이는 분산된 장치(하드웨어)의 여러 사용자가 하나의 파일 시스템을 공유하는 것과 마찬가지인데요. 이번 포스팅에서 하둡을 설치하면서, 위의 기능을 설명드리겠습니다. 설치 개요 하둡 공식 사이트를 방문하면, 총 3가지 모드의 설치법이 존재합니다. 싱글 노드 모드(Single node cluster mode) 의사 분산 모드(Pseudo-Distributed cluster mode) 완전 분산 모드(Fully-Distributed cluster mode) 싱글 모드 설치법부터 완전 분산 모드 설치법까지 공식 사이트에 나와있습니다. 하지만 여러분의 시간을 아껴주고, 제 ..

시작하면서 아파치(apache) 빅데이터 프로젝트 내 하둡 생태계(hadoop echosystem) 중 파일시스템(filesystem)입니다. HDFS는 단순히 하둡 분산 파일 시스템(Hadoop Distributed File System)을 줄여 부르는 말입니다. 이는 여러 개의 하드웨어(저장소)를 묶은 하나의 파일 시스템이라고 생각하면 됩니다. 실제 HDFS를 사용해보면 현실 속에서 저장소가 분산되었지만, 마치 하나의 파일 시스템을 쓰는 것과 같은 느낌을 받을 수 있습니다. 이를 하둡에서 개발했기 때문에 위와 같은 이름이 붙었습니다. The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on comm..

안녕하세요. 많은 것들을 탐구하고 연구하면서 가지고 있던 모든 지식을 정리하고 또 공유하기 위해서 개인 블로그를 만들게 되었어요. tistory가 이러한 제 목표를 달성해주는 데 가장 적합할 것 같아 앞으로 여기에 작성해나갈 생각입니다! 프로필 에서 소개했다시피, 저는 많고 다양한 경험을 했어요. 당연히 기본 소양인 프로그래밍은 파이썬, 자바, 자바스크립트, C, C++ 막론하고 자료구조부터 알고리즘까지 모두 해보았고 (다들 알고리즘 문제 푸느라 밤낮 새본 적 있잖아요?) 이와는 별개로 회로이론과 신호처리, 컴퓨터 구조와 디지털 및 전자 회로 설계까지 해봤죠. (솔직히 CAD가 가장 재미있었어요) 그뿐인가요. 수학도 정말 좋아해서 확률 및 통계학과 미적분학, 그리고 선형대수학과 이산수학까지 배워버렸어요...