System Compleat.

'ZFS'에 해당되는 글 2건

  1. Drobo, From Data robotics inc.
  2. 스토리지, 파일 시스템, 그리고 가상화.

Drobo, From Data robotics inc.

Techs
( 정윤진,  yjjeong@rsupport.com )

오늘, 웹서핑을 하다가 흥미로운 물건을 발견해서 포스팅 해 본다.
뭐 MAC 진영에서는 소개된지 좀 오래된 물건인것 같은데, 난 첨보니깐.

data robotics 라는 회사의 물건인데, 일종의 외장형 Raid 스토리지로서,
Firewire 800, iSCSI, High-Speed USB 2.0 을 지원 한다.


사용자 삽입 이미지


생긴것도 이쁘장 한 것이, 사무실에도 잘 어울릴 것같고 특히나  본격적인 스토리지는 부담스럽지만 필요한 데이터 용량을 구가해야만 한다면  탁월한 선택이 될 수 있을 듯 싶다.


디스크는 Pro 모델의 경우 8개 까지 장착 가능하며, 일반 모델의 경우 4개 까지 장착이 가능하다.  각 Single volume 은 16T 까지 지원하며, Pro 모델은 16T 볼륨을 16개 까지 생성 가능하지만,  더 큰 사이즈의 단일 디스크가 나오기 까지는 시간이 걸릴 듯 하고.

어떠한 회사던 최소한  컴퓨터로 만들어진 결과물을 보존 및 열람, 실무자들간의 원활한 공유를 위해서는 이러한 형태의 스토리지가 필요한 건 사실이다.  뭐 어떤 개인의 욕구 충족을 위해 어떠한 형태의 영상물을 수집하건간에, 디스크 공간이 모자라서 아까운 자료를 지워야만 하는 경험을 했다면, 이런 장치는 아주 매력적으로 다가 올 수 있을 것이다.  물론 모양도 아주 예쁘니까.

Pro 모델이 아닌 일반 모델은, 팀단위의 파일 공유를 위해 사용 되어 질 수도 있을 듯 하고
특히 CAD 나 3DS Max 같은 그래픽 작업의 결과물, 또는 GIS등의 사용처라던가 아니면 개발회사에서의 소스 Repository 의 용도로 써도 좋겠다. 또는, 최근 가상화 요구에 발맞추어
VirtualBox 용도로 써도 훌륭하겠고.

또 몇몇 네트워크 어플리케이션을 제공 함으로서, iTune 의 Media 서버로 사용한다던가,
쓰기 편한 웹하드의 형태로도 사용 가능하다. 더 나아가 Rsync, Torrent 의 클라이언트로도 사용 가능하여 그 사용 방법이 제법 많아 보인다.

문제는 우리가 알고있는 일반적인 레이드 기술 같지 않아 보이는데, BeyondRaid 라는 기술로
홈페이지에서의 설명은, Single 또는 Dual disk Redundancy 를 지원하고, 확장 가능하며
뭐 기타 본 기술이 짱이라고 말하고 있지만, 역시 써봐야 좋은지 알 것 같다.
지원 하는 파일시스템은  NTFS, FAT32, ext3fs, HFS 를 지원 한단다.  쉽게 말해서
Mac, Linux, Windows 는 지원 한다는 말인데, ZFS 등을 올릴 수 있는지는 뭐 아직 잘 모르겠지만.  누군가의 블로그에서 이걸 써서 VirtualBox 에 OpenSolaris 를 올리고, Drobo의 볼륨을 ZFS 로 사용 가능하도록 삽질 하는게 있는 듯 하다.  난 아직 자세히 보진 않았지만.


역시나 가격이 문젠데, 번들 모델로 구매할 경우 4개 짜리 일반 모델에 1T 디스크 2개 해서
$749 정도다.  Pro 모델의 번들은 조금 더 비싸서, 디스크 구성에 따라 가격은 다르지만
$1550 ~ $3600 정도가지 다양하다.  뭐, 싸지는 않지만 그나마 Storage Enclosure 중에는 제일 싸다고 생각 되는 델의 MD1000 계열 ( Perc 5/e Raid Controller 1개 포함 ) 보다는 싸니까.

I/O 성능이 문제지만, 뭐 언제나 비슷한 RAID 구성에서는 비슷한 성능이 나오게 마련이니까 크게 개의치는 않지만, 심각하게 성능이 딸린다거나 볼륨의 손상이 잦다던가 발열이나 전기를 많이 잡수신다거나 하면 문제가 되겠지.


아무튼, 예쁘고 여러가지 운용 방법도 있는 스토리지라서 귀여워서 좋다.
아, Rack Mountable 제품도 있다.

아직 한국에 진출 한것 같진 않으며, 지리적으로 가장 가까운 리셀러는 일본에 있다.


제품 홈페이지
http://drobo.com

일본 리셀러 페이지
https://mynetjapan.jp/ec/products/list.php?category_id=37

한 1분 슥 훑은 결과 ZFS 삽질처럼 보였던,
Agile Developer, Berlin, Germany  Blog
http://pegolon.wordpress.com/2009/01/13/build-your-own-drobo-replacement-based-on-zfs/


스토리지, 파일 시스템, 그리고 가상화.

Techs
( 정윤진, yjjeong@rsupport.com )


일을 하다 보면, 스토리지에 관련된 이슈가 참 많이 생긴다.  NT 계열이건 Unix 계열이건, 스토리지에 대해서는 뭐 일반적인 스토리지는 많이들 구성하니까 Raid 의 종류별 성능이라던가 이런거는 뭐 너무도 일반화 되어 있어서, 별로 기술이라는 생각도 잘 들지 않게 되고.

파일시스템도 마찬가지여서, 리눅스의 ext2 시절부터 골때렸던 여러가지 이슈들 부터 메인 개발자가 사고쳐서 감방간 ReiserFS, 요새의 Solaris 기반의 ZFS 등 운영체제에 따른 OS 선택 옵션도 참 많다.

또 요새는 글로벌하게 분산되는 파일 시스템도 많아서, 뭐 사실 안정성이 문제긴 하지만 일종의 Torrent 같은 구현을 파일 시스템 레벨에서 구현하는 것도 종종 있기도 하고.

문제는 어떤 서비스에 뭘 선택해서 사용하느냐인데, 단일 시스템에서 대량의 ( Peta 규모 ) 파일시스템을 Aceess 할 일은 거의 없다고 본다. SAN 이나 iSCSI 로 엮어 NetApp이나 EMC의 스토리지와 연결하고, 이 볼륨들은 서버에서 원하는 형태로 스케일링 하여 파일시스템으로 마운트 되면서, 필요에 따라 NFS 나 CIFS 로 동일 용도의 서버로 묶는다든지, 아니면 오라클이나 DB2 등의 데이터베이스 시스템에 맞게 튜닝하여 RAC 나 클러스터링 구성을 한다 든지.

VMWare 의 ESX 서버를 SAN 에 붙여 사용하면 요거는 활용 가능성이 더욱 넓어진다.
최근 대세인 Cloud Computing 을 어떻게 구성하느냐에 따른 방법론은 참 많고, Amazon 의 EC2 관련 서비스를 어떻게 구현할 수 있을까 라는 것도 많겠지만, 궁극적으로 성능 - 백업 - 배포 - 관리 등을 동시에 고려한다면 어지간한 대규모 프로젝트보다 많은 노력이 필요하겠지.

쓰다보니 두서도 없고, 주제도 별로 제목과 맞지는 않지만 뭘 어떻게 하자는 것도 아니고
사실 고민 스러운 일도 아니다.

이전에도 한번 소개 했었지만, 간단한 파일시스템의 가상화를 통한 대량의 파일 복구 또는 DB 복구를 위해서 종종 사용하는 방법인데,  시스템에서 즉석으로 원하는 파일 시스템을 만들고
이를 마운트해서 원하는 성능을 얻는 방법. 뭐, 리눅스 용이고 간단한 dd 커맨드로 가능하다.
물론 해당 파일 시스템을 사용하기 위한 커널 모듈 또는 툴 등이 필요한것은 지당하다.

dd if=/dev/zero of=test_hoho.img bs=1k count=10000  ( 원하는 블럭사이즈의 원하는 파일 시스템 크기 )
mkfs.reiserfs test_hoho.img
mount test_hoho.img /mnt/test

ext3 의 dir_index 를 붙이기전, ( 뭐 일종의 파일시스템에 대한 b-tree indexing 정도로 이해하고 있다 ) 현저하게 떨어지는 대량의 파일에 대한 컨트롤 능력에 필요할때의 응급조치 랄까.

어느 순간에 대한 백업으로서 써도 좋다. 아니면 이렇게 만든 파일 시스템에 OS 를 올려서 배포를 해도 좋겠지.  분산컴퓨팅에 많이 쓰기도 하고.  나중에 pxe boot 와 연계해서 올리는 방법에 대해 간단히 설명하게 되면 하기로 하고.

systemimager 와 같은 유틸리티로 Cloud computing 을 구성할 수도 있고 뭐, 널린게 방법이니까.


어쨌든, 이 주제없고 웬지 Storage Tab 이 썰렁해 보여 아무렇게나 써제끼는 글에 대한 결론아닌 결론이라면, 역시 돈있으면 NetApp, EMC, 돈없으면 HDFS GFS ZFS 라는 거다.
서버 - Filesystem 이 분리 될 수 있는 NFS 구조라면,  NFS 자체는 OpenSolaris 의 nexenta 같은 OS를 사용하고, 이를 윈도우에서 마운트 하던 유닉스에서 마운트하던 맘대로 사용하면 되시겠다.

고가의 Veritas Cluster 나 Suncluster, Oracle RAC 같은 구성이라면, 돈있으면 SAN 돈없으면 iSCSI 겠지.  이럴때도 iSCSI 를 사용하기로 했다면, nexenta 가 훌륭한 답이 될 수도 있다.

암튼, 이런저런 두서없는 끄적거림에 대한 나만의 결론은, 돈이 있건 없건 대량의 사이즈에 대한 백업 또는 스냅샷 정책이 있어야 하고, 파일시스템 레벨에서의 정합성 및 장애 극복에 대해 항상 염두해 두어야 회사에서 잘리는 일이 없지 않을까?


그냥 썼다.  비도 오고 기분도 그렇고 해서~