ZFSでつくる4発NAS

Posted on 2011/06/20 (月) 14:56
Filed Under ZFS | Leave a Comment | TrackBack | Share on Tumblr

このFreeBSDでつくる4発NASの記事がおもしろかった。
「404 Blog Not Found:備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS」

この構成だと2TBx4のディスク込みでAmazon価格57,422円くらい。安い。
この構成でアプライアンスのようにしてiSCSI Targetとして6TB単位で増やしていくというのもよさそう。

ウチの16発NASもopensolarisは開発停止になり、OpenIndianaはいつ安定版が出るのかもわからないんで、FreeBSDかFreeNASにそろそろ入れ替えたいところ。

ZFSで動かす16発NAS

Posted on 2010/08/31 (火) 2:25
Filed Under ZFS | Leave a Comment | TrackBack | Share on Tumblr

ユニットコムというパソコン工房、TWOTWOP、Faithなどを運営してるところが「P-1グランプリ」という自作パソコンコンテストをやっていて、そこにウチが組み立てた16発NASが「18番 ZFSで動かす16発NAS」という項目でエントリーされた。

テーマは「もらったらうれしいパソコン」ちゅうことなんで、16発NASが欲しいと思ったら投票してもらえると嬉しいです。

「【PC Watch】カスタムPCコンテスト「ユニットコムP-1グランプリ2010」のWeb受付開始～グランプリ賞金は100万円」

「P-1グランプリに投票する」

ZFSがついにLinuxに!

Posted on 2010/08/27 (金) 20:27
Filed Under ニュース, ZFS | Leave a Comment | TrackBack | Share on Tumblr

Sunの開発したファイルシステム、ZFSがついにLinuxにネイティブに動く日が来る!
「[Phoronix] Native ZFS Is Coming To Linux Next Month」

Sunよ、安らかに眠れ。

(写真は「High Concept+（ハイコンセプト+）: やっぱ悲しい」から)

ZFS 仮想化されたファイルシステムの徹底活用
加藤久慶
発売:アスキー・メディアワークス
発売日:2009-07-15
定価:￥ 2,940
ASIN:4048676547

新造ZFS17発NAS

Posted on 2009/08/04 (火) 0:41
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

友人に頼まれて新たなNASをこしらえた。
今回は起動ディスクを2.5インチでミラーリング、ストレージプールを3.5インチで15台の構成。

使ったパーツはこんな感じ。

まずケース。
新しく見つけたSUPER18-BKというケース。これが5インチベイ11本、3.5インチベイ1本、3.5インチシャドウベイ6本というかなりの拡張性で一万円を切る価格とAntec TwelveHundredと比較してかなりの手頃価格。

18ドライブベイATXフルタワーケース、電源無し、ブラック Super18-BK

発売:iCute
発売日:
定価:オープンプライス

次にストレージプール用ハードディスクケース。
5インチベイ2つ分で3.5インチディスクが3本入るCENTURYの「３代目技あり！楽ラック！（CWRS3-BK）を5台で15本分。
姉妹品の５代目技あり！楽ラック！はドライブガイドレール用溝が切られてなかったため選択外に。

センチュリー 3代目技あり楽ラックブラック CWRS3-BK

発売:センチュリー
発売日:2008-10-02
定価:オープンプライス
ASIN:B001GSQZI6

そして起動ディスク用RAIDケース。
DIRACのDIR-2221-SRAIDEを選択。
2.5インチHDD2本がミラーリングできて3.5インチベイ1本文のスペースに入るRAIDケース。

Portable Dual Drive Modules DIR-2221-SRAIDE CRS シリーズ PCI Case

発売:PCI Case
発売日:
定価:オープンプライス
ASIN:B0026IV4N6

今回はAMDアーキテクチャにしようと思って、マザボはギガバイトのGA-MA790FXT-UD5Pを選択。オンボードでSATAが10ポートあったんで。

GIGABYTE GA-MA790FXT-UD5P マザーボード

発売:Gigabyte
発売日:
定価:オープンプライス
ASIN:B002659MYC

AMD AMD PhenomII X3 705e HD705EOCGIBOX

発売:AMD
発売日:
定価:オープンプライス
ASIN:B002BIQC6U

そしてRAMを4GB、SATAカードを3枚、1000W電源、適当なビデオカードの構成。

Transcend JetRam デスクトップPC用増設メモリ DDR3-1333 2GB 永久保証 JM1333KLU-2G

発売:トランセンド・ジャパン
発売日:2008-10-01
定価:オープンプライス
ASIN:B001FVTCGG

玄人志向インターフェースボード SATA2RI2-PCIE

発売:玄人志向
発売日:
定価:オープンプライス
ASIN:B000ELJ6VY

アクティス ATX+12V 4pin+4pin×1、ペリフェラル4pin×9、ドライブ・ミニ 4pin×2、PCI-Express6+2pin×2、S-ATA×10 AP-1000GLX80+BL

発売:アクティス
発売日:
定価:オープンプライス
ASIN:B002HPWMRU

玄人志向グラフィックボード nVIDIA GeForce8400GS 256MB LowProfile PCI-Ex16 GF8400GS-LE256HD

発売:玄人志向
発売日:2008-06-30
定価:オープンプライス
ASIN:B001B2TVBU

組み終わってUSB CD-ROMドライブからopensolarisをインストールしようとしたら見慣れないGRUBのコマンド入力になったまま起動しない。
おやおや?
ATAPIかなんかでインストールしろということかしら?

もしかしたら明日以降に続くかも。

ZFS 仮想化されたファイルシステムの徹底活用

Posted on 2009/07/21 (火) 14:35
Filed Under 今日買った商業誌, ZFS | Leave a Comment | TrackBack | Share on Tumblr

ZFS本が出ていたのに全く気がついてなかった!
ひとまず今買って来たんでこれから読む。
出版社のASCIIによる製品紹介ページと目次はこんな感じ。
「ZFS 仮想化されたファイルシステムの徹底活用」

ファイルシステムの次の20年をつかむ

1章 ZFSとはなにか？
1.1 ファイルシステム仮想化への道のり
1.2 ZFSの特徴
1.3 ストレージプールとファイルシステム
1.4 新しいACL

2章家庭向けファイルサーバーを作る
2.1 ファイルサーバーの全体像
2.2 OpenSolarisをインストールする
2.3 共有ファイルシステムを用意する
2.4 Windowsクライアントを設定する
2.5 スナップショットを使用したバックアップと復元

3章目的別コマンド活用ガイド
3.1 ストレージプールの操作
　　ミラー化されたストレージプールを作成するには
　　RAID Z化されたストレージプールを作成するには
　　ストレージプールにドライブを追加するには
　　ホットスワップ用のドライブを追加するには
　　空き容量を確認するには
　　動作の統計情報を表示させるには
　　エラーの有無やストレージプールの構成を確認するには
　　強制的にデータをチェックするには
　　異常状態のドライブを交換するには
　　別のシステムにストレージを接続するには
3.2 ファイルシステムの操作
　　ファイルシステムを作成するには
　　プロパティを設定するには
　　ファイルシステムを利用可能とするには
　　消費容量を制限するには
　　スナップショットを作成するには
　　スナップショットを参照するには
　　スナップショット作成時の状態にロールバックするには
　　スナップショットを破棄するには
　　クローンを作成するには
　　ファイルシステムの内容をクローンで置き換えるには
　　ファイルシステムをNFSで公開するには
　　iSCSIでエクスポートするには
　　CIFSでエクスポートするには
　　スナップショットをストリームにまとめる
　　ZFSストリームを取り込むには
　　スナップショットの差分転送を行う
3.3 オートスナップショットとタイムスライダー

4章より進んだ構成方法
4.1 サーバー2台のデータをレプリケーション
4.2 iSCSIを介してLinuxから利用する
4.3 iSCSIボリュームの応用的な使い方
4.4 HAクラスタ向けの共有ディスクを提供する
4.5 仮想化環境で利用する

5章大規模な運用事例
5.1 大規模ファイルサーバーをバックアップする
5.2 データサーバー2台の遠隔ミラーリング

6章 ZFS Internal
6.1 ZFSソフトウェアスタックの概観
6.2 入出力要求からファイルが書き込まれるまで
6.3 ストレージプールのデータ構造

7章 OpenSolaris特有の管理ツール
7.1 IPSを使用したパッケージ管理
7.2 RBACによるユーザー管理
7.3 NWAMを使ったネットワークへの接続設定
7.4 サービスの管理とSMF

付録A Amandaを使ったバックアップ
索引

ZFS 仮想化されたファイルシステムの徹底活用
加藤久慶
発売:アスキー・メディアワークス
発売日:2009-07-15
定価:￥ 2,940
ASIN:4048676547

OpenSolaris 2009.06の新機能とSun Cloud

Posted on 2009/06/03 (水) 23:24
Filed Under ニュース, ZFS | Leave a Comment | TrackBack | Share on Tumblr

「サンのクラウドは、Amazon EC2とどう違うのか？ − ＠IT」
Sun Cloudは後発のアドバンテージとしてGUIでらくらくHadoopクラスタを構成できたりしてしまうのもすごさだが、OpenSolaris 2009.06に積まれたCrossbowもかなりすごそうだった。

　ZFSがファイルシステムという大きなサブモジュールをスクラッチで書き直したものであるように、「Crossbow」はネットワークモジュールを書き直したものだ。OpenSolaris 2009.06で初めて統合された。

　昨今のNICは、仮想化環境を想定して物理的なポートが1つだけであっても、独立した「レーン」が備わっていることがある。これらのレーンには個別にパケットバッファがある。こうしたNICの機能を、仮想化環境で最大限に生かすためにVNIC（仮想NIC）をサポートしたのがCrossbowだ。

　これまで仮想環境のNICへのパケットは、ホストOSやハイパーバイザがルーティングしていたが、VNICであれば、各仮想環境のNICは直接パケットを拾い出すことができる。これはセキュリティ上も、パフォーマンス上もメリットが大きい。

　Crossbowではソフトウェア的にレーンを用意し、ハードウェアレーンがある限りこれを割り当てる。もし、仮想サーバが増えてハードウェアレーンが足りなくなれば、足りない分はソフトウェアレーンに割り当てるようフォールバックする。

　Crossbowでは負荷が高くなったときのパフォーマンス低下を抑える「ダイナミック・ポーリング」の機能を実装しているという。パケット受信速度がパケット処理速度以下の場合には、各NICのパケットは割り込みによってCPUが処理するが、どこかのレーンで受信速度が処理速度を超えると、そこは自動的にポーリングモードに切り替わる。ポーリングモードでは、CPU（パケット処理用のスレッド）は一定間隔でレーンに蓄積したパケットを、パケットチェーンとしてまとめて受け取る。これはネットワークのスループットやCPUリソースの面で有利だという。

これは期待だ!

ところでウチの16発NASもOpenSolaris 2009.06にアップデートして一日経ったところで，いままで不安定だったSolarisCIFSの安定度がだいぶ高くなった感じ。

ZFSで16発NAS TOWERを作ろう-iSCSIでTimeMachine編

Posted on 2009/05/26 (火) 17:58
Filed Under Mac, ZFS | Leave a Comment | TrackBack | Share on Tumblr

ZFSで作られたNASにiSCSI Targetを作成して、TimeMachineのバックアップを行うことにした。

Leopardから導入されたバックアップシステムのTimeMachineは
・Apple純正NASのTimeCapsuleを使う
・USB HDDなどのローカルドライブを使う
というのが基本になっている。

前者のアプローチはこちらのページが詳しい。
「TimeCapsuleじゃないNASを使って、TimeMachineを使ってみる | OpenMediaLaboratory」

今回は後者のアプローチからテストしてみる。
物理的には16発NASを使うのでiSCSIで接続することにする。iSCSIはちょー簡単に言うとEthernetを使ってハードディスクなんかをつなげよう、的規格。

まずopensolaris側でiSCSI Targetと呼ばれる仮想HDDの準備。
「Solaris 10 8/07 リリース情報」に要点はすべてまとまっているのだけど引用すると、

まず iSCSI ターゲットのサービスが有効になっているか確認します。

target# svcs -a | grep iscsitgt
disabled 9月_11 svc:/system/iscsitgt:default

サービスが有効になっていなければ、svcadm コマンドを使って有効にします。

target# svcadm enable iscsitgt

有効になったことを確認します。

target# svcs -a | grep iscsitgt
online 18:48:02 svc:/system/iscsitgt:default

次に zfs ファイルシステムを作成します。

target# zpool create -f mypool c1t2d0
target# zfs create mypool/volumes

この内の 10GB を iSCSI ターゲットの Backing store 用に作成します。

target# zfs create -V 10gb mypool/volumes/t1

上記で作成した 10GB の ZFS ファイルシステムを iSCSI ターゲットの Backing store として指定します。ここで紹介する shareiscsi が Solaris 8/07 から追加されたプロパティです。

target# zfs set shareiscsi=on mypool/volumes/t1

iSCSI ターゲットが作成したか確認してみます。

target# iscsitadm list target -v

Target: mypool/volumes/t1
iSCSI Name: iqn.1986-03.com.sun:02:6c72b7b3-0e7e-6421-d736-f8acd7b20755
Alias: mypool/volumes/t1
Connections: 0
ACL list:
TPGT list:
LUN information:
LUN: 0
GUID: 0×0
VID: SUN
PID: SOLARIS
Type: disk
Size: 10G
Backing store: /dev/zvol/rdsk/mypool/volumes/t1
Status: online
#

これで、iqn.1986-03.com.sun:02:6c72b7b3-0e7e-6421-d736-f8acd7b20755 という名前の iSCSI target が作成できました。

これだけ! 簡単!
(今回は認証設定してないんで興味のあるひとは「iSCSI ベースのストレージネットワークにおける認証の構成」辺をどうぞ)

次にMac OS Xの方。
Leopard単体だとiSCSI Initiator (本体側をこう呼ぶ)の機能を持ってないんで「globalSAN iSCSI Initiator for OS X」をダウンロードする。
インストール完了するとシステム環境設定にglobalSAN iSCSIが出てくる。

globalSAN [+]ボタンを押してIPアドレスとiqnから始まるiSCSIデバイス名を入れてConnectを押すと、このディスクは使えませんフォーマットしますか、みたいなことをいつものように言ってくるはず。

初期化が終わったところで内蔵500GBハードディスク WD5000BEVTとXBench 1.3で比較してみた。

項目	iSCSI(MB/sec)	内蔵HDD(MB/sec)
Sequential Write [4K blocks]	43.26	38.02
Sequential Write [256K blocks]	36.51	20.54
Sequential Read [4K blocks]	10.45	7.13
Sequential Read [256K blocks]	82.02	33.96
Random Write [4K blocks]	43.55	0.79
Random Write [256K blocks]	30.98	17.82
Random Read [4K blocks]	10.14	0.39
Random Read [256K blocks]	84.28	23.33