新造ZFS17発NAS

Posted on 2009/08/04 (火) 0:41
Filed Under 日記, ZFS | Leave a Comment | TrackBack |

友人に頼まれて新たなNASをこしらえた。
今回は起動ディスクを2.5インチでミラーリング、ストレージプールを3.5インチで15台の構成。

使ったパーツはこんな感じ。

まずケース。
新しく見つけたSUPER18-BKというケース。これが5インチベイ11本、3.5インチベイ1本、3.5インチシャドウベイ6本というかなりの拡張性で一万円を切る価格とAntec TwelveHundredと比較してかなりの手頃価格。

18ドライブベイATXフルタワーケース、電源無し、ブラック Super18-BK

発売:iCute
発売日:
定価:オープンプライス

次にストレージプール用ハードディスクケース。
5インチベイ2つ分で3.5インチディスクが3本入るCENTURYの「３代目技あり！楽ラック！（CWRS3-BK）を5台で15本分。
姉妹品の５代目技あり！楽ラック！はドライブガイドレール用溝が切られてなかったため選択外に。

センチュリー 3代目技あり楽ラックブラック CWRS3-BK

発売:センチュリー
発売日:2008-10-02
定価:オープンプライス
ASIN:B001GSQZI6

そして起動ディスク用RAIDケース。
DIRACのDIR-2221-SRAIDEを選択。
2.5インチHDD2本がミラーリングできて3.5インチベイ1本文のスペースに入るRAIDケース。

Portable Dual Drive Modules DIR-2221-SRAIDE CRS シリーズ PCI Case

発売:PCI Case
発売日:
定価:オープンプライス
ASIN:B0026IV4N6

今回はAMDアーキテクチャにしようと思って、マザボはギガバイトのGA-MA790FXT-UD5Pを選択。オンボードでSATAが10ポートあったんで。

GIGABYTE GA-MA790FXT-UD5P マザーボード

発売:Gigabyte
発売日:
定価:オープンプライス
ASIN:B002659MYC

AMD AMD PhenomII X3 705e HD705EOCGIBOX

発売:AMD
発売日:
定価:オープンプライス
ASIN:B002BIQC6U

そしてRAMを4GB、SATAカードを3枚、1000W電源、適当なビデオカードの構成。

Transcend JetRam デスクトップPC用増設メモリ DDR3-1333 2GB 永久保証 JM1333KLU-2G

発売:トランセンド・ジャパン
発売日:2008-10-01
定価:オープンプライス
ASIN:B001FVTCGG

玄人志向インターフェースボード SATA2RI2-PCIE

発売:玄人志向
発売日:
定価:オープンプライス
ASIN:B000ELJ6VY

アクティス ATX+12V 4pin+4pin×1、ペリフェラル4pin×9、ドライブ・ミニ 4pin×2、PCI-Express6+2pin×2、S-ATA×10 AP-1000GLX80+BL

発売:アクティス
発売日:
定価:オープンプライス
ASIN:B002HPWMRU

玄人志向グラフィックボード nVIDIA GeForce8400GS 256MB LowProfile PCI-Ex16 GF8400GS-LE256HD

発売:玄人志向
発売日:2008-06-30
定価:オープンプライス
ASIN:B001B2TVBU

組み終わってUSB CD-ROMドライブからopensolarisをインストールしようとしたら見慣れないGRUBのコマンド入力になったまま起動しない。
おやおや?
ATAPIかなんかでインストールしろということかしら?

もしかしたら明日以降に続くかも。

ZFS 仮想化されたファイルシステムの徹底活用

Posted on 2009/07/21 (火) 14:35
Filed Under 今日買った商業誌, ZFS | Leave a Comment | TrackBack |

ZFS本が出ていたのに全く気がついてなかった!
ひとまず今買って来たんでこれから読む。
出版社のASCIIによる製品紹介ページと目次はこんな感じ。
「ZFS 仮想化されたファイルシステムの徹底活用」

ファイルシステムの次の20年をつかむ

1章 ZFSとはなにか？
1.1 ファイルシステム仮想化への道のり
1.2 ZFSの特徴
1.3 ストレージプールとファイルシステム
1.4 新しいACL

2章家庭向けファイルサーバーを作る
2.1 ファイルサーバーの全体像
2.2 OpenSolarisをインストールする
2.3 共有ファイルシステムを用意する
2.4 Windowsクライアントを設定する
2.5 スナップショットを使用したバックアップと復元

3章目的別コマンド活用ガイド
3.1 ストレージプールの操作
　　ミラー化されたストレージプールを作成するには
　　RAID Z化されたストレージプールを作成するには
　　ストレージプールにドライブを追加するには
　　ホットスワップ用のドライブを追加するには
　　空き容量を確認するには
　　動作の統計情報を表示させるには
　　エラーの有無やストレージプールの構成を確認するには
　　強制的にデータをチェックするには
　　異常状態のドライブを交換するには
　　別のシステムにストレージを接続するには
3.2 ファイルシステムの操作
　　ファイルシステムを作成するには
　　プロパティを設定するには
　　ファイルシステムを利用可能とするには
　　消費容量を制限するには
　　スナップショットを作成するには
　　スナップショットを参照するには
　　スナップショット作成時の状態にロールバックするには
　　スナップショットを破棄するには
　　クローンを作成するには
　　ファイルシステムの内容をクローンで置き換えるには
　　ファイルシステムをNFSで公開するには
　　iSCSIでエクスポートするには
　　CIFSでエクスポートするには
　　スナップショットをストリームにまとめる
　　ZFSストリームを取り込むには
　　スナップショットの差分転送を行う
3.3 オートスナップショットとタイムスライダー

4章より進んだ構成方法
4.1 サーバー2台のデータをレプリケーション
4.2 iSCSIを介してLinuxから利用する
4.3 iSCSIボリュームの応用的な使い方
4.4 HAクラスタ向けの共有ディスクを提供する
4.5 仮想化環境で利用する

5章大規模な運用事例
5.1 大規模ファイルサーバーをバックアップする
5.2 データサーバー2台の遠隔ミラーリング

6章 ZFS Internal
6.1 ZFSソフトウェアスタックの概観
6.2 入出力要求からファイルが書き込まれるまで
6.3 ストレージプールのデータ構造

7章 OpenSolaris特有の管理ツール
7.1 IPSを使用したパッケージ管理
7.2 RBACによるユーザー管理
7.3 NWAMを使ったネットワークへの接続設定
7.4 サービスの管理とSMF

付録A Amandaを使ったバックアップ
索引

ZFS 仮想化されたファイルシステムの徹底活用
加藤久慶
発売:アスキー・メディアワークス
発売日:2009-07-15
定価:￥ 2,940
ASIN:4048676547

OpenSolaris 2009.06の新機能とSun Cloud

Posted on 2009/06/03 (水) 23:24
Filed Under ニュース, ZFS | Leave a Comment | TrackBack |

「サンのクラウドは、Amazon EC2とどう違うのか？ − ＠IT」
Sun Cloudは後発のアドバンテージとしてGUIでらくらくHadoopクラスタを構成できたりしてしまうのもすごさだが、OpenSolaris 2009.06に積まれたCrossbowもかなりすごそうだった。

　ZFSがファイルシステムという大きなサブモジュールをスクラッチで書き直したものであるように、「Crossbow」はネットワークモジュールを書き直したものだ。OpenSolaris 2009.06で初めて統合された。

　昨今のNICは、仮想化環境を想定して物理的なポートが1つだけであっても、独立した「レーン」が備わっていることがある。これらのレーンには個別にパケットバッファがある。こうしたNICの機能を、仮想化環境で最大限に生かすためにVNIC（仮想NIC）をサポートしたのがCrossbowだ。

　これまで仮想環境のNICへのパケットは、ホストOSやハイパーバイザがルーティングしていたが、VNICであれば、各仮想環境のNICは直接パケットを拾い出すことができる。これはセキュリティ上も、パフォーマンス上もメリットが大きい。

　Crossbowではソフトウェア的にレーンを用意し、ハードウェアレーンがある限りこれを割り当てる。もし、仮想サーバが増えてハードウェアレーンが足りなくなれば、足りない分はソフトウェアレーンに割り当てるようフォールバックする。

　Crossbowでは負荷が高くなったときのパフォーマンス低下を抑える「ダイナミック・ポーリング」の機能を実装しているという。パケット受信速度がパケット処理速度以下の場合には、各NICのパケットは割り込みによってCPUが処理するが、どこかのレーンで受信速度が処理速度を超えると、そこは自動的にポーリングモードに切り替わる。ポーリングモードでは、CPU（パケット処理用のスレッド）は一定間隔でレーンに蓄積したパケットを、パケットチェーンとしてまとめて受け取る。これはネットワークのスループットやCPUリソースの面で有利だという。

これは期待だ!

ところでウチの16発NASもOpenSolaris 2009.06にアップデートして一日経ったところで，いままで不安定だったSolarisCIFSの安定度がだいぶ高くなった感じ。

ZFSで16発NAS TOWERを作ろう-iSCSIでTimeMachine編

Posted on 2009/05/26 (火) 17:58
Filed Under Mac, ZFS | Leave a Comment | TrackBack |

ZFSで作られたNASにiSCSI Targetを作成して、TimeMachineのバックアップを行うことにした。

Leopardから導入されたバックアップシステムのTimeMachineは
・Apple純正NASのTimeCapsuleを使う
・USB HDDなどのローカルドライブを使う
というのが基本になっている。

前者のアプローチはこちらのページが詳しい。
「TimeCapsuleじゃないNASを使って、TimeMachineを使ってみる | OpenMediaLaboratory」

今回は後者のアプローチからテストしてみる。
物理的には16発NASを使うのでiSCSIで接続することにする。iSCSIはちょー簡単に言うとEthernetを使ってハードディスクなんかをつなげよう、的規格。

まずopensolaris側でiSCSI Targetと呼ばれる仮想HDDの準備。
「Solaris 10 8/07 リリース情報」に要点はすべてまとまっているのだけど引用すると、

まず iSCSI ターゲットのサービスが有効になっているか確認します。

target# svcs -a | grep iscsitgt
disabled 9月_11 svc:/system/iscsitgt:default

サービスが有効になっていなければ、svcadm コマンドを使って有効にします。

target# svcadm enable iscsitgt

有効になったことを確認します。

target# svcs -a | grep iscsitgt
online 18:48:02 svc:/system/iscsitgt:default

次に zfs ファイルシステムを作成します。

target# zpool create -f mypool c1t2d0
target# zfs create mypool/volumes

この内の 10GB を iSCSI ターゲットの Backing store 用に作成します。

target# zfs create -V 10gb mypool/volumes/t1

上記で作成した 10GB の ZFS ファイルシステムを iSCSI ターゲットの Backing store として指定します。ここで紹介する shareiscsi が Solaris 8/07 から追加されたプロパティです。

target# zfs set shareiscsi=on mypool/volumes/t1

iSCSI ターゲットが作成したか確認してみます。

target# iscsitadm list target -v

Target: mypool/volumes/t1
iSCSI Name: iqn.1986-03.com.sun:02:6c72b7b3-0e7e-6421-d736-f8acd7b20755
Alias: mypool/volumes/t1
Connections: 0
ACL list:
TPGT list:
LUN information:
LUN: 0
GUID: 0×0
VID: SUN
PID: SOLARIS
Type: disk
Size: 10G
Backing store: /dev/zvol/rdsk/mypool/volumes/t1
Status: online
#

これで、iqn.1986-03.com.sun:02:6c72b7b3-0e7e-6421-d736-f8acd7b20755 という名前の iSCSI target が作成できました。

これだけ! 簡単!
(今回は認証設定してないんで興味のあるひとは「iSCSI ベースのストレージネットワークにおける認証の構成」辺をどうぞ)

次にMac OS Xの方。
Leopard単体だとiSCSI Initiator (本体側をこう呼ぶ)の機能を持ってないんで「globalSAN iSCSI Initiator for OS X」をダウンロードする。
インストール完了するとシステム環境設定にglobalSAN iSCSIが出てくる。

globalSAN [+]ボタンを押してIPアドレスとiqnから始まるiSCSIデバイス名を入れてConnectを押すと、このディスクは使えませんフォーマットしますか、みたいなことをいつものように言ってくるはず。

初期化が終わったところで内蔵500GBハードディスク WD5000BEVTとXBench 1.3で比較してみた。

項目	iSCSI(MB/sec)	内蔵HDD(MB/sec)
Sequential Write [4K blocks]	43.26	38.02
Sequential Write [256K blocks]	36.51	20.54
Sequential Read [4K blocks]	10.45	7.13
Sequential Read [256K blocks]	82.02	33.96
Random Write [4K blocks]	43.55	0.79
Random Write [256K blocks]	30.98	17.82
Random Read [4K blocks]	10.14	0.39
Random Read [256K blocks]	84.28	23.33

iSCSIなかなか速い。

ZFS上に作られたzvolはスナップショットをとったりクローンを作成してそれぞれをマウントできたりもするようなんでいろいろ用途はありそう。

参考資料
・「ZFS and Mac OS X Time Machine: The Perfect Team - Constantin’s Blooog」
・「Solaris 10 8/07 リリース情報」(Sun Microsystems)
・「iSCSI ベースのストレージネットワークにおける認証の構成」(Sun Microsystems)
・「zvol と iSCSI と NTFS と zfs snapshot (その 1) : やっぱり Sun がスキ！」
・「zvol と iSCSI と NTFS と zfs snapshot (その 2) : やっぱり Sun がスキ！」
・「zvol と iSCSI と NTFS と zfs snapshot (その３) : やっぱり Sun がスキ！」

ドライブドアSATAボックスレイドという名前の4発eSATA箱買った

Posted on 2009/05/21 (木) 1:18
Filed Under レビュー, ZFS | Leave a Comment | TrackBack |

センチュリーのドライブドアSATAボックスレイドというSilicon Image 3132ののったPCIe x1カードとeSATAポートマルチプライヤでつながったSATA外付けケースをopensolaris 2008.11で認識するか試してみた。

残念ながらまだポートマルチプライヤは認識できないようでSATA箱のドライブは1台だけしか見えなかった。

今後に期待。

センチュリードライブドア SATAボックスレイド EX35PM4B-PE

発売:センチュリー
発売日:2007-01-18
定価:オープンプライス
ASIN:B000MTON52

後継機は「ドライブドアSATAボックス5BAY（EX35ES5）｜センチュリー（CENTURY）」。

NASにディスクを足したら起動しなくなったでござる

Posted on 2009/05/18 (月) 11:17
Filed Under 日記, ZFS | Leave a Comment | TrackBack |

opensolarisで動く16発NAS-TOWERにホットスワップでハードディスクが追加できることがわかったので何台か追加していった。
そのあと別のきっかけで再起動しようと思ったら、起動しない。

NAS-TOWER BIOS BIOSでハードディスクの起動順見ようとしたら起動ディスクがない。

起動ディスクだけの構成にするとBIOSに表示されて起動できることから，表示ドライブ数に上限があるようだ。

起動できなきゃ困るんで，USB-SATA変換を使って内部USBコネクタからUSBで起動しようとした。

すると、ZFSでフォーマットされたドライブをUSBにつないでいるとBIOSのメモリテストの前でフリーズしてしまうナゾの現象にあたってしまう。ドライブのスキャンにも到達しないので全く意味不明。もしかしてopensolarisはUSB-HDDから起動できないのか?
テストした範囲だと、起動できないただのZFSストレージプールのメンバだったドライブをごろんとつないだだけでも同じところでフリーズしていた。

いろいろ試行錯誤した結果、結論としては内蔵SATA(ICH10R)のport0のデバイスとPCIのSATAカードのport3につながってた起動ディスクを入れ替えることにした。微妙な残念感。

ついでにわかったのは、ZFSストレージプールはcfgadmつかっていれば接続位置変えても期待通り認識するということだった。以前そのまま位置をつなぎ変えて再起動したらドライブ見失ったんでこういう使い方はよくないみたい。

ZFSで16発NAS TOWERを作ろう-ホットスワップ続編

Posted on 2009/05/16 (土) 13:50
Filed Under 日記, ZFS | Leave a Comment | TrackBack |

昨日失敗したNASへのホットスワップをさらに試行錯誤していたら成功することがあった。

ひとまずSil3132のSATAカードとICH10Rでは動作確認。
昨日エラーでホットスワップ(取付)に失敗した時との条件の違いはこれ。

	ドライブ	フォーマット
失敗	ST31500341AS(シーゲート1.5TB)	Linux LVM(1パーテーション)
成功	WDCWD10EACS(ウエスタンデジタル 1TB)	Solaris2(別のZFSストレージプール一員だった)

そうか! あらかじめ初期化してあればホットスワップ(取付)できるのか!

~~買いたて新品ドライブでできるかはまだ未確認なんで今度増設するときにまた試す。~~
新品ドライブで期待通りホットスワップ(取付)、認識、zpool attachでミラーに追加ができた

ZFSで16発NAS TOWERを作ろう-ホットスワップ編

Posted on 2009/05/15 (金) 23:54
Filed Under 日記, ZFS | Leave a Comment | TrackBack |

ドライブのホットスワップができないものかと思って調べていたら次のような記事を見つけた。
「cfgadm コマンドによる SCSI ホットプラグ (Solaris のシステム管理 (基本編)) - Sun Microsystems」
おー! まさにこれだ!　と思って試してみた。

当初こんな感じ。

root@himari:~# cfgadm -al
Ap_Id Type Receptacle Occupant Condition
pcie19 sata/hp connected configured ok
sata4/0::dsk/c8t0d0 disk connected configured ok
sata4/1::dsk/c8t1d0 disk connected configured ok
sata4/2 sata-port empty unconfigured ok
sata4/3::dsk/c8t3d0 disk connected configured ok
sata4/4::dsk/c8t4d0 disk connected configured ok
sata4/5::dsk/c8t5d0 disk connected configured ok
sata5/0::dsk/c6t0d0 disk connected configured ok
sata5/1 sata-port empty unconfigured ok
sata6/0 sata-port empty unconfigured ok
sata6/1 sata-port empty unconfigured ok
sata7/0 sata-port empty unconfigured ok
sata7/1 sata-port empty unconfigured ok
sata8/0::dsk/c7t0d0 disk connected configured ok
sata8/1::dsk/c7t1d0 disk connected configured ok
sata9/0 sata-port empty unconfigured ok
sata9/1 sata-port empty unconfigured ok
sata9/2 sata-port empty unconfigured ok
sata9/3::dsk/c4t3d0 disk connected configured ok

ICH10RのSATAポートにつながっているドライブを次のコマンドで取り外す。

# cfgadm -c unconfigure sata4/5

おお、正しく抜けた!

つぎは別のドライブに差し替えだ!
ドライブ差し込んだ時点で/var/adm/messagesにこのメッセージが出た。

May 15 22:57:38 himari ahci: [ID 860969 kern.warning] WARNING: ahci0: ahci_port_reset port 5 the device hardware has been initialized and the power-up diagnostics failed

おやー何に失敗したのさー?

接続。

# cfgadm -c configure sata4/5

確認。

# cfgadm -al
sata4/5 sata-port disconnected unconfigured failed

接続できなかったー　!
しかたないんで再起動。

環境はopensolaris 5.11 snv_111a。

どうしたらうまくいくのかなー?

【追記】できた。パーテーションの問題だったらしい。「ZFSで16発NAS TOWERを作ろう-ホットスワップ続編」