NASにディスクを足したら起動しなくなったでござる

Posted on 2009/05/18 (月) 11:17
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

opensolarisで動く16発NAS-TOWERにホットスワップでハードディスクが追加できることがわかったので何台か追加していった。
そのあと別のきっかけで再起動しようと思ったら、起動しない。

NAS-TOWER BIOS BIOSでハードディスクの起動順見ようとしたら起動ディスクがない。

起動ディスクだけの構成にするとBIOSに表示されて起動できることから，表示ドライブ数に上限があるようだ。

起動できなきゃ困るんで，USB-SATA変換を使って内部USBコネクタからUSBで起動しようとした。

すると、ZFSでフォーマットされたドライブをUSBにつないでいるとBIOSのメモリテストの前でフリーズしてしまうナゾの現象にあたってしまう。ドライブのスキャンにも到達しないので全く意味不明。もしかしてopensolarisはUSB-HDDから起動できないのか?
テストした範囲だと、起動できないただのZFSストレージプールのメンバだったドライブをごろんとつないだだけでも同じところでフリーズしていた。

いろいろ試行錯誤した結果、結論としては内蔵SATA(ICH10R)のport0のデバイスとPCIのSATAカードのport3につながってた起動ディスクを入れ替えることにした。微妙な残念感。

ついでにわかったのは、ZFSストレージプールはcfgadmつかっていれば接続位置変えても期待通り認識するということだった。以前そのまま位置をつなぎ変えて再起動したらドライブ見失ったんでこういう使い方はよくないみたい。

ZFSで16発NAS TOWERを作ろう-ホットスワップ続編

Posted on 2009/05/16 (土) 13:50
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

昨日失敗したNASへのホットスワップをさらに試行錯誤していたら成功することがあった。

ひとまずSil3132のSATAカードとICH10Rでは動作確認。
昨日エラーでホットスワップ(取付)に失敗した時との条件の違いはこれ。

	ドライブ	フォーマット
失敗	ST31500341AS(シーゲート1.5TB)	Linux LVM(1パーテーション)
成功	WDCWD10EACS(ウエスタンデジタル 1TB)	Solaris2(別のZFSストレージプール一員だった)

そうか! あらかじめ初期化してあればホットスワップ(取付)できるのか!

~~買いたて新品ドライブでできるかはまだ未確認なんで今度増設するときにまた試す。~~
新品ドライブで期待通りホットスワップ(取付)、認識、zpool attachでミラーに追加ができた

ZFSで16発NAS TOWERを作ろう-ホットスワップ編

Posted on 2009/05/15 (金) 23:54
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

ドライブのホットスワップができないものかと思って調べていたら次のような記事を見つけた。
「cfgadm コマンドによる SCSI ホットプラグ (Solaris のシステム管理 (基本編)) - Sun Microsystems」
おー! まさにこれだ!　と思って試してみた。

当初こんな感じ。

root@himari:~# cfgadm -al
Ap_Id Type Receptacle Occupant Condition
pcie19 sata/hp connected configured ok
sata4/0::dsk/c8t0d0 disk connected configured ok
sata4/1::dsk/c8t1d0 disk connected configured ok
sata4/2 sata-port empty unconfigured ok
sata4/3::dsk/c8t3d0 disk connected configured ok
sata4/4::dsk/c8t4d0 disk connected configured ok
sata4/5::dsk/c8t5d0 disk connected configured ok
sata5/0::dsk/c6t0d0 disk connected configured ok
sata5/1 sata-port empty unconfigured ok
sata6/0 sata-port empty unconfigured ok
sata6/1 sata-port empty unconfigured ok
sata7/0 sata-port empty unconfigured ok
sata7/1 sata-port empty unconfigured ok
sata8/0::dsk/c7t0d0 disk connected configured ok
sata8/1::dsk/c7t1d0 disk connected configured ok
sata9/0 sata-port empty unconfigured ok
sata9/1 sata-port empty unconfigured ok
sata9/2 sata-port empty unconfigured ok
sata9/3::dsk/c4t3d0 disk connected configured ok

ICH10RのSATAポートにつながっているドライブを次のコマンドで取り外す。

# cfgadm -c unconfigure sata4/5

おお、正しく抜けた!

つぎは別のドライブに差し替えだ!
ドライブ差し込んだ時点で/var/adm/messagesにこのメッセージが出た。

May 15 22:57:38 himari ahci: [ID 860969 kern.warning] WARNING: ahci0: ahci_port_reset port 5 the device hardware has been initialized and the power-up diagnostics failed

おやー何に失敗したのさー?

接続。

# cfgadm -c configure sata4/5

確認。

# cfgadm -al
sata4/5 sata-port disconnected unconfigured failed

接続できなかったー　!
しかたないんで再起動。

環境はopensolaris 5.11 snv_111a。

どうしたらうまくいくのかなー?

【追記】できた。パーテーションの問題だったらしい。「ZFSで16発NAS TOWERを作ろう-ホットスワップ続編」

Poor man’s Sun Storage 7000

Posted on 2009/05/11 (月) 2:36
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

SunにSun Storage 7000とゆーかなりいい値段のストレージシリーズがあるのだけれど、たぶんこれの中身はSolaris10で動くZFSベースのファイルシステムと独自の管理ソフト。でそのSun Storage 7000をVM WareでうごかすSun Unified Storageシミュレータなるものが配布されている。

「Sun Storage 7000 - テクノロジー・リソース - サン・マイクロシステムズ」

このVMWareイメージをopensolaris実機に展開する試みをしてる人いないかなー?
とふと思った。

今日のドハマり。
opensolarisでの固定IPの設定方法がこんなに複雑だったとは。
「OpenSolaris 固定IP - @//メモ」
resolv.confに記入されてて、なんでdigで名前解決できるのにpingは名前解決できないのかわかんなかったなー。
いろいろ違うものだ。

ZFSで16発NAS TOWERを作ろう-追加購入編

Posted on 2009/05/10 (日) 4:19
Filed Under 日記, ZFS | 2 Comments | TrackBack | Share on Tumblr

GIGABYTE GA-EP45-UD3PのオンボードNICのカニがopensolarisであんまりにも安定しないので最後の希望を持ってNIC変更，

インテル PRO/1000 PT サーバ・アダプタ EXPI9400PT

発売:インテル
発売日:
定価:￥ 20,790
ASIN:B000BMVM6S

NAS TOWER カード PCI Expressは全部埋まった。

今日はじめてopensolarisのブート中のプログレスバーが出てるグラフィック画面でCtrlとAltキー押すとテキストモードになることを知った。GRUBで何指定するとデフォルトこれにできるのだろう? それともどっかに指定があるのかなー?

ZFSで16発NAS TOWERを作ろう-方針転換編

Posted on 2009/05/07 (木) 1:11
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

NAS-TOWER 当初はCFから起動して8ドライブから構成されるraidzを2組でストレージプールを構成しようとしていた構想から作っているうちに大きく変わってきた。
ひらたくゆって一筋縄では行かないことばかり。

まずraidz。
ZFSのraidzはてっきり容量の異なるドライブを組み合わせて、しかもあとから自由に足せるとばっかり思っていたのだけど、現時点ではこれはできないということがわかった。raidzであろうともRAID5のように組み合わせる最小のドライブサイズx(台数-1)の実質容量になる。(パフォーマンスに影響がありそうだからドライブにパーテーションを切ることは考えるのやめとこう)　そして現時点のZFSのストレージプールはドライブのreplaceと追加はできるけれど空き容量があったとしてもLVMのようにドライブを抜くことができない。また、例えば8台のドライブで構成されたraidzからなるストレージプールがあった場合、これにドライブを一台足すと新しく足したドライブはraidzの仲間に入れるわけではなく冗長性がない構成となってしまう。冗長性を持たせてストレージプールにドライブを足すためには2台以上を同時に足さなければならない。そしてraidzの拡張をするときには、例えば1TBx8で構成されたraidzの場合、8台全部を1.5TBなどの容量の大きいドライブに置き換えたときにはじめて利用可能容量が増える。家庭で使うにはなかなか使いにくい構成だ。
というわけで、いろいろ考えた結果、拡張性を考えて全ドライブミラーリングの構成とした。ミラー化した2台のドライブをストレージプールに追加して行く構成。ミラーリングならdetachしてシングルドライブ構成にばらしreplaceで大容量ドライブに交換すれば1台単位でプールの容量増やせる。いつの日かZFSのバージョンがあがってより融通の効く構成が取れるようになることだろう。

あと、手元の環境ではSATAをAHCIモードで動かしているのだけど、ホットスワップでハードディスクを足すと/var/adm/messagesにはドライブが追加されたメッセージがでてくるのだけどformatコマンドからはドライブが見えない。のでストレージプールに追加することができない。いちいち再起動しないといけない状況。これは何が問題なのか仕様なのかまださっぱりわからない。できた「ZFSで16発NAS TOWERを作ろう-ホットスワップ続編」

SATAカードも追加購入。

AREA SATAx2 増設PCIExpressx1ボードTWIN CAM SD-SA3132-2IR

発売:エアリア
発売日:
定価:￥ 3,780
ASIN:B001FZ6ULW

BUFFALO PCI Expressバス SerialATAインターフェースボード IFC-PCIE2SA

発売:バッファロー
発売日:2007-02-28
定価:￥ 5,565
ASIN:B000N8UVBC

これで手元に3種類のPCI Express x1のSATAカードが来たのだけれどどれもPCI Express x16に差すとBIOS画面ですら認識されずに見えない。
なんかBIOSに設定があるのか探したけど結局未解決。
BUFFALO IFC-PCIE2SAは基板の色やシルクが違うだけで中身は玄人志向 SATA2RI2-PCIEとおなじ。
仕方ないのでPCI用4ch SATAカードを差した。
その結果SATAが18ポートとなったのでPCIの2つを起動ドライブにすることにした。いまのところは余ってた2.5インチSATA HDDを一台だけつないでる。
将来的にはZFSで起動ディスクミラー化するか、Portable Dual Drive Modules DIR-2221-SRAIDE CRS シリーズ PCI CaseみたいなコンパクトRAID箱を使ってもいいかもしれない。

そして、オンボードのカニが今使ってるスイッチと異常に相性が悪く、ぶちぶち切れたんでスイッチも買い変えた。50度まで動作保証のNETGEARの16ポートギガビットスイッチ。

JGS516v2 16ポートギガビットイーサネットスイッチ

発売:ネットギア
発売日:2009-03-02
定価:￥ 31,290
ASIN:B001QVJ7S8

そろそろメドは立ち始めただろうか。

ZFSで16発NAS TOWERを作ろう-速度編

Posted on 2009/04/29 (水) 2:03
Filed Under ZFS | Leave a Comment | TrackBack | Share on Tumblr

NASの構築はいろいろ苦戦してるんで、途中経過としてひとまず速度測定の結果。

マザボに搭載されてるオンボードSATAにハードディスクをつないでopensolaris 2008.11のLiveCDで起動してストレージプール作ったときの測定値。

構成	READ	WRITE
1TBx7台ストライプ	399MB/sec	221MB/sec
1TBx7+400GB=8台ストライプ	316.38MB/sec	219.93MB.sec
8台 RAID-Z	242.81MB/sec	169.67MB/sec
233倍速CF	28.338MB/sec	1.01MB/sec

[所見]
ストライピングとシングルパリティのRAID-Zを比較するとRAID-Zのオーバーヘッドは2,3割。
思ったよりも速度出ていた印象。
CFは233倍速の公称スペックからは考えられないような書き込み速度しか出なかった。

[構成]
ハードディスク構成はWestern Digital WD10EACS 1TB x5,SAMSUNG HD103UI 1TB x2,Seagate ST3400832AS 400GB x1。

[測定法]
測定はWRITEがtime mkfile 10g 10gb.dat で得られた秒数でファイルサイズ(10240MB)を割ったもの。
READがtime cat 10gb.dat > /dev/nullで得た秒数で同様に処理。
ストレージプールのプロパティはデフォルトのままで圧縮は無効。
CFは10GBなんて書き込んだら死ぬほど時間かかって終わらなかったんでREAD 1GBとWRITE 100MB

[途中経過]
最初買った133倍速のTranscend 16GB CF TS16GCF133が初期不良だったため233倍速　グリーンハウス 16GB GH-CF16GDを買った。

233倍速コンパクトフラッシュ 16GB GH-CF16GD

発売:グリーンハウス
発売日:2008-12-17
定価:オープンプライス
ASIN:B001NOD71G

しかし、opensolarisのインストールはえれー時間はかかるけれども完了するのだが、再起動するとまったく起動してこない。
opensolarisの画面になってプログレスバーが永遠に動き続けている状態。

いまのバージョンのZFS(ZFS 13)だと、起動ディスクはRAID-Zにはできないのでメインのストレージプールのほかに起動ドライブをどうにか考えなければいけない。
CF起動はなかなか困難そうなんで別のアイデア考え中。

ZFSで16発NAS TOWERを作ろう-選考編

Posted on 2009/04/22 (水) 13:53
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

16台のハードディスクを積めることを念頭に、安上がりで組めるハードウェアを考える。

まずケース。
5インチベイが9個か12個かで選択の幅がずいぶん変わってくる。9ベイケースだとセンチュリー「５代目技あり！楽ラック！（CWRS5-BK）」を3台使うことで15発のハードディスクを積める。12ベイのケースだと20発積めるが選択の幅が狭い。
という理由でウチはAntec Twelve Hundredを選択した。予想以上に12個の5インチベイ持ってるケースは少ない。