ZFSで16発NAS TOWERを作ろう-方針転換編

Posted on 2009/05/07 (木) 1:11
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

NAS-TOWER 当初はCFから起動して8ドライブから構成されるraidzを2組でストレージプールを構成しようとしていた構想から作っているうちに大きく変わってきた。
ひらたくゆって一筋縄では行かないことばかり。

まずraidz。
ZFSのraidzはてっきり容量の異なるドライブを組み合わせて、しかもあとから自由に足せるとばっかり思っていたのだけど、現時点ではこれはできないということがわかった。raidzであろうともRAID5のように組み合わせる最小のドライブサイズx(台数-1)の実質容量になる。(パフォーマンスに影響がありそうだからドライブにパーテーションを切ることは考えるのやめとこう)　そして現時点のZFSのストレージプールはドライブのreplaceと追加はできるけれど空き容量があったとしてもLVMのようにドライブを抜くことができない。また、例えば8台のドライブで構成されたraidzからなるストレージプールがあった場合、これにドライブを一台足すと新しく足したドライブはraidzの仲間に入れるわけではなく冗長性がない構成となってしまう。冗長性を持たせてストレージプールにドライブを足すためには2台以上を同時に足さなければならない。そしてraidzの拡張をするときには、例えば1TBx8で構成されたraidzの場合、8台全部を1.5TBなどの容量の大きいドライブに置き換えたときにはじめて利用可能容量が増える。家庭で使うにはなかなか使いにくい構成だ。
というわけで、いろいろ考えた結果、拡張性を考えて全ドライブミラーリングの構成とした。ミラー化した2台のドライブをストレージプールに追加して行く構成。ミラーリングならdetachしてシングルドライブ構成にばらしreplaceで大容量ドライブに交換すれば1台単位でプールの容量増やせる。いつの日かZFSのバージョンがあがってより融通の効く構成が取れるようになることだろう。

あと、手元の環境ではSATAをAHCIモードで動かしているのだけど、ホットスワップでハードディスクを足すと/var/adm/messagesにはドライブが追加されたメッセージがでてくるのだけどformatコマンドからはドライブが見えない。のでストレージプールに追加することができない。いちいち再起動しないといけない状況。これは何が問題なのか仕様なのかまださっぱりわからない。できた「ZFSで16発NAS TOWERを作ろう-ホットスワップ続編」

SATAカードも追加購入。

AREA SATAx2 増設PCIExpressx1ボードTWIN CAM SD-SA3132-2IR

発売:エアリア
発売日:
定価:￥ 3,780
ASIN:B001FZ6ULW

BUFFALO PCI Expressバス SerialATAインターフェースボード IFC-PCIE2SA

発売:バッファロー
発売日:2007-02-28
定価:￥ 5,565
ASIN:B000N8UVBC

これで手元に3種類のPCI Express x1のSATAカードが来たのだけれどどれもPCI Express x16に差すとBIOS画面ですら認識されずに見えない。
なんかBIOSに設定があるのか探したけど結局未解決。
BUFFALO IFC-PCIE2SAは基板の色やシルクが違うだけで中身は玄人志向 SATA2RI2-PCIEとおなじ。
仕方ないのでPCI用4ch SATAカードを差した。
その結果SATAが18ポートとなったのでPCIの2つを起動ドライブにすることにした。いまのところは余ってた2.5インチSATA HDDを一台だけつないでる。
将来的にはZFSで起動ディスクミラー化するか、Portable Dual Drive Modules DIR-2221-SRAIDE CRS シリーズ PCI CaseみたいなコンパクトRAID箱を使ってもいいかもしれない。

そして、オンボードのカニが今使ってるスイッチと異常に相性が悪く、ぶちぶち切れたんでスイッチも買い変えた。50度まで動作保証のNETGEARの16ポートギガビットスイッチ。

JGS516v2 16ポートギガビットイーサネットスイッチ

発売:ネットギア
発売日:2009-03-02
定価:￥ 31,290
ASIN:B001QVJ7S8

そろそろメドは立ち始めただろうか。

foltiaHD、PT1対応

Posted on 2009/05/06 (水) 0:04
Filed Under foltia, Friio | Leave a Comment | TrackBack | Share on Tumblr

EARTHSOFT PT1 開発中のLinux用アニメ録画ソフト、foltiaHDのリビジョン91でいよいよ待望のPT1に対応しました。
PT1とFriioがつながっていればデバイスの数だけ自動録画されます。
例えばウチだとPT1 x1 白Friio x2 黒Friio x1であるので地デジ 4ch、BSデジタル 3chの同時録画が可能なはずです。きっと。

というわけで、新たに必要になるのはrecpt1というPT1録画プログラムです。
「PT1の解析、ドライバの作成」で開発されているコードにb25が組み込まれたものを想定しています。

「【視聴・録画】Linuxでテレビ総合【ﾃﾞｼﾞﾀﾙ/ｱﾅﾛｸﾞ】」

252 ：login:Penguin：2009/02/25(水) 17:29:59 ID:qKKtRKsv
currentドライバ向けにrecpt1いじってみた。
- b25組み込み
- stdout対応
- 無限長録画対応
- 後始末用シグナルハンドラ追加

といったところ。udpのコードも入ってるけど、そっちはテストしてない。
hg clone ttp://hg.honeyplanet.jp/pt1 で取れる。

で、入手できる版です。

しかしPT1が生産完了になってしまって後継のPT2はいつ出るのか気が気でありません。

ZFSで16発NAS TOWERを作ろう-速度編

Posted on 2009/04/29 (水) 2:03
Filed Under ZFS | Leave a Comment | TrackBack | Share on Tumblr

NASの構築はいろいろ苦戦してるんで、途中経過としてひとまず速度測定の結果。

マザボに搭載されてるオンボードSATAにハードディスクをつないでopensolaris 2008.11のLiveCDで起動してストレージプール作ったときの測定値。

構成	READ	WRITE
1TBx7台ストライプ	399MB/sec	221MB/sec
1TBx7+400GB=8台ストライプ	316.38MB/sec	219.93MB.sec
8台 RAID-Z	242.81MB/sec	169.67MB/sec
233倍速CF	28.338MB/sec	1.01MB/sec

[所見]
ストライピングとシングルパリティのRAID-Zを比較するとRAID-Zのオーバーヘッドは2,3割。
思ったよりも速度出ていた印象。
CFは233倍速の公称スペックからは考えられないような書き込み速度しか出なかった。

[構成]
ハードディスク構成はWestern Digital WD10EACS 1TB x5,SAMSUNG HD103UI 1TB x2,Seagate ST3400832AS 400GB x1。

[測定法]
測定はWRITEがtime mkfile 10g 10gb.dat で得られた秒数でファイルサイズ(10240MB)を割ったもの。
READがtime cat 10gb.dat > /dev/nullで得た秒数で同様に処理。
ストレージプールのプロパティはデフォルトのままで圧縮は無効。
CFは10GBなんて書き込んだら死ぬほど時間かかって終わらなかったんでREAD 1GBとWRITE 100MB

[途中経過]
最初買った133倍速のTranscend 16GB CF TS16GCF133が初期不良だったため233倍速　グリーンハウス 16GB GH-CF16GDを買った。

233倍速コンパクトフラッシュ 16GB GH-CF16GD

発売:グリーンハウス
発売日:2008-12-17
定価:オープンプライス
ASIN:B001NOD71G

しかし、opensolarisのインストールはえれー時間はかかるけれども完了するのだが、再起動するとまったく起動してこない。
opensolarisの画面になってプログレスバーが永遠に動き続けている状態。

いまのバージョンのZFS(ZFS 13)だと、起動ディスクはRAID-Zにはできないのでメインのストレージプールのほかに起動ドライブをどうにか考えなければいけない。
CF起動はなかなか困難そうなんで別のアイデア考え中。

ZFSで16発NAS TOWERを作ろう-選考編

Posted on 2009/04/22 (水) 13:53
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

16台のハードディスクを積めることを念頭に、安上がりで組めるハードウェアを考える。

まずケース。
5インチベイが9個か12個かで選択の幅がずいぶん変わってくる。9ベイケースだとセンチュリー「５代目技あり！楽ラック！（CWRS5-BK）」を3台使うことで15発のハードディスクを積める。12ベイのケースだと20発積めるが選択の幅が狭い。
という理由でウチはAntec Twelve Hundredを選択した。予想以上に12個の5インチベイ持ってるケースは少ない。

Antec Twelve Hundred ATX 12 Drive Bays 2xUSB 2.0 eSATA Audio Mid Tower Case

発売:Antec
発売日:
定価:オープンプライス
ASIN:B0017KMI66

このケースには電源がついてないので、電源も買う。ハードディスクを16台乗せることを考慮して大きめの1000W電源をチョイス。1000Wで一番安かったモデルを選択。実際はここまでは必要ないかもしれない。

アクティス AP-1000GLX80+　1000W電源ユニット　(ActivePCF回路搭載・80PLUS取得電源) AP-1000GLX80+

発売:アクティス
発売日:
定価:オープンプライス
ASIN:B001KNNXCS

次にハードディスクケース選び。
今回は1/30に書いた「SATA HDD 4発ホットスワップケース」で買ったEG-RM510というケースを使った。
しかしもう完売なので新しく買うなら少々割高だが実装密度の高いセンチュリーの5代目技あり！楽ラック！ CWRS5-BK がいいかもしれない。

[アウトレット/保証2週間] EVERGREEN EG-RM510AWH
定価:￥ 10,980
価格:￥ 6,666

センチュリー 5代目技あり！楽ラック！ CWRS5-BK 5インチベイ内蔵型(3段使用) S-ATA SAS両対応 HDDラック

発売:センチュリー
発売日:
定価:オープンプライス
ASIN:B001QNS390

そしてマザーボード。
何でもよかったんだけど、安くて、オンボードVGAで、SATAのポートがいっぱいあって、PCIeもいっぱいあって、GbE 2つ以上で、そこそこのNICで…と言ったら該当するものをみつけられなかった。
結局迷って無難なマザボに。
いま思い起こせばAMDのがよかったかもしれない。

GIGABYTE GIGABYTE マザーボード Socket775 IntelP45 GA-EP45-UD3P

発売:日本ギガバイト
発売日:
定価:オープンプライス
ASIN:B001IZ6AC8

CPUはCore2Duoの安いE7400。

インテル Boxed Intel Core 2 Duo E7400 2.80GHz BX80571E7400

発売:インテル
発売日:
定価:オープンプライス
ASIN:B001HQFUT2

メモリはとりあえず8GB。

Transcend JetRam デスクトップPC用増設メモリ DDR2-800 2GB x 2 永久保証 JM4GDDR2-8K

発売:トランセンド・ジャパン
発売日:
定価:オープンプライス
ASIN:B00113XFAW

そして拡張用PCIe SATAカード。動作確認用にひとまず1枚だけ買った。将来的には4枚で8ポートが必要。なぜPCIeで4ポートとかはなかなかないのか。

玄人志向 SATA2RI2-PCIE インタフェースカード

発売:玄人志向
発売日:
定価:オープンプライス
ASIN:B000ELJ6VY

そして起動ディスクは以前から持ってたIDE-CFアダプタを使って作ろうとした。
いまならSDHC-M40BのようなSD-IDEアダプタやIDE SSDなどでもよいかもしれない。

玄人志向変換基板/コンパクトフラッシュ→IDE(40ピン)コネクタ KRHK-CFIDE

発売:玄人志向
発売日:
定価:オープンプライス
ASIN:B000SNUCVG

Transcend 16GB CF CARD (133X、 TYPE I ) TS16GCF133

発売:トランセンド・ジャパン
発売日:
定価:オープンプライス
ASIN:B000W0BC7I

Software Design 2009年 05月号

Posted on 2009/04/21 (火) 13:21
Filed Under 今日買った商業誌, ZFS | Leave a Comment | TrackBack | Share on Tumblr

今月号のSoftware Designの第二特集がZFSだった。
内容的にはページ数の関係もあり紹介と簡単な使い方という感じ。
といっても簡単に使えるのが大きな特徴のZFSなため、かなりの範囲はカバーできそう。

とか思っていたところでSun MicrosystemsがORACLEに買収されちゃったよ!

「Oracle、Sunを買収 - ITmedia News」

Software Design (ソフトウエアデザイン) 2009年 05月号 [雑誌]

発売:技術評論社
発売日:2009-04-18
定価:￥ 1,280
ASIN:B0021VNWQA

今日のZFS情報メモ
・「BigAdmin: Multilingual BigAdmin Content - 日本語」(Sun Microsystems)
・「OpenSolaris 2008.11 システム管理ガイド」(Sun Microsystems)
・「Solaris,ZFS研究室Wiki - livedoor Wiki（ウィキ）」

OpenSolarisスタートアップバイブル

Posted on 2009/04/15 (水) 1:09
Filed Under 今日買った商業誌, ZFS | Leave a Comment | TrackBack | Share on Tumblr

opensolarisの概要がわかんなかったので買った。
Solaris CIFSというカーネルに組み込まれたZFSのプロパティで設定できるファイル共有を初めて知って感動した。
後半はssh,BIND,Apache,Postfixなどによるサーバ設定方法。

しかしSolarisはSunによる日本語ドキュメントが膨大に整備されているので全部読めば必要なことたいていわかるはず。

「Solaris ZFS 管理ガイド - Sun Microsystems」
「Solaris 10 System Administrator Collection - Japanese - Sun Microsystems」

OpenSolarisスタートアップバイブル
大津真,まえだひさこ
発売:毎日コミュニケーションズ
発売日:2008-10-22
定価:￥ 4,179
ASIN:4839929769

ZFSで16発NAS TOWERを作ろう-立志編

Posted on 2009/04/12 (日) 6:03
Filed Under ZFS | Leave a Comment | TrackBack | Share on Tumblr

近年はハイビジョン録画も普及してきて一段とストレージが足りなくなってきた。

おそらく同様の人も多いと思う。
現状は一万円ちょいで1.5TBハードディスクは手に入るのに入れるところが足りない。入れ替えるのもめんどくさい。

いままでは各マシンそれぞれにハードディスクを内蔵してたのでいろいろな問題に直面していた。現状を整理するとこんな感じ。

Linuxマシン (LVM)
メリット
・複数のドライブをまとめて1パーテーションにできる
・データを保持したままドライブ交換できる(かなり時間かかる)
デメリット
・fsckに数時間かかる
・冗長性がない
・ウチの環境だとなぜかよく壊れる

Windowsマシン (ダイナミックディスク)
メリット
・複数のドライブをまとめて1パーテーションにできる
デメリット
・足すことしかできず引くことができない。なんでいまだに古い160GBのハードディスクを使い続けるはめになっている。
・冗長性がない

などなど。
LinuxでRAIDにするのも考えたんだけど、冗長性は確保できるもののの、おんなじ大きさのドライブしか使えず、リビルドにはまた数時間かかるということでわざわざ置き換えるにはちょっとなーという感じだった。

そこで、データを全部収用しようとでかいNASを建設することにした。
出来合いのNASではなく多少割高になっても拡張性が高いパソコンを使ってNASを実現する。
NASには次のような機能を実現するためSun Microsystemsが開発したZFSを採用することにする。

冗長性があること
バスのある限りドライブを足せてパーテーションを拡張でき、足りなくなったら古いドライブを抜けること
リビルドが速いこと
fsckに数時間もかからないこと
信頼性が高いこと

具体的にどうするかを考えると、らくちんするためにFreeNASの0.7あたりを使いたかったのだけど、いつまでたってもZFS対応版の0.7の最終版は出る気配がなかったためopensolarisで手作りで設定することにした。

ということで次回は部材の選定編。

参考資料:
「サン・マイクロシステムズ - Sun Fun Times - Solaris 10ファイルシステムZFS誕生エピソード『心を解き放て！』」
「＠IT：一瞬でのバックアップを実現するSolaris ZFS（1/4）」
「Solaris ZFS 管理ガイド - Sun Microsystems」

MacBook Pro (17-inch, Early 2009)

Posted on 2009/02/24 (火) 3:11
Filed Under Mac, レビュー | Leave a Comment | TrackBack | Share on Tumblr

ユニボディMacBook Pro 17インチが届いた。
CPUだけ2.93GHzにしてあとは320GB HDD/4GB RAMの標準と同じ仕様。
早速箱から出してみる。

新旧17インチ箱比較
箱ちっさ!

1920×1200のパネルでfoltiaHDで録画したハイビジョンも等倍で表示できる。

さっそくハードディスク交換。今回のモデルは説明書にハードディク交換方法まで詳しく書かれてるので簡単。用意したハードディスクは500ギガのウエスタンデジタル。

WESTERN DIGITAL 2.5インチ内蔵HDD Serial-ATA 5400rpm 500GB 8MB WD5000BEVT

発売:WESTERNDIGITAL
発売日:
定価:オープンプライス
ASIN:B001NVYKE2

MacBookPro 17 内部裏蓋を開けてみると大変な巨大バッテリが見える。公称値8時間を実現するバッテリの容量はシステムプロファイラ表示で12912mAh。

MacBook Pro HDDベイ写真とり忘れちゃったけどドライブの4隅に取り付いてる空中に浮かすためのネジはT6トルクス。

MacBookPro 17 基盤写真今回のMacBook Proは今までのモデルに比べて基盤の実装密度が上がってる気がする。

気になるパネル品質は、確かに向上したけれども、30万円を超える最上位モデルでこれかよー?感は拭えない。

表示してるサイトのオリジナルの発色はこちら。

その他気がついたこと
・ iPhoneのイヤホン「Apple In-ear Headphones with Remote and Mic MA850G/A」でボリュームコントロールやiTunesの曲順操作できる。
・つるつる液晶になって以来なのかもだけどAppleロゴ入り黒い眼鏡ふきがついてたのがiPhoneも拭けてよさそう。
・「アップル - サポート - MacBook Pro (17-inch, Early 2009) のバッテリー交換」 19,800円
・FireWire400は残しておいてもよかったんじゃないのかなー?
・いまやminiDisplayPort-DVIアダプタもAppleRemotoも別売りなんだなー
・QuadCoreモデルいつ出るのかなー?