ZFSで16発NAS TOWERを作ろう-速度編

Posted on 2009/04/29 (水) 2:03
Filed Under ZFS | Leave a Comment | TrackBack | Share on Tumblr

NASの構築はいろいろ苦戦してるんで、途中経過としてひとまず速度測定の結果。

マザボに搭載されてるオンボードSATAにハードディスクをつないでopensolaris 2008.11のLiveCDで起動してストレージプール作ったときの測定値。

構成	READ	WRITE
1TBx7台ストライプ	399MB/sec	221MB/sec
1TBx7+400GB=8台ストライプ	316.38MB/sec	219.93MB.sec
8台 RAID-Z	242.81MB/sec	169.67MB/sec
233倍速CF	28.338MB/sec	1.01MB/sec

[所見]
ストライピングとシングルパリティのRAID-Zを比較するとRAID-Zのオーバーヘッドは2,3割。
思ったよりも速度出ていた印象。
CFは233倍速の公称スペックからは考えられないような書き込み速度しか出なかった。

[構成]
ハードディスク構成はWestern Digital WD10EACS 1TB x5,SAMSUNG HD103UI 1TB x2,Seagate ST3400832AS 400GB x1。

[測定法]
測定はWRITEがtime mkfile 10g 10gb.dat で得られた秒数でファイルサイズ(10240MB)を割ったもの。
READがtime cat 10gb.dat > /dev/nullで得た秒数で同様に処理。
ストレージプールのプロパティはデフォルトのままで圧縮は無効。
CFは10GBなんて書き込んだら死ぬほど時間かかって終わらなかったんでREAD 1GBとWRITE 100MB

[途中経過]
最初買った133倍速のTranscend 16GB CF TS16GCF133が初期不良だったため233倍速　グリーンハウス 16GB GH-CF16GDを買った。

233倍速コンパクトフラッシュ 16GB GH-CF16GD

発売:グリーンハウス
発売日:2008-12-17
定価:オープンプライス
ASIN:B001NOD71G

しかし、opensolarisのインストールはえれー時間はかかるけれども完了するのだが、再起動するとまったく起動してこない。
opensolarisの画面になってプログレスバーが永遠に動き続けている状態。

いまのバージョンのZFS(ZFS 13)だと、起動ディスクはRAID-Zにはできないのでメインのストレージプールのほかに起動ドライブをどうにか考えなければいけない。
CF起動はなかなか困難そうなんで別のアイデア考え中。

ZFSで16発NAS TOWERを作ろう-選考編

Posted on 2009/04/22 (水) 13:53
Filed Under 日記, ZFS | Leave a Comment | TrackBack | Share on Tumblr

16台のハードディスクを積めることを念頭に、安上がりで組めるハードウェアを考える。

まずケース。
5インチベイが9個か12個かで選択の幅がずいぶん変わってくる。9ベイケースだとセンチュリー「５代目技あり！楽ラック！（CWRS5-BK）」を3台使うことで15発のハードディスクを積める。12ベイのケースだと20発積めるが選択の幅が狭い。
という理由でウチはAntec Twelve Hundredを選択した。予想以上に12個の5インチベイ持ってるケースは少ない。

Antec Twelve Hundred ATX 12 Drive Bays 2xUSB 2.0 eSATA Audio Mid Tower Case

発売:Antec
発売日:
定価:オープンプライス
ASIN:B0017KMI66

このケースには電源がついてないので、電源も買う。ハードディスクを16台乗せることを考慮して大きめの1000W電源をチョイス。1000Wで一番安かったモデルを選択。実際はここまでは必要ないかもしれない。

アクティス AP-1000GLX80+　1000W電源ユニット　(ActivePCF回路搭載・80PLUS取得電源) AP-1000GLX80+

発売:アクティス
発売日:
定価:オープンプライス
ASIN:B001KNNXCS

次にハードディスクケース選び。
今回は1/30に書いた「SATA HDD 4発ホットスワップケース」で買ったEG-RM510というケースを使った。
しかしもう完売なので新しく買うなら少々割高だが実装密度の高いセンチュリーの5代目技あり！楽ラック！ CWRS5-BK がいいかもしれない。

[アウトレット/保証2週間] EVERGREEN EG-RM510AWH
定価:￥ 10,980
価格:￥ 6,666

センチュリー 5代目技あり！楽ラック！ CWRS5-BK 5インチベイ内蔵型(3段使用) S-ATA SAS両対応 HDDラック

発売:センチュリー
発売日:
定価:オープンプライス
ASIN:B001QNS390

そしてマザーボード。
何でもよかったんだけど、安くて、オンボードVGAで、SATAのポートがいっぱいあって、PCIeもいっぱいあって、GbE 2つ以上で、そこそこのNICで…と言ったら該当するものをみつけられなかった。
結局迷って無難なマザボに。
いま思い起こせばAMDのがよかったかもしれない。

GIGABYTE GIGABYTE マザーボード Socket775 IntelP45 GA-EP45-UD3P

発売:日本ギガバイト
発売日:
定価:オープンプライス
ASIN:B001IZ6AC8

CPUはCore2Duoの安いE7400。

インテル Boxed Intel Core 2 Duo E7400 2.80GHz BX80571E7400

発売:インテル
発売日:
定価:オープンプライス
ASIN:B001HQFUT2

メモリはとりあえず8GB。

Transcend JetRam デスクトップPC用増設メモリ DDR2-800 2GB x 2 永久保証 JM4GDDR2-8K

発売:トランセンド・ジャパン
発売日:
定価:オープンプライス
ASIN:B00113XFAW

そして拡張用PCIe SATAカード。動作確認用にひとまず1枚だけ買った。将来的には4枚で8ポートが必要。なぜPCIeで4ポートとかはなかなかないのか。

玄人志向 SATA2RI2-PCIE インタフェースカード

発売:玄人志向
発売日:
定価:オープンプライス
ASIN:B000ELJ6VY

そして起動ディスクは以前から持ってたIDE-CFアダプタを使って作ろうとした。
いまならSDHC-M40BのようなSD-IDEアダプタやIDE SSDなどでもよいかもしれない。

玄人志向変換基板/コンパクトフラッシュ→IDE(40ピン)コネクタ KRHK-CFIDE

発売:玄人志向
発売日:
定価:オープンプライス
ASIN:B000SNUCVG

Transcend 16GB CF CARD (133X、 TYPE I ) TS16GCF133

発売:トランセンド・ジャパン
発売日:
定価:オープンプライス
ASIN:B000W0BC7I

Software Design 2009年 05月号

Posted on 2009/04/21 (火) 13:21
Filed Under 今日買った商業誌, ZFS | Leave a Comment | TrackBack | Share on Tumblr

今月号のSoftware Designの第二特集がZFSだった。
内容的にはページ数の関係もあり紹介と簡単な使い方という感じ。
といっても簡単に使えるのが大きな特徴のZFSなため、かなりの範囲はカバーできそう。

とか思っていたところでSun MicrosystemsがORACLEに買収されちゃったよ!

「Oracle、Sunを買収 - ITmedia News」

Software Design (ソフトウエアデザイン) 2009年 05月号 [雑誌]

発売:技術評論社
発売日:2009-04-18
定価:￥ 1,280
ASIN:B0021VNWQA

今日のZFS情報メモ
・「BigAdmin: Multilingual BigAdmin Content - 日本語」(Sun Microsystems)
・「OpenSolaris 2008.11 システム管理ガイド」(Sun Microsystems)
・「Solaris,ZFS研究室Wiki - livedoor Wiki（ウィキ）」

OpenSolarisスタートアップバイブル

Posted on 2009/04/15 (水) 1:09
Filed Under 今日買った商業誌, ZFS | Leave a Comment | TrackBack | Share on Tumblr

opensolarisの概要がわかんなかったので買った。
Solaris CIFSというカーネルに組み込まれたZFSのプロパティで設定できるファイル共有を初めて知って感動した。
後半はssh,BIND,Apache,Postfixなどによるサーバ設定方法。

しかしSolarisはSunによる日本語ドキュメントが膨大に整備されているので全部読めば必要なことたいていわかるはず。

「Solaris ZFS 管理ガイド - Sun Microsystems」
「Solaris 10 System Administrator Collection - Japanese - Sun Microsystems」

OpenSolarisスタートアップバイブル
大津真,まえだひさこ
発売:毎日コミュニケーションズ
発売日:2008-10-22
定価:￥ 4,179
ASIN:4839929769

ZFSで16発NAS TOWERを作ろう-立志編

Posted on 2009/04/12 (日) 6:03
Filed Under ZFS | Leave a Comment | TrackBack | Share on Tumblr

近年はハイビジョン録画も普及してきて一段とストレージが足りなくなってきた。

おそらく同様の人も多いと思う。
現状は一万円ちょいで1.5TBハードディスクは手に入るのに入れるところが足りない。入れ替えるのもめんどくさい。

いままでは各マシンそれぞれにハードディスクを内蔵してたのでいろいろな問題に直面していた。現状を整理するとこんな感じ。

Linuxマシン (LVM)
メリット
・複数のドライブをまとめて1パーテーションにできる
・データを保持したままドライブ交換できる(かなり時間かかる)
デメリット
・fsckに数時間かかる
・冗長性がない
・ウチの環境だとなぜかよく壊れる

Windowsマシン (ダイナミックディスク)
メリット
・複数のドライブをまとめて1パーテーションにできる
デメリット
・足すことしかできず引くことができない。なんでいまだに古い160GBのハードディスクを使い続けるはめになっている。
・冗長性がない

などなど。
LinuxでRAIDにするのも考えたんだけど、冗長性は確保できるもののの、おんなじ大きさのドライブしか使えず、リビルドにはまた数時間かかるということでわざわざ置き換えるにはちょっとなーという感じだった。

そこで、データを全部収用しようとでかいNASを建設することにした。
出来合いのNASではなく多少割高になっても拡張性が高いパソコンを使ってNASを実現する。
NASには次のような機能を実現するためSun Microsystemsが開発したZFSを採用することにする。

冗長性があること
バスのある限りドライブを足せてパーテーションを拡張でき、足りなくなったら古いドライブを抜けること
リビルドが速いこと
fsckに数時間もかからないこと
信頼性が高いこと

具体的にどうするかを考えると、らくちんするためにFreeNASの0.7あたりを使いたかったのだけど、いつまでたってもZFS対応版の0.7の最終版は出る気配がなかったためopensolarisで手作りで設定することにした。

ということで次回は部材の選定編。

参考資料:
「サン・マイクロシステムズ - Sun Fun Times - Solaris 10ファイルシステムZFS誕生エピソード『心を解き放て！』」
「＠IT：一瞬でのバックアップを実現するSolaris ZFS（1/4）」
「Solaris ZFS 管理ガイド - Sun Microsystems」

MacBook Pro (17-inch, Early 2009)

Posted on 2009/02/24 (火) 3:11
Filed Under Mac, レビュー | Leave a Comment | TrackBack | Share on Tumblr

ユニボディMacBook Pro 17インチが届いた。
CPUだけ2.93GHzにしてあとは320GB HDD/4GB RAMの標準と同じ仕様。
早速箱から出してみる。

新旧17インチ箱比較
箱ちっさ!

1920×1200のパネルでfoltiaHDで録画したハイビジョンも等倍で表示できる。

さっそくハードディスク交換。今回のモデルは説明書にハードディク交換方法まで詳しく書かれてるので簡単。用意したハードディスクは500ギガのウエスタンデジタル。

WESTERN DIGITAL 2.5インチ内蔵HDD Serial-ATA 5400rpm 500GB 8MB WD5000BEVT

発売:WESTERNDIGITAL
発売日:
定価:オープンプライス
ASIN:B001NVYKE2

MacBookPro 17 内部裏蓋を開けてみると大変な巨大バッテリが見える。公称値8時間を実現するバッテリの容量はシステムプロファイラ表示で12912mAh。

MacBook Pro HDDベイ写真とり忘れちゃったけどドライブの4隅に取り付いてる空中に浮かすためのネジはT6トルクス。

MacBookPro 17 基盤写真今回のMacBook Proは今までのモデルに比べて基盤の実装密度が上がってる気がする。

気になるパネル品質は、確かに向上したけれども、30万円を超える最上位モデルでこれかよー?感は拭えない。

表示してるサイトのオリジナルの発色はこちら。

その他気がついたこと
・ iPhoneのイヤホン「Apple In-ear Headphones with Remote and Mic MA850G/A」でボリュームコントロールやiTunesの曲順操作できる。
・つるつる液晶になって以来なのかもだけどAppleロゴ入り黒い眼鏡ふきがついてたのがiPhoneも拭けてよさそう。
・「アップル - サポート - MacBook Pro (17-inch, Early 2009) のバッテリー交換」 19,800円
・FireWire400は残しておいてもよかったんじゃないのかなー?
・いまやminiDisplayPort-DVIアダプタもAppleRemotoも別売りなんだなー
・QuadCoreモデルいつ出るのかなー?

Apple MacBook Pro 2.66GHz Core 2 Duo/17″/4G/320G/8xSuperDrive DL/Gigabit/802.11n/BT MB604J/A

発売:アップル
発売日:2009-01-31
定価:￥ 318,800
ASIN:B001P3PLOG

ONTV JAPANがXMLTVのアクセスを拒否し始めた

Posted on 2009/02/11 (水) 1:24
Filed Under foltia | Leave a Comment | TrackBack | Share on Tumblr

番組表サイトのONTV JAPANがついにXMLTVからのアクセスを遮断し始めた模様。

参考情報:「【自家製】MythTV Part.3【HDDビデオ】」(2ちゃんねる)

foltiaもXMLTVつかったEPGを使っているんで直接影響を受けるんだけど、いよいよfoltiaHDの時代ということでデジタル放送のEPGを利用する道で研究を進めたい。

とおもっていたら、このようなものがあった。
「Friio/PT1で録画したファイルから番組表を取得、xmltv形式に変換する - id:yuaaaのにっき」
早速試してみたい。

PT1のLinux用ドライバがついにリリース!

Posted on 2009/01/03 (土) 15:15
Filed Under foltia, ニュース, Friio | Leave a Comment | TrackBack | Share on Tumblr

ついに、現在最強の呼び声高い、4ストリーム同時録画可能三波チューナー2台搭載のアースソフト PT1用のLinuxドライバがリリースされた!

「ダウンロード - PT1の解析、ドライバの作成」(SourceForge.JP)
「Linuxでテレビを見る」

923 ：login:Penguin：2008/12/29(月) 19:50:22 ID:TQ1hOjI6
とりあえず御歳暮変わりに。
PT1のlinux版(キャラクタデバイス版)をリリースしておきます。
http://sourceforge.jp/projects/pt1dvr/

とりあえず版(周波数が固定テーブルで融通がきかない)
なんでV4L(DVB)とか周波数計算版とかは年明け以降で。

いまのところコンパイルまでは通った!
実機でテスト出来たらまた書く予定。

そろそろ新しい録画機用のマシンが欲しいところ。

Tweets by sorshi

Recently

Wish list

宗子さんのほしい物リスト2015/5-

ZFSで16発NAS TOWERを作ろう-速度編

ZFSで16発NAS TOWERを作ろう-選考編

Software Design 2009年 05月号

OpenSolarisスタートアップバイブル

ZFSで16発NAS TOWERを作ろう-立志編

MacBook Pro (17-inch, Early 2009)

ONTV JAPANがXMLTVのアクセスを拒否し始めた

PT1のLinux用ドライバがついにリリース!

Recently

Categories

Archives

Wish list

MAITAN

Links

Find It

Design