自宅サーバを仮想化しよう4-I/O高速化編・RDM
Posted on 2013/12/03 (火) 0:52
Filed Under 技術, 日記 | | TrackBack |
引き続きストレージ編。
【失敗】RAIDカードを足す
LSI Logic MegaRAID SAS 8308ELPとゆーRAIDカードをヤフオクで買った。
2007年のカードで当時は10万円前後した。
まずLSI公式から最新ESXiドライバを取ってきてインストーラisoをリビルド。
結論から言うとインストーラがエラーを出して失敗する。
どうもSASドライブを接続しているときは動作するのだがSATAドライブだと互換性が無いよう。
「VMware Compatibility Guide: I/O Device Search」
「VMware Compatibility Guide: I/O Device Search」
【失敗】ASM1061 SATAカードをRDM(Raw Device Mapping)
前回買ったASM1061搭載SATAカードをRDMしようとしたら、ESXiにASM1061ドライバがないようでそもそも認識してなかった。
【失敗】オンボードSATAのport1を起動ディスクに、port2,3をRDMでVM(FreeNAS)へ
ナゾなことにFreeNASだと、RDM先のドライブがまともに操作できない。
vmkfstools -zで作ったドライブだと2台とも全く操作可能。
vmkfstools -rで作ると片一方のポートの操作ができるがもう片一方がnot permitted的エラーになってしまいやはり操作ができない。
かなりナゾ。
そのままの構成で次項のようにVMだけ変更する。
【成功】オンボードSATAのport1を起動ディスクに、port2,3をRDMでVM(openindiana)へ
困ったときのSolaris。すべて期待通り動作したので、vmkfstools -zでドライブ作り直し、ミラーリング構成でZFSボリュームを作りCOMSTARでiSCSI Targetを作成し、ESXiに登録し、データストアとしてマウント。
そこにWindows8.1 64bit Enterprise評価版のVMを作り再びベンチマーク。
ちょっと期待よりもWriteが遅い。
試験的にZIL(ZFS Intent LOG)をオフにして再測定。電源喪失時にファイルシステムをぶっ壊す可能性があるのでSunはZILを止めるなと言っているからあくまで試験的に。zfs set sync=disabled [volume]で即時停止できる。
こんくらい常時出てればまあまあですなー。
【改良】ZILドライブとしてSSDを足す
というわけで、さらなる高速化を目指してZFSストレージプールにZIL用SSDを足してハイブリッドストレージプール化して高速化を図る。
とりあえず容量は少なくていいんでこれを買った。
ZILとして必要な容量はメインメモリの半分が目安。データ保持期間は短くていいが高い信頼性と高速な速度が要求される。mirror構成も取れるがまあ今回はそこまではしない。
L2ARCドライブは速ければ信頼性はどうでもいいが容量は多い方がいい。
発売:シリコンパワー
発売日:
定価:オープンプライス
ASIN:B00CBNZRMA
参考にSSD単体の速度を計る。
というわけで、待望のハイブリッドストレージプールの速度。
だいぶよくはなったけど、まだ遅え…
ZILをミラー構成にすればもう少し速度稼げようかね?
参考値としてハイブリッドストレージプールでZILを停止するとこんな結果。
理屈通りZILを止めるとハイブリッドストレージプールでも速度差ありませんな。
【結論】
とゆーわけで、結果的にこのような構成になった。
2TB HDD : RAID計画で起動ディスク(ミラーリング)
2TB HDD : RAID計画で起動ディスク(ミラーリング)
3TB WD RED : openindianaにRDMしてストレージプール(ミラーリング)
3TB WD RED : openindianaにRDMしてストレージプール(ミラーリング)
60GB SSD : openindianaにRDMしてZIL
問題は、電源喪失などで異常終了したときに、起動がめんどくさいこと。
マシンを起動してESXiがRAID計画ボリュームに作られたデータストアを見つけたら、openindianaを起動して、iSCSIボリュームをESXiに認識させて、その他のVMを起動しなければならない。
(あとNASは素のopenindianaを使うのではなくラクチンにFreeNASとか使いたかったなー、的なことも)
今後の展開的にさらに速度を出す場合には、やはりストレージプールの構成ドライブを増やすことと、ZILドライブをミラー化すること、L2ARCドライブをSSDで足すこと、あたりかなー、と思える。
ウチの今後の構成としては、NAS領域ディスクとしてhp MicroServer (旧機種)でFreeNASをUSB起動でiSCSI TargerにしてVMのopenindianaでマウントする、構成で容量拡張をしていきたいと思う所存。
容量が足んなくなったらhp MicroServer (旧機種)を在庫がある限り増やし続ける方針で。Gen8も早く値段下がらんか。
あと、そもそも論として、現代だと一般公開用サーバなんかはVPSサービス使ったほうが総合的にメリット多そうですよ!
自宅サーバはあくまで、LAN内の速度がほしいところで大容量なディスクが欲しかったりとかそういう用途に使う感じで。
参考リンク
「ジグソー | 家庭内zfsストレージ兼VDIサーバを構築してみる。 - ウエスタンデジタルジャパン WD Red」
「ESXi5におけるRaw Device Mappingのやりかたについて - k32ru’s blog」
「0.はじめに - OpenIndianaでZFSなiSCSIを構築するまでの道のり」
短期連載一覧
「自宅サーバを仮想化しよう1-立志篇」
「自宅サーバを仮想化しよう2-ディスク編」
「自宅サーバを仮想化しよう3-I/O高速化編・パススルー失敗」
Comments
Leave a Comment
TrackBack URI :http://www.dcc-jpl.com/diary/2013/12/03/virtualization-4/trackback/
MyHatenaBookmark
- マツダ正念場 「X」エンジン目標未達、FR開発遅れ | 日経 xTECH（クロステック）
- 【独自】行政文書が大量流出 納税記録などのＨＤＤ転売：朝日新聞デジタル
- 流出ＨＤＤは計１８個に 神奈川県、９個の行方分からず：朝日新聞デジタル
- 中国猛反発「バカな法案」「米は先住民殺戮」 ウイグル人権法案 - 産経ニュース
- 電通、有罪後も違法残業 ずさんな労務管理に是正勧告：朝日新聞デジタル
- 象印のECサイトに不正アクセス、最大28万件の顧客情報が流出 決済画面が改ざん - ITmedia NEWS
- アナ雪２のＰＲ漫画投稿でステマ指摘 ディズニーおわび：朝日新聞デジタル
Recently
- レーザー刻印で薙刀式キーキャップを作った
- Mac miniの重さ
- Mac用薙刀式のセンターシフト+T,Yの実装
- 今日のErgoDoxと薙刀式
- APFS Fusion Driveを内蔵SSD+USB HDDの構成で組んだら、SSD容量より多くのデータを書き込むとシステム破壊していくトラブルに見舞われた話
- DCC-JPL JapanはC96(夏コミ)は抽選漏れのため不参加です。
- 石原夏織さんの使ってるシャンプー(メリットピュアン スウィート＆チャーミング)のメモ
- キーボードのキーキャップ刻印の作り方
- ErgoDoxのキーにキーボード専用レタリングシールを貼って薙刀式キーボードにした
- エルゴノミクス左右分割キーボードErgoDox EZのキー配置編1
- Mac用に薙刀式キー配列移植した。
- アニメオブジイヤ2018
- C95冬コミのご案内 2日目 12/30日曜日 東6 タ-28a
- C94夏コミのご案内 1日目 8/10 西1 も-40b
- foltia ANIME LOCKERの録画領域を安くなった6TBで冗長化して入れ替えようとしたらタイミング悪くディスククラッシュに遭遇した件
- アニメオブジイヤ2017
- 2017年のヒット曲TOP41が1時間でわかるMIX
- C93冬コミのご案内 1日目 12/29 東3 キ-52b
- MacBook Pro 17 (late 2011)のGPUがまた死んだけどAppleの修理受付が終わっていたので自力でなんとかした話
- C92夏コミのご案内 1日目 8/11 東7 せ-33b
- JOYSOUND中野店 ゆいかおりルームに行ってきたよ(室内全天球画像あり)
- アニメオブジイヤ2016
- 2016年のヒット曲TOP42が1時間でわかるMIX
- C91冬コミのご案内 1日目西め-01a
- 38年分の歴代ヒット曲が1時間でわかるMIX
- 防災の日に考える電源周り
- C90夏コミのご案内 8/14 e-36a
- 7/18(海)開催、dameTunesに参加させていただきます
- 声優飲シャン本 COMIC1委託のご案内
- アニメオブジイヤ2015
Categories
Archives
- 2019年 11月
- 2019年 10月
- 2019年 9月
- 2019年 8月
- 2019年 7月
- 2019年 5月
- 2019年 4月
- 2019年 3月
- 2019年 1月
- 2018年 12月
- 2018年 8月
- 2018年 6月
- 2018年 4月
- 2018年 2月
- 2017年 12月
- 2017年 8月
- 2017年 5月
- 2017年 1月
- 2016年 12月
- 2016年 9月
- 2016年 8月
- 2016年 7月
- 2016年 4月
- 2016年 1月
- 2015年 11月
- 2015年 9月
- 2015年 8月
- 2015年 5月
- 2015年 3月
- 2015年 2月
- 2015年 1月
- 2014年 12月
- 2014年 11月
- 2014年 10月
- 2014年 9月
- 2014年 8月
- 2014年 7月
- 2014年 5月
- 2014年 3月
- 2014年 2月
- 2014年 1月
- 2013年 12月
- 2013年 11月
- 2013年 10月
- 2013年 9月
- 2013年 8月
- 2013年 7月
- 2013年 6月
- 2013年 5月
- 2013年 4月
- 2012年 11月
- 2012年 10月
- 2012年 9月
- 2012年 8月
- 2012年 7月
- 2012年 6月
- 2012年 5月
- 2012年 4月
- 2012年 3月
- 2012年 2月
- 2012年 1月
- 2011年 12月
- 2011年 11月
- 2011年 10月
- 2011年 9月
- 2011年 8月
- 2011年 7月
- 2011年 6月
- 2011年 5月
- 2011年 4月
- 2011年 3月
- 2011年 2月
- 2011年 1月
- 2010年 12月
- 2010年 11月
- 2010年 10月
- 2010年 9月
- 2010年 8月
- 2010年 7月
- 2010年 6月
- 2010年 5月
- 2010年 4月
- 2010年 3月
- 2010年 2月
- 2010年 1月
- 2009年 12月
- 2009年 11月
- 2009年 10月
- 2009年 9月
- 2009年 8月
- 2009年 7月
- 2009年 6月
- 2009年 5月
- 2009年 4月
- 2009年 3月
- 2009年 2月
- 2009年 1月
- 2008年 12月
- 2008年 11月
- 2008年 10月
- 2008年 9月
- 2008年 8月
- 2008年 7月
- 2008年 6月
- 2008年 5月
- 2008年 4月
- 2008年 3月
- 2008年 2月
- 2008年 1月
- 2007年 12月
- 2007年 11月
- 2007年 10月
- 2007年 9月
- 2007年 8月
- 2007年 7月
- 2007年 6月
- 2007年 5月
- 2007年 4月
- 2007年 3月
- 2007年 2月
- 2007年 1月
