foltia ANIME LOCKERの録画領域を安くなった6TBで冗長化して入れ替えようとしたらタイミング悪くディスククラッシュに遭遇した件
Posted on 2018/06/10 (日) 22:49
Filed Under foltia | Leave a Comment | TrackBack |
タイトルだけでほぼ全てを言い切ってしまっているのだけど以下に詳しく。
foltia ANIME LOCKERをデフォルトでインストールするとLVMで冗長化されてないJBODの録画領域を作る。
手元のfoltia ANIME LOCKER機を見てみるとHGSTの2TBがJBODで6万時間(6.85年)の稼働時間を示していたんでそろそろ冗長構成にしたいなーと数年考えていた。(一度2014年08月ごろSeagateの3TBが突然死して全データが喪失した)
とゆータイミングで3月に突然Seagate 6TB相場が12,800円代に急落した。過去の経験からはSeagateは粘らず即死が多い感じだけども冗長化するのでまあいいかなということでひとまず4台購入。
構成は冗長化できて拡張もできる、mdadmとLVM組み合わせるDrobo的アルゴリズムのこれ。
「mdadm と LVM で作る、全手動 BeyondRAID もどき - 守破離」
どんな仕組みかというとざっくりいうとこんな感じ。絵があるとわかりやすい感じではあるのだけども。
・6TB HDDを2TBごとに3つのパーティションを切る。
・1番目のパーティション4台組み合わせたRAID5をmdadmで作る。
・2番目、3番目も同様にRAID5を作る。
・3つのRAID5をPVとしてLVMでまとめてLVを作る。
mdadmのRAID5はパーティション追加して拡張できるので便利。Linux on ZFSのRAID-Z拡張がそのうち実装されたらZFSもいけるかも。
とゆーわけで、別のマシン(hp Microserver)でアレイを組んでrsyncで既存データをコピーして、コピーし終わったところで入れ替えることにした。
そのままrsyncしようとすると17TBのコピーに数ヶ月掛かりそうな勢いだったので暗号化アルゴリズムをarcfourに変更して若干高速化。LAN内で録画データのコピーなんで高速化のために暗号化しないとかが選べればさらに高速化できたんだろうけどそういう選択肢はない模様。
で順調にデータを移動していると思っていた数日後に、コピー元の非冗長JBODの方からドライブの故障を示すエラーが出はじめて絶望。
調べてみるとまだ3万時間しか使ってない、しかしRMA期間は終わってるWD RED 4TBが壊れた。
慌てて方針転換してこのように。
・新規構築して数TBだけデータコピーしたアレイを元の録画機に入れて停止期間を最小に。
・6TBをもう一つ買い足して、WD RED 4TBをデュプリケータで複製。
・複製が終わったらアレイを取り出した方の機械(hp Microserver)に入れてデータ取り出し元に。
長い時間をかけてrsyncが完了してデータが統合されたら、REDをコピーした6TBも初期化してアレイに追加。6TBx5のRAID5になった。
そしてなんだかアレイのパフォーマンスがあまりにも悪いのでこれでチューニング。
「RAID5がiowait出まくりで遅いので、stripe_cache_sizeを増やした話 | Fusic Developers Weblog」
使用メモリはこの式でわかる。4096(ページサイズ)*8192(stripe_cache_size)*5(RAID5本数)
そして現在の構成はこんな感じ。
起動ドライブ WD RE4 500GB (hp Microserverから取り出したEnterprise Storageシリーズのドライブ)
録画領域 Seagate ST6000DM003 6TB x5台 RAID5 (22TiBくらい)
バックアップ USB接続6TB (DB DumpとMP4-SDだけrsyncしてる)
/dev/sda: MB0500EBNCR: 41 C /dev/sdb: MARSHAL SHELTER HDD: S.M.A.R.T. not available /dev/sdc: ST6000DM003-2CY186: 38 C /dev/sdd: ST6000DM003-2CY186: 39 C /dev/sde: ST6000DM003-2CY186: 39 C /dev/sdf: ST6000DM003-2CY186: 40 C /dev/sdg: ST6000DM003-2CY186: 39 C
Amazon Cloud Driveがあっさりなくなって増え続けるデータの行き場が失われてしまい困ったもの。
その後、ブログを書くのをサボっているうちにWD Blue 6TBも似たような相場になって、SSD 2TBも随分価格こなれてきて、タイ洪水以降長年動いてなかったストレージ相場がようやく動き始めたなーと実感する感じ。
hp MicroserverにPT3とfoltia ANIME LOCKERプリイン機が出ていた
Posted on 2015/03/22 (日) 14:45
Filed Under foltia | Leave a Comment | TrackBack |
静かで安くてコンパクトですげー安定性の名機hp MicroserverとPT3、これは鉄板構成な上に安い。
価格は発売記念台数限定特別価格46,027円(税込販売価格49,710円)ということのよう。
Microserverはコンパクトな分、中がわりとごちゃごちゃしてるんで取り付けに自信なかったりめんどくさかったりする人にはありかも。
しかも今までの受注生産ではなくお急ぎ便ですぐ来るようなんで4月新アニメに間に合いますね!
発売:foltia
発売日:
定価:￥ 78,182
ASIN:B00UTWJQHW
フロントからアクセスできる3.5インチベイはあと3つ空いてるはずなんででかいHDDをつけるとよさそうですね。
発売:Western Digital
発売日:2014-08-01
定価:￥ 33,980
ASIN:B00LO3KR96
発売:Western Digital
発売日:2014-08-01
定価:￥ 27,980
ASIN:B00LO3KRM8
発売:Seagate
発売日:2015-02-18
定価:￥ 39,065
ASIN:B00TMYLDMY
他に参考になりそうな記事へもリンク貼っときますね。
「Linuxで使えるICカードリーダー :宗子時空」
「hp Microserver N54Lを買い足したのでいろいろ測定 :宗子時空」
参考リンク:
「プリインストールPC｜foltia ANIME LOCKER」
「HP MicroServerにfoltiaをプリインストールしたPCが3月発売!!」(ろっぱ屋)
Linuxで使えるICカードリーダー
Posted on 2015/01/10 (土) 0:51
Filed Under foltia | 1 Comment | TrackBack |
Linuxで動く定番のSCR3310 ICカードリーダーが生産終了になったんで、他のカードリーダーどう認識するか試してみた。
とゆーわけで、NTT Comの新モデルCLOUD2700と、Gemalto PC USB-TR HWP119316をCentOS6.6のfoltia ANIME LOCKER 4.0.4で試してみた。
結論から言うと、両方とも期待通り認識していたんで、今後は入手性の良い物を選択すればよさそう。
#長期間安定動作するかまではまだわからない。
発売:ジェムアルト
発売日:
定価:オープンプライス
ASIN:B003XF2JJY
発売:NTT Communications
発売日:2014-12-26
定価:オープンプライス
ASIN:B00PKWPN50
MP4へのチャプタと再生環境
Posted on 2014/05/03 (土) 1:53
Filed Under foltia | Leave a Comment | TrackBack |
チャプタを入れたMP4の再生環境を調べてみた。
【準備編】
comskipから生成した.vdrファイルをMAQ-3339-4-20140426-0225.chapters.txtというファイル名にリネーム。
下のコマンド例のようにmp4chapsで.chapters.txtをもとにチャプタを追加。
0:00:00.33 start
0:01:28.48 end
0:14:46.21 start
0:16:45.47 end
0:27:06.55 start
0:28:36.51 end
0:30:28.59 start
0:30:39.57 end
[foltia@foltia mita]$ mp4chaps –verbose 3 -i MAQ-3339-4-20140426-0225.MP4
job begin: MAQ-3339-4-20140426-0225.MP4
Importing 8 QuickTime and Nero chapters from file MAQ-3339-4-20140426-0225.chapters.txt into file “MAQ-3339-4-20140426-0225.MP4″
WARNING: Chapter ‘end’ start: 00:30:39:570, playlength of file: 00:30:39:404, chapter cannot be set
closing MAQ-3339-4-20140426-0225.MP4
job end
exit code 0
[foltia@foltia mita]$ MP4Box -info MAQ-3339-4-20140426-0225.MP4
* Movie Info *
Timescale 600 - Duration 00:30:39.403
Fragmented File no - 3 track(s)
File Brand M4V - version 1
Created: GMT Sat Apr 26 04:17:41 2014
File has root IOD (9 bytes)
Scene PL 0xff - Graphics PL 0xff - OD PL 0xff
Visual PL: AVC/H264 Profile (0×15)
Audio PL: AAC Profile @ Level 2 (0×29)
No streams included in root OD
Chapters:
Chapter #1 - 00:00:00.000 - “start”
Chapter #2 - 00:01:28.150 - “end”
Chapter #3 - 00:14:45.880 - “start”
Chapter #4 - 00:16:45.140 - “end”
Chapter #5 - 00:27:06.220 - “start”
Chapter #6 - 00:28:36.180 - “end”
Chapter #7 - 00:30:28.260 - “start”
Track # 1 Info - TrackID 1 - TimeScale 30000 - Duration 00:30:39.404
Media Info: Language “Undetermined” - Type “vide:avc1″ - 55127 samples
Visual Track layout: x=0 y=0 width=483 height=272
MPEG-4 Config: Visual Stream - ObjectTypeIndication 0×21
AVC/H264 Video - Visual Size 480 x 272
AVC Info: 1 SPS - 1 PPS - Profile High @ Level 1.3
NAL Unit length bits: 32
Pixel Aspect Ratio 136:135 - Indicated track size 483 x 272
Self-synchronized
Track # 2 Info - TrackID 2 - TimeScale 48000 - Duration 00:30:38.826
Media Info: Language “Undetermined” - Type “soun:mp4a” - 86195 samples
MPEG-4 Config: Audio Stream - ObjectTypeIndication 0×40
MPEG-4 Audio MPEG-4 Audio AAC LC - 2 Channel(s) - SampleRate 48000
Synchronized on stream 1
Track # 3 Info - TrackID 4 - TimeScale 1000 - Duration 00:30:39.074
Track is disabled
Media Info: Language “Undetermined” - Type “text:text” - 7 samples
3GPP/MPEG-4 Timed Text - Size 0 x 0 - Translation X=0 Y=0 - Layer 0
[foltia@foltia mita]$
【再生編】
ざっと言ってチャプタを認識してジャンプできたかどうか。
[期待通り動作した]
VLC media player Version 2.1.4 Rincewind (Intel 64bit)
QuickTime Player バージョン 10.3 / ストリーミング再生 (727.3)(QTX)再生種別追記
QuickTime Player バージョン 10.3 / ファイル再生 (727.3)(QTX)
iTunesでVideoアプリにMoviesとして転送した/iOS 7.1.1(11D201) iPad Air
[認識しない]
QuickTime Player 7 バージョン 7.6.6 (1709)
Safariでストリーミング再生/iOS 7.1.1(11D201) iPad Air
iTunesでFolcastを取得してiPadに同期/iOS 7.1.1(11D201) iPad Air
iTunesでVideoアプリにホームビデオとして転送した/iOS 7.1.1(11D201) iPad Air
ていうか、チャプタ認識しないことが多すぎてえれー不便。
iPadのVideoアプリ内で再生した時も、ムービー再生中はチャプタリストが出なくなったようでこれまた不便感。チャプタ単位のジャンプは出来ずに|< < >>|の前後移動だけ可能。(iOS6では出てたような気がしたが未確認)
新foltia ANIME LOCKERプリインストールPC 3機種、5万円台から
Posted on 2014/03/21 (金) 23:54
Filed Under foltia, ニュース | Leave a Comment | TrackBack |
foltia ANIME LOCKERのプリインストールPCの新モデルが3機種出ていた。
発売記念キャンペーンでざっくり5.5万円、9万円、18.5万円程度で売られているよう。
しかしこのSilverstone ML06ケースはかっこいいですなー。
発売:foltia
発売日:
定価:オープンプライス
ASIN:B00J0CLYS6
発売:foltia
発売日:
定価:オープンプライス
ASIN:B00J0B14CS
発売:foltia
発売日:
定価:オープンプライス
ASIN:B00J0BC9AY
PS4はfoltia ANIME LOCKERの視聴はできるか?
Posted on 2014/03/02 (日) 16:30
Filed Under foltia, レビュー | Leave a Comment | TrackBack |
とゆーわけでPS4でfoltia ANIME LOCKERの再生ができるか試してみた。
DLNA再生機能がなくなったのでひとまずブラウザから。
MPEG2やMP4のファイル再生は認識しないようで、HTML5 Video Playerを使ったWeb Playerでは再生可能。
STB用途に限ってはPS4を使う意味はまるでなさそう。
あわせて読みたい
「第21回 いよいよ日本で発売されたPlayStation4は、AV的にどこまで使えるか？ | Stereo Sound ONLINE」
foltia ANIME LOCKERプリインストールPC
Posted on 2014/01/08 (水) 22:16
Filed Under foltia | Leave a Comment | TrackBack |
foltia ANIME LOCKERとチューナーボードをプリインストールPCが出ていた。
発売:フォルティアコミュニケーションズ合同会社
発売日:
定価:オープンプライス
ASIN:B00HPQO3GE
かっこいいケースだけど、PCパーツを自分で組むのに比べて組み立て完成品は若干値が張りますな。
PCパーツに明るいヒトは自分で組んだほうが好きな構成が採れるので満足度は高いだろうなー。
円安が進んだせいでPCパーツ超値上がってるけれども、現代だとPX-Q3PEを2枚挿して、HDDを6台22TB分くらい積んで、Haswell Core i7とかの速いCPUの構成が便利そう。
設置場所は電源とネットワークとアンテナ線さえあればいいんで、うるさかったりデカいと邪魔だったりするようなテレビの近くには置かずに、24時間通電してても気にならない冷蔵庫の横とか廊下とか部屋の隅とかに置くと良さそう。
発売:PLEX
発売日:
定価:￥ 29,800
ASIN:B00DDNWLE4
発売:WESTERNDIGITAL
発売日:
定価:オープンプライス
ASIN:B00F6ENYMQ
foltiaで全自動CMカットを実現しよう
Posted on 2013/10/15 (火) 3:46
Filed Under foltia | 1 Comment | TrackBack |
民生機ではわりと一般的になってるCMカットを実装したくて色々調べていたら、2ちゃんねるのCMカットスレで良さそうな情報を見つけた。
536 ：名無しさん＠編集中：2013/10/05(土) 22:23:02.74 ID:iNl1yeOz
comskip81_056を一日弄っていたけど、CMスキップ楽勝だね、アニメじゃなくても。
先人に感謝。
detect_method=255、min_show_segment_length=125、punish=28
.vdr（output_vdr=1）で出力すると加工は楽です。
自分はバッチでchapters.txtにしてから、空橋さんの「gen_.chapters.txt_to_.chapter（チャプタースキップ用）b.bat」を通してTVTplayで見ている。
Avisynth要りません。まあcomskipはtrimコマンド出力できるので入用な人は大丈夫ですね。
http://toro.2ch.net/test/read.cgi/avi/1140501201/536n
ほほうと思って試してみたところとりあえず動いたのでメモ代わりにここに書いておく。
試した環境:CentOS6.4/64bit,ffmpeg1.2.5,comsip81_0.56(comskip.org)、comskip.iniに536さんの設定を書いた。
手順1:TSからCM検出する。
wine /home/foltia/comskip81_056/comskip.exe -t -d 255 -v 2 --zpcut --zpchapter --videoredo --csvout --quality --plist --ini=comskip.ini ./3027-12-20130924-0135.m2t
#必要ない形式のカットファイルも吐いてるんで、そのうち見直す。
手順2:検出された本編部分を切り出す。
ffmpeg -y -i ./3027-12-20130924-0135.m2t -c copy -ss 00:01:02.56 -t 00:00:36.72 -sn ./3027-12-20130924-0135_0001.ts
ffmpeg -y -i ./3027-12-20130924-0135.m2t -c copy -ss 00:02:39.46 -t 00:11:02.63 -sn ./3027-12-20130924-0135_0002.ts
ffmpeg -y -i ./3027-12-20130924-0135.m2t -c copy -ss 00:15:12.88 -t 00:12:46.87 -sn ./3027-12-20130924-0135_0003.ts
ffmpegが理解できるタイムスタンプの形式がcomskipで吐いてくるのとは若干異なるのでいまんところちょっとした計算が必要になる。
手順3:切り出した本編をくっつける。
ffmpeg -i "concat:3027-12-20130924-0135_0001.ts|3027-12-20130924-0135_0002.ts|3027-12-20130924-0135_0003.ts" -c copy 3027-12-20130924-0135-CUT.ts
concatオプションが使えるようになったのがffmpeg1.1以降らしいのでそれ以降のもので。
上のサンプルで作ったのをDLNA経由でPS3で再生したのがこの画面。30分アニメの尺が24:26に短くなってるのがわかる。
ffmpegはGOP関係なく指定したタイムスタンプでぶった切っているようなんで、そのへんは今後の課題の予定。mencoderはスマートなんとかで切れる説も。
TSをCMカットせずに、MP4にチャプタを入れたい場合は、ググればMP4Boxでチャプタを追加するようなやり方が見つかりそうなんでその辺を参考に。
おまけ
当初、mencoderにedl読ませてカットしようとしたらなぜか途中までしか処理されなかった。avidemuxでカット編集しようとしたらクラッシュして正常動作しなかった。mplexもSegmentation Faltを起こして期待通り動作しなかった、mkvmergeは複数のmkvを連結するような機能はなかった、などいろいろ試して上の結果となった。
Recently
- C103 冬コミのご案内
- C102 夏コミのご案内 13日 日曜日 西お28b
- 「アニメソムリエ」という新サービスを作りました！
- C101冬コミのご案内 2日目 12/31 土曜日 西さ07a
- モバイルディスプレイをMac miniにつないだら1600×1000がRetina表示にならなかったんで設定変更した話
- C100夏コミのご案内 1日目 8/13 土曜日 西し15b
- DCC-JPL.COMのメールシステムをG SuiteからCloudflare Email Routingに切り換えた
- ゲーム実況とVTuber的な日記【毎週土曜15時配信】
- C99冬コミのご案内 2日目 12/31金曜日 東5 テ07b
- アニメオブジイヤ2020
- MacでjpegのzipをQuickLookしよう
- USB2.5GbEアダプタを買ったりErgoDoxのキースイッチをまた交換したりといった最近の日記
- CentOS 8 StreamがESXi5.5上でIllegal instruction (core dumped)で死にまくるのを解決するメモ
- 2020年のヒット曲TOP41が1時間でわかるMIX（原曲Spotifyリンク&各曲コメントつき）
- アニメオブジイヤ2019
- 今日のErgoDoxなどの日記
- 2019年のヒット曲TOP41が1時間でわかるMIX
- 中古のThinkPad X1 Carbon 4th Genを買ってWWAN(LTEモデム)を内蔵した話
- Raspberry PiでGNSSをクロックソースにするStratum1 NTPサーバーを作った話
- 40ギガビットイーサネットへの道 1（MikroTik CRS326-24S+2Q+RM導入編）
- メインプロバイダを「ZOOT NATIVE IPv4固定IP1個」に乗り換えた
- C97冬コミのご案内 4日目 12/31火曜日 南3 ヨ-18a
- 2018年のヒット曲TOP41が1時間でわかるMIX
- 最近のErgoDox日記
- レーザー刻印で薙刀式キーキャップを作った
- Mac miniの重さ
- Mac用薙刀式のセンターシフト+T,Yの実装
- 今日のErgoDoxと薙刀式
- APFS Fusion Driveを内蔵SSD+USB HDDの構成で組んだら、SSD容量より多くのデータを書き込むとシステム破壊していくトラブルに見舞われた話
- DCC-JPL JapanはC96(夏コミ)は抽選漏れのため不参加です。
Categories
Archives
- 2023年 12月
- 2023年 8月
- 2023年 3月
- 2022年 12月
- 2022年 8月
- 2022年 3月
- 2021年 12月
- 2021年 11月
- 2021年 5月
- 2021年 3月
- 2021年 2月
- 2020年 12月
- 2020年 11月
- 2020年 10月
- 2020年 6月
- 2019年 12月
- 2019年 11月
- 2019年 10月
- 2019年 9月
- 2019年 8月
- 2019年 7月
- 2019年 5月
- 2019年 4月
- 2019年 3月
- 2019年 1月
- 2018年 12月
- 2018年 8月
- 2018年 6月
- 2018年 4月
- 2018年 2月
- 2017年 12月
- 2017年 8月
- 2017年 5月
- 2017年 1月
- 2016年 12月
- 2016年 9月
- 2016年 8月
- 2016年 7月
- 2016年 4月
- 2016年 1月
- 2015年 11月
- 2015年 9月
- 2015年 8月
- 2015年 5月
- 2015年 3月
- 2015年 2月
- 2015年 1月
- 2014年 12月
- 2014年 11月
- 2014年 10月
- 2014年 9月
- 2014年 8月
- 2014年 7月
- 2014年 5月
- 2014年 3月
- 2014年 2月
- 2014年 1月
- 2013年 12月
- 2013年 11月
- 2013年 10月
- 2013年 9月
- 2013年 8月
- 2013年 7月
- 2013年 6月
- 2013年 5月
- 2013年 4月
- 2012年 11月
- 2012年 10月
- 2012年 9月
- 2012年 8月
- 2012年 7月
- 2012年 6月
- 2012年 5月
- 2012年 4月
- 2012年 3月
- 2012年 2月
- 2012年 1月
- 2011年 12月
- 2011年 11月
- 2011年 10月
- 2011年 9月
- 2011年 8月
- 2011年 7月
- 2011年 6月
- 2011年 5月
- 2011年 4月
- 2011年 3月
- 2011年 2月
- 2011年 1月
- 2010年 12月
- 2010年 11月
- 2010年 10月
- 2010年 9月
- 2010年 8月
- 2010年 7月
- 2010年 6月
- 2010年 5月
- 2010年 4月
- 2010年 3月
- 2010年 2月
- 2010年 1月
- 2009年 12月
- 2009年 11月
- 2009年 10月
- 2009年 9月
- 2009年 8月
- 2009年 7月
- 2009年 6月
- 2009年 5月
- 2009年 4月
- 2009年 3月
- 2009年 2月
- 2009年 1月
- 2008年 12月
- 2008年 11月
- 2008年 10月
- 2008年 9月
- 2008年 8月
- 2008年 7月
- 2008年 6月
- 2008年 5月
- 2008年 4月
- 2008年 3月
- 2008年 2月
- 2008年 1月
- 2007年 12月
- 2007年 11月
- 2007年 10月
- 2007年 9月
- 2007年 8月
- 2007年 7月
- 2007年 6月
- 2007年 5月
- 2007年 4月
- 2007年 3月
- 2007年 2月
- 2007年 1月
