事象

別サーバのHDDをNFSでマウントしてバックアップのコピーをrsyncしているメインサーバがあった。

別サーバが落ちた際に監視等をしていなかったため、

1. メインサーバのローカルに差分ファイルを書き出し
2. 差分といってもメインサーバにはファイルがないため既存ファイルを一気に書き出し
3. I/O負荷が高い状態が継続
4. （容量はまだ余裕がありそうだったが）何かのリソースが不足しsystemdがお亡くなり

というシーケンスが発生した模様。

Jan 30 06:25:15 ホスト名 systemd[1]: Failed to fork off sandboxing environment for executing generators: Protocol error 
Jan 30 06:25:15 ホスト名 systemd[1]: Freezing execution.

重症そうなlogがでていた。

4番は内部で何が発生したかをさらに追う技術力はないので調査はここまで

別サーバが落ちた原因

Linuxを動かしているSSDとバックアップ用のHDDで構成していたがSSDが完全に動かなくなった模様。HDDは無事。古いハードなので電源が不安のある動きをしている気がしないでもないがSSD故障はしょうがないのでそんなものかもしれない。

対処

クラウドは高く、マシンから離れない生活をしているので懲りずに基本的に物理サーバで復旧対処する。

算定対処

メインサーバ自体は再起動で復活。

バックアップに関してはメインサーバのSSDに短期バックアップ保存->メインサーバのHDDとリモートのHDDの２か所に保存していたためメインサーバHDDの無事は確認。

死んだ別サーバの復旧は後回しにして、取り急ぎS3にバックアップを退避。

本格対処

別サーバのSSDを取り外し、余っていた中古256GSSDに変更、Ubuntsuをセットアップし元の状態に復旧

NFSの死活監視をしていなかったのが原因なので死活監視追加

夜間バックアップで発生するので、監視に気づかない場合に備えNFSがつながっていない時はバックアップをしないように変更

カプトンシート(ポリイミドフィルム)でステンシルを作ってみる1の続き

下図のように枠線で出力されているDFXファイルをそのままレーザーカッターでカットしてみた。

30wのCO2レーザー（Beamo）で「出力24%、速度20、パス1回」と普段コピー用紙をさくっと切る設定でまずは試した。

切り抜けていない箇所と、パッドが隣とつながってしまっている個所が混在。つながったりつながらなかったりしているパッド間は0.6mm程なので今の出力だと0.3mm程レーザーのカット幅で予定より大きくなっている模様。また、切り抜けていない箇所があるので出力を上げるか、複数回カットが必要。

レーザーのカット幅分切り抜く位置を内側に寄せたいがDFXファイルだと編集が面倒そう。塗りつぶしで出力されるSVGでオフセットをかけて内側にカットラインを寄せてみる。具体的な手順はこちらを参考にした。

Inkscapeで枠線を0.2mmオフセット。出力24%、速度20、パス2回にして再実行。

カットしたシートはゆがんでいる。ただし、カット前に一度ヘッドに巻き込まれて折り目がついてしまったので、カット時の熱のせいか、巻き込みのせいかは不明。

暫定対処でマスキングテープで角を止めてみる。見た感じは悪くなさそう。少なくともつまようじ等でペーストを乗せるよりはいい感じになる予感。

今日はここまで。