最近のお話
自己紹介
- 土田 拓也(つちだ たくや)
-
@tsucchi とか blog(http://tsucchi.github.io/)とか
-
こんなかんじのアイコンです -
Perlとミルキィホームズが好きです。最近は Re:ステージ！にハマっています
-
-
株式会社シャノンというところで、エンジニアやってます
- 2019年5月から正式にSREグループに
- 稼働率とかパフォーマンスとかセキュリティのこと考えたり
- Perl とか SQL とか書いたり
今回の内容
- 最近のお話
SRE
- 稼働率
- パフォーマンス
- セキュリティ
稼働率
- 稼働率のある程度は運
- 機器障害の発生率はコントロールできない
- コントロール可能なのは、障害検知と復旧だけ
障害検知
- 監視の強化
- サービス、ホスト、ミドルウェア、傾向監視
- 通知の改善
- メール -> slackに。severity が高いものはメンションつけたりとか
復旧
- RDSのバックアップなどを整える
- 実際の復旧訓練はこれから...
その他
- アプリ的に弱い部分を直す(のをこれからやらないと...)
- 例) API叩きまくってるのをバルク化するとかサーキットブレーカー入れるとか...
パフォーマンス
- レスポンス時間や遅いSQLなどから地道にログを見てバグ登録
- パフォーマンスバグを地道に修正
- 最近はキャッシュできそうなものを一通り memcached にぶち込んでいる感じ
セキュリティ
- AWS Inspector の結果を見てパッチ当て運用(を始める)
- AWS GuardDuty から通知(怪しいことしたらすぐに見つける)
- 脆弱性スキャナの運用とか
- セキュリティバグの修正
その他
- 「ヒヤリハット」みたいなのがまあまああるので、直したり監視増やしたり...
- 他にも色々やってた気もするのだけど、忘れました...
- こいつのせい
まとめ
- 難しいことは一つもやってないと思う
- 監視もパフォーマンスバグの修正も一応やってはいた
- けど、今までは片手間にしかやってなくて、ちゃんとやり切れてなかった
- 専門の組織を作るってのは時には必要なんだな、と思った