Otorigi の自動再接続のはなし

自己紹介

• 土田　拓也(つちだ　たくや)
• @tsucchi とか blog(http://tsucchi.github.io/)とか
• 普段は Perl とか SQL とか書いてます
• こんなかんじのアイコンです
• Perl と ミルキィホームズが好きです
• 探偵歌劇ミルキィホームズTD好評放送中
  • OP 主題歌「ミルキィ A GO GO」2/18 発売です！

はじめに

• 以前 Perl Beginners で話した内容の続きです。一部重複もあります
• DBの自動再接続の話 (2014/12/22)

背景

• songmu さんが色々教えてくれた話を中心に PB で話した
• PB で発表したあと、@nihenさんからもアドバイスもらった
• で、そのへんのフィードバックを元に Otogiri に自動再接続を実装しましたよ、というお話です

自動再接続の話だとあとは DBIx::Connector をみるとよいとおもいます。see also: https://t.co/MoVr7bdi16 https://t.co/m8yceDnGCr / “Perl Beginne…” http://t.co/1U6F7MVhvi

— Masahiro Chiba (@nihen) 2014, 12月 23

DB の自動再接続とは

• DB とアプリの接続が切れてしまうことがあるので、その場合に ORM やアプリ側で DB をつなぎ直すこと
• Teng とか、よくできた ORM を使っている場合はあまり気にしなくて良い

Otogiri の自動再接続について

• まず Plugin として実装した
  • Otogiri::Plugin::AutoReconnect
• ある程度動作確認した上で、Otogiri 本体に p-r (>= 0.15)
• なので Plugin は使わないこと！

DB の自動再接続時の主な問題

• トランザクションの途中で接続が切れたらどうするか
• prefork 型の Web サーバだと、親子で同じ接続を使うわけにいかない
  • 接続は一応使えるが、非常にややこしいバグが出るので使ってはいけない
  • 子側で再接続する
• ORM でどこまでやるか決める
  • ダメな場合に die するだけでよいか、subref わたしてほげほげしたいとか？ etc

トランザクション

• トランザクション中では再接続せず、例外を投げる
• DBIx::TransactionManager を使っている場合は in_transaction()というメソッドがあるので、それでチェックすれば良い

$db->txn_begin();
$db->insert('people', { ... });
... #ここで接続が切れたとする
$db->insert('item', { ... }); #この insert が再接続で有効になったら困る
$db->txn_commit();

prefork 型のサーバへの対応

• http://nihen.hatenablog.com/entry/2011/11/17/102557
• 親側で $dbh->{AutoInactiveDestroy} = 1; を設定する
  • DBI 1.6.14 以上が必要
  • Otogiri は DBIx::Sunny ベースなので問題ない
  • 上記バージョンが使えない場合は子側で InactiveDestroy というパラメータをうまく設定してやる(ちょっとめんどい)
• pid をチェックして、親でない場合は再接続($dbh->clone())する
  • 上記のオプションが指定してあれば、これでうまく動く
  • clone もバグがあって、古い DBI だとその対応が必要
    • Tengはやってるが、Sunny の前提の DBI だと大丈夫

失敗時の対応について

• Otogiri ではできる限り再接続、NG な場合は die するようにしています
  • Teng と同じアプローチ
• Teng は一時(0.14系列の experimental release) ではエラーになったクエリを再実行する fixup というモードがあった
  • 0.15 がリリースされた際には無くなった
  • やめた背景はこのへんらしいです

テストについて

• 基本的には SQLite でクエリを投げたりして確認してる
  • t/15_auto_reconnect.t
• 今回、スタブとしてMock::Quick というモジュールを使ってみた
  • Mock::Quick というモジュールがいい感じ

実装について

• やり方を理解して、やることを決めてしまえば、割とシンプル
  • fork 対応のための PID の記録
  • 再接続周りの対応
    • トランザクションチェック
    • PID 違う場合(fork)の再接続
• https://github.com/ytnobody/Otogiri/pull/13/files

結論

• 基本的に自前でやるべきものではないです
• どうしても必要な場合とか、ORM のソースを読む際の参考になれば嬉しいです
• 古い DBI だと一部地獄っぽい対応が必要になるので、可能であれば新しめの DBI (あるいは DBIx::Sunny)を前提としたほうがいいです

おしまい