目次
IVRyは信頼性向上の取り組みをプロダクトチームへ移し、SREは各チームに必要な専門知識と共通基盤を提供する役割へと移行している。2026年の活動報告では、1チームでのオンコール移管完了、SLOレビューの拡大、サイレント障害の検知や外部AIへの依存リスク低減など、実践的な進展が示されている。
要点#
- IVRyは、組み込み型SREと共通のCore Reliability機能を組み合わせたHub & Spokeモデルを採用している。
- AI対話エンジンチームは2026年9月にオンコールの一次対応を引き継いだが、ほかの領域は移行中である。
- 毎週のProduction Meetingを通じ、プロダクトチームはSLOの消費状況、インシデント、アラートの傾向を具体的な対応につなげている。
- 外部AIのフォールバックと業務レベルの監視により、インフラ指標だけでは見えない障害に対処している。
SREをプロダクトチームに組み込む#
IVRyの「Reliability by Default」戦略は、信頼性を日常のプロダクト開発の一部にすることを目指している。最終的には、プロダクトチームがSREの継続的な関与なしにSLOを運用し、オンコール対応やポストモーテムを実施できるようにする。
組織モデルは二つの要素からなる。組み込み型SREは、電話、AI対話エンジン、Railsアプリケーションの各プロダクト領域で活動する。Core Reliabilityは、共通のオブザーバビリティ標準、インシデント対応プロセス、EOL管理、チーム横断の改善を担う。領域への配置はまだ完了しておらず、中央機能も整備の途上にある。
SREの関わり方は、プロダクトの成熟度によっても変わる。初期段階のプロダクトには直接的な実装支援が、別のプロダクトにはコーチングや共通基盤が必要かもしれない。IVRyはプロダクトの段階と関与形態を使って優先順位を説明し、プロジェクトの目標を導き出している。実践上の教訓は、チームが今必要とする支援を選び、そのうえで将来自立して運用すべき範囲を定めることだ。
SLOレビューを行動につなげる#
IVRyはエンジニアリング組織全体に向けたSLI/SLOの参考資料とテンプレートを導入した。定着にはまだばらつきがあり、有用な指標の選定にはSREの支援が必要なチームも多い。テンプレートを公開するだけでは、運用は根付かない。
毎週のProduction Meetingが、その実践の場となる。各チームはエラーバジェットの消費状況、直近のインシデント、アラートの傾向を確認し、何を変えるかを決める。電話とAI対話エンジンの領域ではすでに開催され、Rails領域でも2026年10月に始まった。開発者が自ら信頼性の課題を提起する場面も出てきたが、自立した運用はまだ一部にとどまる。
どこから計測を始めるかを決めるため、IVRyは次の四つの問いで機能に優先順位を付けている。
- 障害が起きると顧客の業務が止まるか?
- 金銭に影響する機能か?
- ほかの機能が依存しているか?
- 外部連携を伴うか?
チームはこれらの評価に、検知の不足も加味する。影響が大きく、障害が見えないままの機能は、十分に監視されている影響の小さな機能より先に取り組むべき対象となる。
準備を整えてオンコールを移管する#
AI対話エンジンは2026年9月に開発者への移管を完了した。IVRyは移行を、ほかでも使える四つの手順に整理した。
1. 各開発者に、不安や不足している能力をヒアリングする。 2. アラートチャンネルに届くすべてのアラートについて、調査と対応の手順を文書化する。 3. SREが対応を主導し、判断の理由を説明するシャドー期間を設ける。 4. 一次対応を開発者に移し、SREはエスカレーションに対応する。
ほかの領域では、異なる準備が必要となる。電話領域では、アラートへの即時対応と、エスカレーション後に必要な調整や判断を分離しつつ、人事とともに労働時間の制約を考慮している。Railsチームは、SLIへの合意と計測の追加を経て、7人程度のエンジニアリンググループ内でのローテーションを目指している。
開発者のオンコールにもコストがある。運用業務が増えれば、機能開発に使える余力は減る。IVRyは「You Build It, You Run It」を、業務量の変化に応じて見直す体制と捉えている。そのため、移管の完了は確認地点であり、その責任分担を恒久的に維持すべきだという証明ではない。
顧客が体験する障害を検知する#
RailsのリクエストがHTTP 200を返していても、通知が届かない、課金ワーカーがリトライ回数を使い切る、文字起こし処理が完了しないといった事態は起こりうる。IVRyはこれらを意味的な障害と呼ぶ。リクエストの成功だけを計測していては検知できない。
チームは、既存のプロダクトカタログの下に運用単位を記録するFunction Catalogを作成した。各機能には、責任者、依存する機能、検知方法、SLI/SLOへのリンク、重要度を記載する。IVRyは13機能を評価し、着信通知と通知連携から着手した。全体では、SLIの定義、プロダクトマネージャーとの合意、計測の実装、グループ単位のオンコールという順序で進め、6か月から2年を見込んでいる。
外部AIでも、顧客にとっての結果に同じように注意を払う必要がある。文字起こしAPIが大幅に遅くなった際、IVRyは処理時間の保証がないまま、実測した性能を頼りにしていたと結論付けた。現在は、データセット、品質、運用要件に照らしたフォールバック先の評価に加え、本番通話用の処理枠をほかのLLM利用から分離する対応を進めている。フォールバック先の処理能力自体も確認が必要だ。
信頼性にプロダクトのリソースを割り当てる#
2026年10月、IVRyは外部AIとRailsの信頼性に関する取り組みの多くをDialogue Product Reliabilityにまとめた。プロダクトマネージャーがプロジェクトの責任者を務め、SREがテクニカルリードとなり、バックエンドとAIのエンジニアが参加する。これにより、専門領域をまたぐ取り組みが、プロダクトの優先順位付けの中で明確に位置付けられる。
インシデント対応にも共通の支援がある。Slackボットがインシデントチャンネルの作成、役割の割り当て、タイムラインの記録、ポストモーテムのテンプレート生成を担う。残る弱点は学びの質であり、レビューが「ダブルチェックする」という指示で終わることもある。現在はSREがSEV2以上のポストモーテムに参加し、仕組みの改善へ議論を促している。
未完了の計画もいくつかある。Core Reliabilityは、各組み込み型SREの稼働時間の20%から始める予定だ。災害復旧の対象範囲やインシデント指標にはさらなる検討が必要で、LLMを活用したインシデント調査も今後の検討事項となっている。
次の一歩#
顧客にとって重要な機能を一つ選び、次回の週次信頼性レビューまでに、責任者、業務上の成功条件、現在の検知の不足、最初のSLIを文書化しよう。
出典: https://zenn.dev/ivry/articles/70d4f05ce4ae5c
目次
