目录

IVRy正将提升可靠性的工作移交给产品团队,SRE则转向为各团队提供所需的专业知识与公共基础设施。2026年的工作报告展示了多项实际进展,包括完成一个团队的值班移交、扩大SLO评审范围、检测静默故障,以及降低对外部AI的依赖风险。

要点#

  • IVRy采用Hub & Spoke模型,将嵌入式SRE与公共的Core Reliability职能相结合。
  • AI对话引擎团队于2026年9月接手值班的一线响应,其他领域仍在过渡中。
  • 通过每周的Production Meeting,产品团队将SLO预算消耗情况、事故和告警趋势转化为具体行动。
  • 通过外部AI的回退机制和业务层面的监控,应对仅靠基础设施指标无法发现的故障。

将SRE融入产品团队#

IVRy的“Reliability by Default”战略旨在让可靠性成为日常产品开发的一部分。最终目标是让产品团队无需SRE持续参与,就能管理SLO、开展值班响应和事故复盘。

组织模型由两部分组成。嵌入式SRE在电话、AI对话引擎和Rails应用等产品领域开展工作。Core Reliability负责公共的可观测性标准、事故响应流程、EOL管理及跨团队改进。各领域的人员配置尚未完成,中央职能也仍在建设中。

SRE的参与方式也随产品成熟度而变化。早期产品可能需要直接的实现支持,其他产品则可能需要辅导或公共基础设施。IVRy根据产品阶段和参与形式说明优先级,并据此制定项目目标。实践中的经验是,先选择团队当前所需的支持,再确定未来应自主运维的范围。

将SLO评审转化为行动#

IVRy面向整个工程组织引入了SLI/SLO参考资料和模板。各团队的落地程度仍不一致,许多团队在选择有效指标时仍需要SRE的支持。仅仅发布模板,并不能让实践扎根。

每周的Production Meeting成为实践的场所。各团队检查错误预算消耗情况、近期事故和告警趋势,并决定需要做出哪些改变。电话和AI对话引擎领域已开展会议,Rails领域也于2026年10月启动。开发者开始主动提出可靠性问题,但自主运维仍仅限于部分团队。

为确定从哪里开始度量,IVRy通过以下四个问题为功能划定优先级。

  • 发生故障时,客户的业务是否会中断?
  • 是否涉及资金?
  • 是否被其他功能依赖?
  • 是否涉及外部集成?

团队还会在这些评估中考虑检测能力的不足。影响大且故障尚不可见的功能,应优先于监控充分、影响较小的功能处理。

做好准备再移交值班#

AI对话引擎于2026年9月完成了向开发者的值班移交。IVRy将过渡过程整理为四个可复用的步骤。

1. 向每位开发者了解其顾虑及能力上的不足。 2. 为告警频道收到的所有告警编写排查和响应流程。 3. 设置跟班学习期,由SRE主导响应并解释判断依据。 4. 将一线响应移交给开发者,SRE负责升级处理。

其他领域需要不同的准备。电话领域正在区分告警的即时响应与升级后所需的协调和决策,同时与人力资源部门共同考虑工时限制。Rails团队则计划在就SLI达成共识并补充度量后,在约7人的工程小组内开展轮值。

开发者值班也有成本。运维工作增加,可用于功能开发的精力就会减少。IVRy将“You Build It, You Run It”视为一种随工作量变化而调整的机制。因此,移交完成只是一个检查点,并不意味着这种职责分工应永久维持。

检测客户实际遭遇的故障#

即使Rails请求返回HTTP 200,也可能出现通知未送达、计费工作进程耗尽重试次数、转写处理未完成等情况。IVRy将这些称为语义故障。仅度量请求是否成功,无法检测到这些问题。

团队在现有产品目录下创建了Function Catalog,用于记录运维单元。每项功能都记录负责人、依赖的功能、检测方法、SLI/SLO链接及重要程度。IVRy评估了13项功能,并从来电通知和通知集成着手。整体按定义SLI、与产品经理达成共识、实现度量、小组值班的顺序推进,预计需要6个月至2年。

对于外部AI,同样需要关注客户实际获得的结果。转写API出现严重延迟后,IVRy得出结论:此前在没有处理时长保证的情况下,一直依赖实测性能。目前,团队正在根据数据集、质量和运维要求评估备用服务,同时将生产通话的处理配额与其他LLM用途分离。备用服务本身的处理能力也需要确认。

为可靠性分配产品资源#

2026年10月,IVRy将外部AI和Rails可靠性相关的大部分工作整合到Dialogue Product Reliability中。产品经理担任项目负责人,SRE担任技术负责人,后端和AI工程师共同参与。由此,跨专业领域的工作在产品优先级排序中获得了明确位置。

事故响应也有公共支持。Slack机器人负责创建事故频道、分配角色、记录时间线及生成事故复盘模板。剩余的薄弱环节是经验总结的质量,评审有时会以“再检查一遍”这样的指示收尾。目前,SRE会参与SEV2及以上事故的复盘,引导讨论转向机制改进。

还有一些计划尚未完成。Core Reliability计划从每位嵌入式SRE工作时间的20%起步。灾难恢复的覆盖范围和事故指标仍需进一步讨论,利用LLM开展事故调查也是今后的研究事项。

下一步#

选择一项对客户重要的功能,在下次每周可靠性评审前,记录其负责人、业务成功条件、当前检测能力的不足,以及首个SLI。

来源: https://zenn.dev/ivry/articles/70d4f05ce4ae5c

目录