文章摘要
2026年5月19日,Railway平台因Google Cloud错误暂停其账户导致服务中断,影响了所有GCP托管的基础设施,包括仪表板、API和网络组件。中断持续约8小时,随着缓存网络路由过期,问题进一步扩大。报告概述了事件经过、应对措施及未来预防方案。
文章总结
事件报告:2026年5月19日GCP账户停用事故
事故概述: 2026年5月19日22:20至20日06:14(UTC时间),Railway平台因Google Cloud错误暂停其生产账户导致全局服务中断,持续约8小时。此次事故影响范围包括: 1. 所有GCP托管的基础设施(含控制面板、API及网络组件) 2. 随着路由缓存失效,故障蔓延至Railway Metal和AWS环境 3. 用户遭遇503/404错误、登录失败及部署阻塞
时间线关键节点: - 22:10 UTC 监控系统触发告警 - 22:19 UTC 确认GCP账户被误暂停 - 22:29 UTC 账户访问恢复(但服务仍离线) - 23:54 UTC 持久化磁盘全部就绪 - 次日01:30 UTC 网络完全恢复 - 04:00 UTC 核心服务确认可用 - 07:58 UTC 事故完全解决
事故原因: Google Cloud自动化系统错误地将Railway账户标记为停用状态。尽管Railway采用多可用区架构设计,但网络控制平面与GCP的强依赖关系导致: 1. 边缘代理路由缓存失效后无法更新 2. 跨云工作负载因路由解析失败而不可达 3. 恢复过程需逐层重建各服务组件
改进措施: 1. 网络架构升级:构建真正的多云网状网络,消除单点依赖 2. 数据库扩展:将高可用分片部署至AWS和Metal环境 3. 服务解耦:将GCP服务移出数据平面关键路径 4. 控制平面重构:确保用户界面不依赖单一云平台
责任声明: Railway承认在架构设计上的不足,承诺将持续优化系统可靠性。报告强调:"客户不关心故障归属方,只关注产品可用性。保障服务稳定是我们的首要责任。"
(注:本报告保留技术细节但删减了部分过程性描述,重点突出事故影响、根本原因及改进方案)
评论总结
以下是评论内容的总结:
主要观点一:对Google Cloud的自动化管理表示担忧
- 多个用户指出Google Cloud频繁出现自动化误封账户的问题,损害客户业务
- 关键引用:
- "Railway’s production account into a suspended status incorrectly, as part of an automated action."(评论24)
- "They suspend accounts left right and centre without even thinking about what they're doing."(评论17)
主要观点二:云服务可靠性引发信任危机
- 用户讨论从云服务迁移到自建基础设施的可能性
- 关键引用:
- "I've been getting serious about moving all my workloads to equipment that I control"(评论7)
- "back to on-prem"(评论11)
主要观点三:对事件根本原因的质疑
- 用户要求Google说明账户被封的具体原因
- 关键引用:
- "The interesting and yet-to-be-explained part is why google flagged the account?"(评论13)
- "So, what was the reason for the account suspension."(评论18)
主要观点四:对服务提供商责任的讨论
- 部分用户认为最终责任在于直接服务提供商而非底层云平台
- 关键引用:
- "Your customers don't care whether the failure was Google or Railway"(评论19)
- "Railway say they own the incident but make no apology here."(评论20)
其他观点:
- 有用户认为事件响应时间值得肯定:"19 minutes from detection to getting the google account restored is pretty awesome"(评论28)
- 部分用户表示将避免使用GCP:"I will definitely not be signing up on GCP because of this."(评论23)
注:所有评论均无评分显示。讨论整体呈现对Google Cloud自动化管理能力的担忧,同时涉及云服务可靠性、责任归属等多元视角。