文章摘要
文章指出当前可观测性行业存在问题:供应商更关注盈利而非真正帮助工程师,导致客户被压榨而非获得支持。作者基于十年行业经验,对行业现状感到失望,认为整个领域已经偏离了初衷。
文章总结
可观测性供应商避而不答的关键问题
作者Ben Johnson在可观测性领域深耕十年后,揭示了行业存在的根本性问题:供应商与客户利益错位导致的成本失控。
行业现状的困境 - 企业每年为可观测性支付高昂费用(有客户年费高达6500万至1.7亿美元) - 运维人员沦为"成本警察",40%时间用于处理数据浪费问题 - 供应商以"这是你的数据"为由推卸责任,却继续推销AI运维等增值服务
核心问题的发现 通过分析某Vector用户的日志系统,作者发现: 1. 现有系统包含数十个组件构成的复杂DAG 2. 尽管采用了采样、聚合、正则过滤等所有成本优化手段 3. 但平均仍有40%的日志数据属于无效数据(不同服务浪费率在30%-60%)
解决方案的突破 作者开发了自动化分析系统: - 将数十亿日志压缩为数千个语义事件 - 通过上下文理解(服务架构/故障模式)识别无效数据 - 采用Hyperscan技术实现高效模式匹配
行业反思 - 当前市场误区:追求"无限观测""更多数据",实则制造噪音 - 真正目标应是:用更少数据获得更多理解 - 供应商应通过回答"多少数据是浪费的"来证明其价值
未来展望 作者创立的Tero公司正在构建新范式: - 让供应商收益与客户成功直接挂钩 - 通过精准数据分析消除无效成本 - 使工程师从成本管控回归核心价值创造
(注:原文中的企业导航菜单、图片描述、重复的版权信息等非核心内容已做删减处理,保留了技术细节和论证逻辑)
评论总结
以下是评论内容的总结:
1. 对Vector的积极评价
多位用户高度评价Vector,认为它是一个高效、资源友好的日志处理工具,替代了Filebeat和Logstash,并简化了日志处理流程。
- "It replaced both Filebeat and Logstash for us with a single binary that actually has sane resource usage." (评论6)
- "VRL turned out to be way more powerful than we could imagine." (评论6)
2. 可观测性中的数据浪费问题
许多评论指出,当前可观测性工具中存在大量数据浪费,存储和分析成本高昂,且信号与噪声比例失衡。
- "On average, ~40% waste." (评论8)
- "noise to signal ratio is typically very high and processing, shipping and storing all of that data costs a ton." (评论13)
3. 成本与价值的争议
部分用户认为可观测性工具的成本过高,尤其是商业解决方案,而自托管方案可能更经济。
- "Observability vendors massively overcharge." (评论14)
- "my solution now is a self-hosted SigNoz instance on a cheap Hetzner box." (评论14)
4. 技术与组织挑战
评论提到,可观测性问题不仅是技术问题,还涉及组织文化和政治因素,如开发与运维的脱节。
- "the problem is more political than technical." (评论5)
- "Devs don’t care, Project Manager wants us to stop block feature velocity." (评论5)
5. 数据收集与存储的平衡
一些用户讨论了数据收集的权衡,认为关键在于在成本与故障诊断能力之间找到平衡。
- "What you really want is something to restore from if anything breaks." (评论15)
- "having the needed information available, even if it is never used, is the real goal here." (评论15)
6. 技术改进建议
部分评论提出了技术改进建议,如使用结构化日志格式和更高效的存储方案。
- "no serious logging system should be emitting formatted strings, JSON, etc. as a storage format." (评论16)
- "A properly performant logging system should be able to generate on the order of 100 million logs per second per core." (评论16)
总结来看,评论普遍认可Vector的价值,同时批评当前可观测性工具的高成本和低效率,并呼吁在技术、组织和成本之间找到更好的平衡。