微服务日常巡检，别让探针成为新的故障源

微服务日常巡检别让探针成为新的故障源日常巡检的目标是尽早发现服务偏离正常状态而不是把所有依赖都在每次探测中重新验证一遍。微服务出现问题时健康检查、监控采集和告警往往会同时增加请求如果探针本身执行重查询、调用不稳定下游或没有超时限制它可能在压力最大的时候进一步消耗连接和线程甚至触发不必要的重启。巡检设计应从服务是否存活、是否适合接收流量、性能和资源是否出现趋势性异常几个角度拆开。不同信号对应不同动作不能用同一个接口、同一个状态码解决所有问题。先分清存活、就绪与业务质量存活检查回答的是一个很窄的问题进程是否还在运行内部事件循环是否能响应。它通常应保持本地、轻量且不依赖外部系统。若把数据库、消息队列或第三方接口连接放进存活检查依赖短暂异常时平台可能误判服务实例已经失效连续重启反而加重业务波动。就绪检查的含义不同。它用于决定实例能否接收新流量因此可以考虑必要的初始化状态、关键连接池或配置加载是否完成。但“关键”要由业务定义某个可降级的推荐服务暂时不可用可能不必阻止全部请求而认证依赖未准备好则确实可能不应接流量。不要把所有外部依赖绑在一个二元开关上。业务质量信号则更适合通过指标和日志观察例如错误比例、请求延迟、队列积压、下游超时和关键流程完成率。它们不应直接让平台把实例杀掉而应触发排查、限流、摘流或扩容等更有针对性的动作。将三类信号混在一起告警与自动恢复很容易彼此打架。探针路径要保持短且可预测探针请求应设置明确超时、并发上限和最小工作量。它不需要返回大量诊断信息更不应在每次访问时扫描日志、遍历缓存或执行复杂查询。诊断数据可以通过独立的受控端点或指标系统获取避免外部编排器高频调用时放大开销。如果检查必须访问某个依赖使用短时、可取消的请求并区分超时、权限、配置和服务不可用等原因。不要为了得到一个“健康”结论无限重试。失败结果也应尽量稳定一个偶发网络抖动不应立刻导致整组实例被移除具体阈值和窗口需要结合服务容量与故障恢复方式设置。探针本身也要观察。请求次数、耗时、失败原因和状态变化能帮助团队发现“监控系统在制造压力”的问题。若探针失败只被当作平台内部事件而没有任何记录排查时很难分辨真正的服务故障和检查机制失效。资源指标看趋势而不只看阈值Go 服务的 goroutine 数、堆内存、对象分配、GC 行为和文件描述符等指标能提供运行时线索但单次数值通常没有独立意义。一个服务在发布后 goroutine 数增加可能是新功能正常引入了后台任务也可能是某条路径的 channel 永远等待。判断需要结合版本、流量、请求类型和一段时间的趋势。内存也是如此。短期峰值可能来自批量请求或缓存预热持续上升且回收后不下降才更值得怀疑。巡检应帮助发现需要进一步诊断的异常而不是直接将某个数值等同于泄漏。达到阈值后可先收集运行时摘要和负载信息再决定是否需要抓取更详细的 profile。阈值应按服务和资源配额设置。把所有应用套用同一组 goroutine 或堆内存数字既可能误报也可能漏掉小配额服务的风险。版本变化、容器限制和实例规格调整后阈值与告警规则也要一并复核。指标、日志和追踪要能关联巡检发现延迟升高时工程师需要知道是哪个接口、哪个依赖、哪次发布或哪种请求带来的。指标提供趋势日志解释具体错误追踪帮助还原一次请求经过的路径。三者应使用可关联的服务、版本和追踪标识而不是各自独立存在。关联不意味着把完整用户请求写进每个系统。应遵循数据最小化原则记录排障所需的标识与摘要敏感字段按既有规范脱敏或不记录。错误高发时日志采样和限速也需要考虑避免异常本身生成海量日志并影响服务。告警信息应便于行动。与其只发“健康检查失败”不如说明受影响服务、持续时间、失败类型、当前实例比例和相关仪表盘入口。告警的价值在于帮助值班人员判断是否需要处理而不是制造更多需要阅读的信息。巡检不能替代发布验证和容量管理服务上线前的启动检查、依赖连通性验证和配置核对仍应放在发布流程中完成。日常探针不适合承担所有部署前校验否则每次运行都要重复昂贵操作。类似地容量压力需要通过负载测试、资源预算和弹性策略处理不能指望健康检查在系统已经拥塞时挽救一切。发布后可以用代表性请求和关键指标验证服务是否正常但要控制范围和频率。若新版本出现异常保留版本、配置和观测证据按预案回退或摘流比让每台实例各自触发重启更容易恢复稳定。巡检规则本身也应随服务演进调整。某个依赖从可选变为关键或一个后台任务被拆分后原有的就绪条件与阈值可能不再合适。定期复盘误报、漏报和实际事故才能让规则保持有效。用失败场景检验巡检设计可以在受控环境中模拟依赖短暂不可用、实例启动缓慢、资源接近限制、网络延迟和探针超时。检查平台是否做出了预期动作存活失败是否真正反映进程问题就绪失败是否只停止新流量指标异常是否保留足够线索而没有造成重启风暴。好的日常巡检往往不显眼。它不抢业务资源不把短暂抖动变成事故也不把所有异常压缩成一个“红灯”。职责清楚、探针轻量、趋势可见、处置有路径才是微服务巡检真正的价值。