告警太多的时候,人就开始忽略全部
接手的一套监控每天两百多条告警,结果是所有人都把通知静音了。这种情况下,监控的价值是负的——它消耗注意力,却不提供信号。
清理办法是按「收到之后我要做什么」分类。如果答案是不用做任何事,这条告警就该删。如果答案是「看看」,那它应该是仪表盘而不是告警。
留下来的应该只有两类:需要立刻人工介入的,以及需要事后复盘的。前者打进手机,后者进日报。混在一起是噪音的根源。
最后从 200 条降到 6 条,其中 4 条是真会半夜叫醒人的。数量减少之后,反而每条都有人认真看了。