Shell脚本实现高效短信告警系统

1. 项目概述Shell脚本与短信告警的化学反应服务器监控告警是运维工程师的日常必修课但半夜被电话惊醒处理告警的日子实在难熬。三年前我在处理一次线上事故时发现关键报警居然被邮件系统延迟了47分钟那次教训让我彻底转向了短信告警方案。通过Shell脚本调用短信API我们团队将平均响应时间从23分钟压缩到89秒更重要的是——终于能睡个整觉了。这个方案的核心价值在于用最简单的技术栈BashAPI解决最痛的运维问题。不同于需要部署复杂监控系统的方案这里展示的方法只需要20行左右的Shell脚本就能让任何Linux服务器具备短信告警能力。特别适合中小型团队快速搭建监控体系或是作为现有监控系统的补充通知渠道。2. 短信API选型与接入准备2.1 国内主流短信平台对比实测过七家服务商后我整理出这个实用选择矩阵服务商免费额度到达率特色功能坑点预警阿里云SMS200条/月99.6%支持模板变量需要企业认证腾讯云SMS100条/月99.4%海外号码支持内容审核较严云片50条/月98.9%API最简单凌晨发送可能延迟亿美无99.2%支持语音短信文档较混乱提示选择时重点看到达率指标我们曾用某家小服务商遇到20%的短信被运营商拦截的情况2.2 API密钥的安全存储方案见过太多把API key硬编码在脚本里的悲剧案例推荐这三种安全实践环境变量法适合单机# 在~/.bashrc添加 export SMS_API_KEYyour_key export SMS_SECRETyour_secret配置文件加密适合团队# 使用openssl加密 openssl enc -aes-256-cbc -salt -in sms.conf -out sms.conf.enc # 运行时解密 openssl enc -d -aes-256-cbc -in sms.conf.enc | while read line; do export $line done密钥管理系统生产环境推荐# AWS Secrets Manager获取示例 aws secretsmanager get-secret-value --secret-id sms_credential | jq -r .SecretString temp_cred source temp_cred rm -f temp_cred3. 核心脚本实现详解3.1 基础告警函数封装这个经过千次告警锤炼的send_sms函数值得仔细拆解#!/bin/bash # 短信发送核心函数 # 参数$1-手机号 $2-消息内容 $3-紧急级别(1-3) send_sms() { local mobile$1 local content$(echo $2 | sed s/ //g) # 处理空格 local level${3:-2} # 默认中级告警 # 根据级别添加前缀 case $level in 1) prefix[紧急] ;; 2) prefix[警告] ;; 3) prefix[通知] ;; esac # 云片API调用示例 curl -s http://yunpian.com/v2/sms/single_send.json \ --data-urlencode apikey$SMS_API_KEY \ --data-urlencode mobile$mobile \ --data-urlencode text${prefix}${content} \ | jq .code | grep -q 0 if [ $? -ne 0 ]; then echo $(date) - 短信发送失败: $mobile $content /var/log/sms_alarm.log return 1 fi }关键设计点URL编码处理用sed自动转换空格等特殊字符分级告警通过前缀区分紧急程度错误重试记录失败日志便于后续排查轻量依赖仅需curl和jq两个外部命令3.2 服务器监控集成方案将短信告警嵌入现有监控的三种经典模式模式1直接替换mail命令# 修改原监控脚本中的 mail -s Alert adminexample.com # 改为 send_sms 13800138000 CPU负载超过95%模式2Zabbix等监控系统对接# 在报警媒介中添加脚本 #!/bin/bash send_sms $1 $2 $3 # Zabbix中配置 # 报警媒介类型SMS Alert # 脚本名称/usr/lib/zabbix/alertscripts/sms.sh {ALERT.SENDTO} {ALERT.SUBJECT} {ALERT.MESSAGE}模式3crontab定时检查# 每5分钟检查磁盘空间 */5 * * * * df -h | awk $5 90 {print $6} | xargs -I{} send_sms 13800138000 {}分区使用超过90%4. 生产环境避坑指南4.1 短信风暴防护策略曾因脚本bug导致1分钟发送了300条短信这些防护措施很关键频率限制器# 每分钟不超过5条 send_sms() { local lockfile/tmp/sms_lock.$1 if [ -f $lockfile ] [ $(($(date %s) - $(stat -c %Y $lockfile))) -lt 60 ]; then if [ $(grep -c $(date %H:%M) $lockfile) -ge 5 ]; then echo 频率限制 2 return 1 fi fi echo $(date %H:%M) $lockfile # ...原有发送逻辑... }重要度分级紧急(1级)立即发送不限频警告(2级)每小时不超过3条通知(3级)每天不超过1条夜间免打扰if [ $(date %H) -ge 23 ] || [ $(date %H) -lt 8 ]; then [ $level -lt 2 ] || return 0 # 仅紧急告警夜间发送 fi4.2 跨国部署的特殊处理为海外服务器配置告警时遇到的三个典型问题时区转换# 将服务器时间转为北京时间 alert_time$(TZAsia/Shanghai date %Y-%m-%d %H:%M:%S)多语言内容# 英文告警添加[EN]前缀 [[ $LANG ~ en ]] content[EN] $content国际号码处理# 去除国际号码前的号 mobile${mobile#}5. 高阶应用场景拓展5.1 动态接收人策略根据不同告警类型路由到不同负责人declare -A alert_owners( [CPU]13800138000 [DISK]13900139000 [MEM]13700137000 ) send_to_owner() { local alert_type$1 local content$2 local owner${alert_owners[$alert_type]:-15901590159} # 默认接收人 send_sms $owner $content } # 使用示例 send_to_owner CPU CPU负载持续超过90%5.2 告警闭环验证通过短信回复确认问题处理状态# 需要额外配置接收回复的接口 process_reply() { local mobile$1 local reply$2 case $reply in Y) mark_alert_as_resolved ;; N) escalate_alert ;; *) log_unknown_reply ;; esac } # 发送带指令的告警 send_sms 13800138000 MySQL主从延迟超过300s回复Y确认处理/N需要协助这个方案在我们电商大促期间发挥了巨大作用将告警响应确认时间从平均17分钟缩短到2分钟。6. 性能优化与监控6.1 脚本执行耗时分析使用time命令统计典型场景耗时操作平均耗时优化方案API调用320ms启用HTTP keep-alive号码格式校验15ms预编译正则表达式内容编码8ms使用内置字符串替换错误重试2.1s设置超时快速失败优化后的并行发送实现# 使用GNU parallel批量发送 echo 13800138000 您的服务器已下线 13900139000 磁盘空间不足 | \ parallel --colsep send_sms {1} {2}6.2 短信送达监控方案为确保告警通道始终畅通建议部署这个自监控脚本#!/bin/bash # 每天9:00自检短信通道 echo 0 9 * * * root /usr/local/bin/sms_heartbeat /etc/crontab sms_heartbeat() { if ! send_sms $MONITOR_MOBILE [心跳检测] 短信通道测试; then # 备用通道通知 mail -s 短信通道异常 adminexample.com 短信API调用失败 # 自动重启服务 systemctl restart sms_gateway fi }我们团队用这套方案将短信可用性从99.2%提升到99.97%关键是要建立通道异常时的备用通知方案。