监控日志与告警体系

// ❌ 纯文本：无法检索与聚合console.log('用户 1024 下单失败，错误：库存不足')// ✅ 结构化（JSON）：可查询、可统计logger.error({  event: 'order.create.failed',  userId: 1024,  orderId: 'ORD20260101001',  reason: 'STOCK_INSUFFICIENT',  requestId: ctx.state.requestId,  duration: 156,})

// 中间件：为每个请求生成唯一 IDapp.use(async (ctx, next) => {  ctx.state.requestId = ctx.get('X-Request-Id') || crypto.randomUUID()  ctx.set('X-Request-Id', ctx.state.requestId)  await next()})

// 脱敏工具const maskPhone = (p) => p?.replace(/(\d{3})\d{4}(\d{4})/, '$1****$2')const maskIdCard = (s) => s?.replace(/(\d{4})\d{10}(\w{4})/, '$1**********$2')

/var/log/app/├── app.log            # 全量日志（INFO 及以上）├── app-error.log      # 仅 ERROR└── archive/           # 归档    ├── app-2026-01-01.log.gz    └── ...

# /etc/logrotate.d/app/var/log/app/*.log {    daily                 # 每天轮转    rotate 14             # 保留 14 天    compress              # gzip 压缩    delaycompress    missingok    notifempty    copytruncate          # 不重启进程也能轮转}

# 手动检查日志目录占用du -sh /var/log/app/du -h /var/log/app/* | sort -rh | head -10

// winston + 按天/按大小滚动const { createLogger, format, transports } = require('winston')require('winston-daily-rotate-file')const logger = createLogger({  format: format.combine(format.timestamp(), format.json()),  transports: [    new transports.DailyRotateFile({      filename: '/var/log/app/app-%DATE%.log',      datePattern: 'YYYY-MM-DD',      maxSize: '100m',      maxFiles: '14d',      level: 'info',    }),    new transports.DailyRotateFile({      filename: '/var/log/app/app-error-%DATE%.log',      datePattern: 'YYYY-MM-DD',      level: 'error',      maxFiles: '30d',    }),  ],})

# 实时跟踪tail -f /var/log/app/app.log# 过滤错误并统计 TOP 10grep '"level":"error"' app.log | jq -r '.event' | sort | uniq -c | sort -rn | head -10# 按 requestId 追踪一次请求grep 'a1b2c3d4-xxxx' app.log# 统计各接口 P95 耗时（jq 处理 JSON 日志）jq -r 'select(.duration) | "\(.event) \(.duration)"' app.log \  | awk '{a[$1]=a[$1]" "$2} END {for (k in a) print k, a[k]}'# 统计每分钟错误数grep '"level":"error"' app.log | jq -r '.timestamp' | cut -c1-16 | uniq -c# Nginx 日志：TOP 10 访问 IPawk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -10# Nginx 日志：TOP 10 慢接口awk '{print $NF, $7}' /var/log/nginx/access.log | sort -rn | head -10

// 1. JS 运行时错误window.addEventListener('error', (e) => {  report({    type: 'js-error',    message: e.message,    source: e.filename,    line: e.lineno,    stack: e.error?.stack,    url: location.href,  })})// 2. 未处理的 Promise 拒绝window.addEventListener('unhandledrejection', (e) => {  report({ type: 'unhandled-rejection', reason: String(e.reason) })})// 3. 资源加载失败（图片/JS/CSS）window.addEventListener('error', (e) => {  if (e.target?.tagName) {    report({ type: 'resource-error', tag: e.target.tagName, src: e.target.src || e.target.href })  }}, true)   // 捕获阶段才能拿到资源错误

// 采集 Core Web Vitalsnew PerformanceObserver((list) => {  for (const entry of list.getEntries()) {    report({ type: 'lcp', value: entry.startTime, url: location.href })  }}).observe({ type: 'largest-contentful-paint', buffered: true })

# 重复抑制：同一告警 30 分钟内只发一次# 告警聚合：同一时刻多条告警合并为一条# 依赖收敛：数据库挂了不要再报「接口报错」——根因优先

# 1. 端口与进程ss -tlnp | grep :80ps aux | grep -E "node|php-fpm|java" | grep -v grep# 2. 本机能否访问curl -s -o /dev/null -w "%{http_code} %{time_total}s\n" http://127.0.0.1/health# 3. 资源free -h; df -h; uptime# 4. 最近错误日志tail -100 /var/log/app/app-error.log# 5. 依赖服务redis-cli pingmysqladmin status -u user -p# 6. 最近变更git log --oneline -5

## 故障复盘：{标题}**时间**：2026-01-01 10:00 ~ 10:35（35 分钟）**影响**：{哪些功能、多少用户、是否数据丢失}**级别**：P1### 时间线- 10:00 监控告警触发（错误率 8%）- 10:03 值班确认，开始排查- 10:15 定位到 {根因}- 10:28 执行 {修复动作}- 10:35 指标恢复，确认无残留### 根因{一句话说明直接原因 + 深层原因}### 改进项| 项 | 负责人 | 截止 ||----|-------|------|| 补充 {某场景} 的监控告警 | — | — || 修复 {某代码缺陷} | — | — || 为该问题增加回归测试 | — | — |