抓取频率异常下跌的排查流程

蜘蛛抓取量断崖下跌必有原因。按固定流程排查，二十分钟定位问题在DNS、服务器、 robots还是内容层。

确认下跌属实

日志统计近14天抓取量曲线，区分单日波动和趋势性下跌。单日波动不用处理。

DNS层排查

dig验证域名解析稳定性和解析耗时，解析服务抖动会让蜘蛛频繁失败后降低抓取。

服务器层排查

检查近期是否有响应变慢、5xx增多、带宽打满。蜘蛛遇到连续失败会主动降低对该站的抓取频率。

策略层排查

robots改动、平台配置变更、内容大面积删除，任何一项都会直接影响抓取意愿。

判断标准与参考数据

问题修复后3到7天内抓取频率逐步恢复；恢复期保持内容更新给蜘蛛回访理由。

注意事项

不要在排查期频繁重启服务器或变更配置，稳定的环境本身就是恢复的必要条件。