踩坑复盘2025-01-19 · 历史讨论
公开服务被爬虫压垮：限流也该是产品的一部分
Git 服务的爬虫负载引发了一场讨论。参与者提出限流和异常请求识别，同时也展示了开放访问的维护成本。
一句话启发
公开可访问，不等于必须承担无限请求。
发生了什么
讨论中有用户报告自己的站点也遭遇大量重复路径请求。to11mtm 提出随请求密度变化的限流思路。这是评论者的建议，本站没有复现原服务的故障；适合作为容量与访问策略的复盘起点。
可以尝试的下一步
以下为编辑提炼的行动建议，并非原作者的承诺。
- 01
观察路径、频率、响应时间和错误率，先识别高成本请求。
- 02
为昂贵端点设置合理限额，并检查对正常用户的影响。
- 03
结合缓存与告警，把容量压力纳入日常维护。
适用边界与提醒
具体限流策略必须按实际负载验证，IP 地址也未必能可靠代表单个访问者。不要直接照搬评论中的参数或推断。
讨论中的声音
“务实地说，我首先会建议考虑结合非线性的限流策略。”
Most pragmatically, I'd start by suggesting the best option is a combination of nonlinear rate limiting
@to11mtm · 查看来源
Y
Amazon's AI crawler is making my Git server unstable
@OptionOfT · 607 points · 246 条评论
阅读 Hacker News 原帖来源：OpenIndex Hacker News 数据集（ODC-By）。原文归各作者所有。摘要、翻译和行动建议由 AI 辅助整理，请结合原文判断；个案不代表普遍结果。