知识库
限流算法选型：计数器、漏桶与令牌桶在接口层的落地差异
为什么接口需要限流？ 限流是保护系统免受过载请求冲击的常用手段。无论是防止恶意爬虫、应对突发流量，还是保障核心接口的稳定性，选择合适的限流算法都至关重要。本文对比计数器、漏桶和令牌桶三种算法在接口层的落地差异，帮助你做出合理选型。 1. 固…
#限流#算法#接口保护#高并发
匿名调用代码托管平台 API 批量下载，很快就被限流
批量下载代码仓库的时候，前几十个正常，跑着跑着突然全部变成 403。你以为是被封了 IP，其实是撞上了一个大多数人根本不知道的配额限制。 现象 调某代码托管平台的 API 批量下载文件，中途开始 全部返回 403 ： 响应体里通常带着明确的…
#配额#限流#API
高频抓取触发限流：抓了 250 个之后整个任务中断
写采集脚本的人，大多经历过那个转折点：前几分钟一切顺利，突然之间目标域名的连接全部失败，整个任务中断。这篇文章讲的是限流的机制，以及为什么"能跑通"和"能长期稳定跑"是两回事。 现象 连续抓取历史数据时，抓了大约 250 个对象之后，该域名…
#Python#限流#爬虫