58 无极 / 场景方案
数据采集用代理 IP：从选型到省钱的完整清单
采集项目死在代理上的原因，八成不是"IP 不够多"，而是选错了类型、算错了请求预算、或者把频繁换线当成了解决方案。这一页把选型标准、成本估算、会话控制和失败处理讲清楚。
先算三笔账，再谈买多少 IP
多数人上来就问"多少 IP 够用"。正确的顺序是：先算请求量，再算并发，最后才是 IP 数量。顺序反了，要么买多了浪费，要么买少了跑不动。
| 先算什么 | 怎么算 | 算错的后果 |
|---|---|---|
| 日均请求量 | 目标页面数 × 每页平均请求数 × 重试系数（建议 1.3） | 低估会导致中途断粮，抓一半停一半 |
| 并发数 | 单机并发 × 机器数，再考虑目标站能承受多少 | 高估会被目标限速，低估会让任务跑不完 |
| IP 用量 | 并发数 × 单 IP 允许的请求强度 | 只看 IP 数量不看强度，IP 再多也会被整段封 |
短效 IP 适合高频轮换的大批量抓取；长效 IP 适合需要保持会话的登录态采集；独享 IP 适合目标站对来源极度敏感、共享池已经被用烂的情况。三种混用往往比单买一种更省钱。
选代理时真正该看的五个指标
① 成功率，不是数量
宣传"百万 IP 池"没有意义。要看在你要抓的目标站上的实际成功率。同一个池子抓电商站和抓论坛，成功率能差一倍。要求供应商给测试额度，自己打一遍再决定。
② 响应延迟
平均延迟超过 800ms，抓取效率会明显下降。但要注意：延迟低不等于稳定，要看延迟的波动范围，抖动大的线路比慢线路更难受。
③ 会话保持能力
需要登录、需要翻页、需要加购物车，就必须用能保持会话的线路。短效 IP 每请求一换，会话必然断。这是选型里最容易被忽略的一条。
④ 地区覆盖
抓本地生活、本地价格、区域限定的内容，必须能指定城市。全国随机出口在这种场景下等于废掉一半数据。
⑤ 协议与接入方式
HTTP/HTTPS、SOCKS5 支持哪些，能不能用账号密码认证，能不能按进程/按容器分流。写进代码之前先确认，改造成本比换供应商高。
被抓了怎么办：失败处理的优先级
- 先看状态码。403 多半是风控拦截，429 是限速，5xx 是目标站自己出问题，超时才是线路问题。四种情况的处理方式完全不同，混在一起调只会越调越乱。
- 降速比换 IP 有效。很多"被封"其实是请求频率超过目标承受能力。把并发降到一半、加上随机间隔，往往不用换 IP 就能恢复。
- 加缓存和去重。同一个页面抓三次是纯浪费。本地落库 + URL 去重，能直接把请求量砍掉三到五成。
- 再考虑换线路类型。短效换长效、共享换独享。这一步成本最高，放最后做。
- 记录失败样本。把失败的 URL、时间、出口 IP、状态码存下来。没有这份记录，和供应商沟通时说不清问题在哪。
合规边界，别踩
代理 IP 是网络工具，用在哪决定它合不合规。做采集时至少守住三条：遵守目标站的 robots 协议与用户协议；不抓取个人信息、不绕过登录和付费墙；控制请求强度，不给对方服务器造成实质压力。这三条不是形式主义，是项目能不能长期跑下去的前提。
技术上能做，和业务上该做，是两件事。真要长期做数据，稳定的做法是拿授权数据源、走官方 API、或者和对方谈合作，代理只是解决网络层可达性的工具。
常见问题
免费的代理 IP 能用吗？
能跑通 demo，不能跑项目。免费池的特点是高延迟、高失败率、地址被大量滥用、随时失效。花在排查上的时间成本，远超买一份付费线路的钱。
一个 IP 一天能发多少请求？
没有通用答案，取决于目标站的策略。经验值是：普通资讯站可以到几千次，电商和社交类通常几百次就会触发限速，金融和票务类可能几十次就封。先小流量试探，摸到边界再放大。
并发高就必须用独享 IP 吗？
不是。并发高首先受限于目标站的总承受能力，其次才是 IP 分散度。先用动态池把请求打散，如果单 IP 强度仍然过高，再考虑独享。
代理会不会拖慢采集速度？
会，但通常不是瓶颈。真正的瓶颈多在目标站响应时间和你的解析逻辑上。如果换代理后速度掉一半以上，先测单条线路的延迟，再排查是不是 DNS 解析走了本地。
采集需要换 IP 还是换 UA？
两个都要。IP 是网络层标识，UA 和请求头是应用层标识。只换一个，另一个照样能把你串起来。