聊网页抓取合规，多数文章只讲一件事：你抓的目标网站允不允许被抓。这条线当然重要，但 2026 年 7 月的 NetNut / Popa 事件提醒了所有人另一条常被忽略的线——你用来发起请求的代理 IP，本身是怎么来的。如果这些 IP 来自未经知情同意就被纳入代理网络的普通用户设备，那么无论你抓取的目标网站多么合规、限速多么克制，你所站立的供应链本身已经是执法瞄准的对象。NetNut / Popa 事件报告里已经写清楚了这次行动的时间线：Google 联合 FBI、Lumen 瓦解了一张至少 200 万台设备组成的住宅代理网络，一周内被 316 个不同威胁集群使用。这不是一次孤立的封号，而是对「来源不透明」这件事本身的执法。
所以完整的抓取合规，必须拆成两条独立的自查线：目标网站侧（你抓谁、抓什么、抓多快）和代理来源侧（你用的 IP 是谁的、对方知不知道、能不能退出）。这篇文章按这两条线分别讲清楚，并给出一份采购自查表。如果你想看的是 AI 训练数据采集场景下的合规义务，那是另一篇文章的主题，见文末《AI 数据采集的法律与伦理准则》——这篇聚焦的是抓取本身与代理来源，不重复展开 AI 训练数据那部分的合规细节。
代理来源侧的伦理：设备主人是否真的同意了
住宅代理网络的核心资产是终端用户设备的出口 IP。这些设备怎么被纳入代理网络，决定了整条供应链合不合规。行业组织 ARDC（负责任数据采集联盟）在回应 NetNut 事件的声明里说得很直接：问题不在住宅代理技术本身，而在不负责任的运营方式——隐藏软件、欺骗性 SDK、不清晰的参与条款、未经明确知情同意的设备接入。这四条基本上就是执法机构判断一张网络合不合规的核心标准。
作为买家，你很难直接审查供应商上游的每一台设备，但可以从供应商愿不愿意公开回答以下几个问题上判断风险：
- 知情同意：终端用户是通过什么方式同意成为出口节点的？是安装某个免费应用时的一份可复现条款，还是一份藏在长长隐私政策第 40 页的授权？
- SDK 透明度：接入代理网络的 SDK 是不是明确标注了自己的身份和用途，还是伪装成别的功能模块？
- 可退出：用户能不能随时关闭这个功能，退出流程是否需要联系客服才能完成？
- 回报：用户拿到了什么——现金、积分、去广告，还是什么都没有，只是被动分享了带宽？
这四点合起来，基本就是 ARDC 划的那条边界。我在《住宅代理供应链审计指南》里给出了更完整的技术审计方法，包括如何通过 ASN 分布和控制面板同源性去交叉验证供应商是否白标了别人的网络——这一点在 NetNut 事件里格外关键，因为 Google 明确判断许多流行的住宅代理品牌实际上在白标 NetNut 的网络，换牌子不等于换了上游。
目标网站侧的伦理与法律边界
解决了「用谁的 IP」，第二条线才是「抓谁、抓什么」。这里有几个反复被误解的点，值得讲清楚。
robots.txt 与服务条款不是同一件事
robots.txt 是一份技术协议，声明网站主人希望爬虫遵守的抓取范围；服务条款（ToS）则是法律文本，可能包含更严格的限制，甚至完全禁止自动化访问。技术上能绕过 robots.txt 不代表法律上没有风险——两者要分开评估，遵守 robots.txt 只是合规的起点，不是终点。
避免抓取 PII 与受版权保护的内容
抓取公开页面上的个人身份信息（PII）——姓名、联系方式、身份证号一类的数据——即便技术上可获取，也可能落入隐私法规的监管范围。同样，把受版权保护的原创内容（图文、视频、数据库结构）整体复制并另作他用，属于版权风险，和「数据能不能抓到」是两个问题。合规的做法是明确你的采集目标是结构化的公开信息（价格、库存、排名位置），而不是可识别到具体个人的数据或受保护的创作内容。
限速与不造成服务损害
抓取频率对目标网站服务器造成的负载，是判断「善意采集」还是「事实上的攻击」的一条实操线。合理的做法是给请求设置符合正常用户行为节奏的限速（比如按域名设置并发上限和请求间隔），避免在目标网站的高峰时段集中抓取，并对 429 / 503 响应做退避重试而不是硬重试。造成目标网站服务中断，哪怕不是故意的，也会把「灰色地带」的采集行为推向明确的法律风险区。
公开数据与登录墙后数据的区别
这是最容易被忽略的一条边界。公开可访问、无需登录即可看到的页面，和需要账号登录才能看到的内容，在多数司法辖区的判例中被区别对待——后者往往涉及是否违反了访问授权协议，风险显著更高。抓取登录墙后的内容，即便你有一个合法账号，也需要额外确认服务条款是否允许自动化访问。
把上面这些边界对应到实际用途上，合规的采集场景通常包括：广告投放验证（确认广告是否按预期展示）、跨地区价格监测、品牌与商标滥用监测、本地化产品的 QA 测试。这些场景的共同点是：数据用于自身业务决策，不涉及 PII 再分发，不用于绕过目标网站的商业模式。不鼓励、也不建议把抓取用于规避付费墙、窃取受保护内容再分发，或者任何形式的账号批量操作。
一份买家自查清单
把两条线合并成一份可执行的自查表，采购或立项抓取任务之前过一遍：
| 自查项 | 合格标准 |
|---|---|
| 来源可解释 | 代理供应商能书面说明 IP 来源、SDK 名称、同意机制，而不是一句「我们合规」 |
| 用途在白名单 | 抓取任务对应到广告验证、价格监测、品牌保护、本地化 QA 等已知合规场景，不涉及 PII 或受版权内容的再分发 |
| 限速有节制 | 按域名设置并发与间隔上限，对错误响应退避而不是硬重试，不在目标网站高峰时段集中抓取 |
| 留存最小化 | 只保留业务真正需要的字段，设定明确的数据留存周期，不长期囤积超出用途范围的原始页面 |
这四项里，前两项对应的是「你有没有权利做这件事」，后两项对应的是「你做的方式会不会造成额外伤害」。两者都过关，才算是一个说得清楚的采集项目。
合规供应商长什么样：以 Bright Data 为例
把上面的自查表拿去对照市面上的代理服务商，能给出公开证据的并不多。以 2026-07 我能核对到的公开材料为准，Bright Data 是对照结果比较完整的一家：住宅 IP 主要来自 opt-in 的 SDK 合作与自家应用（如 EarnApp），终端用户有明示同意、有回报、可退出；强制 KYC 流程（公开口径包括视频身份验证与合规团队审核）；公开可接受使用政策与滥用举报渠道，并引入第三方合规审计；自营网络覆盖 195 个国家和地区，公开口径 IP 总量超过 1.5 亿（其中住宅池超过 7,200 万），不是白标别人的池子。
缺点也要说清楚：Bright Data 偏企业向，上手门槛和客单价都高于轻量级商家，住宅代理按量付费 $8/GB 起，不是市场最低价。如果只是小规模、短周期、低敏感度的任务，未必需要为这份合规溢价买单；但只要你的抓取项目需要过安全与法务审查，来源能否说清楚就不是加分项，而是门槛。
披露：本文含合作链接，通过链接下单本站可能获得佣金，不影响你的实际价格。
结语
网页抓取合规从来不是一条线的事。目标网站侧的边界——robots.txt、ToS、PII、限速——决定了你抓取的动作本身合不合适；代理来源侧的边界——知情同意、SDK 透明度、可退出、回报——决定了你脚下的供应链靠不靠得住。NetNut 事件之所以值得每个抓取从业者认真读一遍，是因为它证明了后者被忽视的代价：即便你抓取的每一个目标网站都遵守限速、只采集公开数据，只要代理来源本身有问题，你的项目照样会被卷进执法行动。想系统审计供应商上游，可以参考《住宅代理供应链审计指南》；事件的完整时间线在NetNut / Popa 事件报告；如果你的场景涉及 AI 训练数据采集，另有更专门的《AI 数据采集的法律与伦理准则》可参考；对住宅 IP 的合法用途场景还不熟悉，可以先看《为什么我们需要住宅 IP 网络》。
下一步：如果你正在为 NetNut 找替代方案，直接看 2026 年 NetNut 替代方案榜单；事件完整时间线见 NetNut / Popa 事件报告。
