1. 先搞清楚速卖通为什么封你而不是怎么绕过它做速卖通数据抓取很多人第一反应是去找“最强”的爬虫代码或者“防封”的代理IP。但真正导致你账号或IP被限制的往往不是代码写得好不好而是你的行为模式触发了平台的风控规则。速卖通这类大型电商平台保护商品数据和卖家店铺稳定性是核心利益它们有一整套机制来区分正常用户和自动化爬虫。最关键的几个风控维度通常是请求频率、请求规律性、用户行为指纹和访问深度。一个简单的requests.get如果频率过高几分钟内就会被识别并拦截。即使你用了代理IP但如果所有请求都来自数据中心IP、浏览器指纹一致比如没有模拟真实的浏览器环境或者访问路径不符合人类点击逻辑例如直接深度访问几百个商品详情页却不经过任何列表页或搜索页同样会快速暴露。所以在动手写任何一行爬虫代码之前更重要的功课是理解平台的“容忍边界”在哪里以及如何让你的爬虫行为看起来更像一个真实用户在浏览。这比纠结于用Scrapy还是Selenium、用免费代理还是付费代理要根本得多。2. 从零开始模拟真实浏览环境的必要准备直接上代码猛抓是最快被封禁的方式。一个相对稳妥的流程应该从环境隔离和基础伪装开始。2.1 核心工具与依赖选择对于速卖通这类动态内容较多的网站单纯用requests解析HTML可能无法获取JavaScript渲染后的数据此时需要配合无头浏览器如playwright或selenium。但无头浏览器资源消耗大、速度慢更适合处理登录、复杂交互等场景。对于公开的商品信息可以优先尝试分析网站的网络接口XHR/Fetch请求直接用requests模拟这些接口调用效率更高痕迹也更轻。核心Python库准备请求库requests是基础用于模拟HTTP请求。务必配合requests-html或BeautifulSoup4进行解析。浏览器自动化playwright-python是目前更推荐的选择相比老旧的selenium它自带浏览器、指纹模拟更完善且异步支持好。代理IP管理你需要一个可靠的代理IP池。免费代理绝大多数不稳定、速度慢且已被大量滥用极易导致连带封禁。建议使用付费的住宅代理或移动代理它们来自真实的ISP被标记为“数据中心”的概率低。用户代理与指纹准备一个真实的User-Agent列表进行轮换。更进阶的是使用浏览器指纹管理工具例如通过playwright启动不同配置的浏览器上下文来模拟不同的设备、屏幕分辨率、时区、语言等。2.2 关键配置与参数设定在代码运行前这些参数需要预先规划好而不是在运行时随意调整请求延迟Delay这是最重要的参数。在请求间插入随机延迟例如time.sleep(random.uniform(2, 5))模仿人类阅读和点击的思考时间。避免固定间隔的请求那在风控系统眼里就是标准的机器节奏。会话Session管理合理使用requests.Session()来维持Cookies模拟一个连贯的会话。但要注意一个会话也不宜持续过久或发起过多请求需要定期重建。超时与重试设置合理的连接超时和读取超时如timeout(10, 30)并实现带有指数退避策略的重试机制。遇到连接错误或5xx状态码时重试但遇到403/429禁止/过多请求时应立即停止或切换代理而不是盲目重试。并发控制严格控制并发线程或协程的数量。对于新手强烈建议从单线程、慢速模式开始稳定后再尝试有限的并发如2-3个线程。高并发是触发风控的“加速器”。一个基础的、带有延迟和代理的请求示例import requests import time import random from fake_useragent import UserAgent ua UserAgent() proxies { http: http://your_residential_proxy_ip:port, https: http://your_residential_proxy_ip:port, } headers { User-Agent: ua.random, Accept-Language: en-US,en;q0.9, } def safe_request(url): try: response requests.get(url, headersheaders, proxiesproxies, timeout10) response.raise_for_status() # 检查HTTP错误 # 处理响应内容... return response.text except requests.exceptions.RequestException as e: print(f请求失败: {e}) return None finally: # 每次请求后增加随机延迟 time.sleep(random.uniform(3, 8)) # 使用示例 product_url https://www.aliexpress.com/item/100500... html_content safe_request(product_url)3. 实操流程从单页探测到安全的数据抓取策略不要一开始就定下“抓十万条数据”的目标。正确的步骤是探测 - 测试 - 小规模验证 - 逐步扩量。3.1 第一步手动分析与目标确定打开浏览器开发者工具F12进入速卖通网站手动完成一次商品搜索、点击进入详情页、查看评价的操作。在Network网络标签页中观察并筛选XHR或Fetch请求。 你很可能发现商品数据是通过类似https://api.aliexpress.com/...或https://www.aliexpress.com/api/...的接口返回的JSON数据。找到这个核心接口分析它的请求头特别是authorization、cookie、x-csrf-token等、请求参数如商品ID、分页参数、国家码等。如果能模拟这些接口调用将比抓取整个HTML页面高效且隐蔽得多。3.2 第二步编写单页抓取与解析测试脚本基于上一步的分析编写一个只抓取单件商品信息的脚本。目标不是速度而是成功、稳定地拿到数据。如果走接口就用requests模拟。如果必须渲染页面就用playwright启动一个浏览器实例。关键点脚本必须包含完整的错误处理网络异常、解析失败、数据缺失、日志记录记录每次请求的URL、状态、时间戳和随机延迟。这个阶段你的成功标准是连续运行10-20次每次都能正确拿到数据且没有收到任何验证码或访问拒绝的页面。3.3 第三步引入代理IP与指纹轮换当单页脚本稳定后引入代理IP。这里有个重要原则测试代理IP的质量。用一个简单的测试页如https://httpbin.org/ip验证代理是否生效、延迟如何。劣质代理会导致请求超时或返回错误内容让你的爬虫脚本变得不稳定。 同时开始轮换User-Agent并考虑使用playwright创建具有不同视口大小、地理位置通过上下文参数模拟的浏览器上下文以生成不同的浏览器指纹。3.4 第四步设计分页与列表爬取策略这是最容易触发封禁的环节。爬取商品列表页时深度优先还是广度优先建议采用“广度优先”。即先快速抓取列表页收集一批商品ID存入队列或数据库然后再慢慢、分散地去抓取详情页。避免对同一个列表页或搜索接口进行高频翻页。分页参数仔细分析分页逻辑。是page1,2,3...还是offset0,48,96...模拟人类行为不要一次性请求所有页面。可以今天抓前10页明天再抓10-20页。设置“抓取周期”对于非实时性要求极高的数据可以将任务分散到数天甚至数周内完成每天只抓取一部分。这是最有效的“隐身”策略。4. 被封禁的征兆、排查与应急处理即使再小心也可能触发风控。如何判断和应对4.1 封禁的常见表现HTTP 403 Forbidden / 429 Too Many Requests这是最直接的信号。要求输入验证码页面弹出图形验证码或滑块验证。返回假数据或空白页请求返回的HTML结构异常商品信息消失或者返回一个看似正常但无数据的页面。IP被彻底阻断所有请求超时或连接被重置。账号受限如果使用了登录账号可能会收到警告邮件或账号无法进行某些操作。4.2 问题排查顺序从易到难一旦发现异常立即停止当前爬虫按以下顺序排查检查当前IP访问https://httpbin.org/ip或https://ipinfo.io/json确认出口IP是否是你预期的代理IP。有时代理连接会意外断开导致真实IP暴露。检查请求频率和延迟回顾最近几分钟的日志计算请求间隔是否过短。是否不小心去掉了延迟逻辑检查User-Agent和请求头你的请求头是否完整缺少Accept、Accept-Language、Referer在某些场景下很重要等头部会使请求看起来“不自然”。验证代理IP质量换一个全新的代理IP用你的单页测试脚本跑一次。如果能通说明旧IP可能已被速卖通标记。分析会话状态如果你维持了会话尝试丢弃所有Cookies创建一个全新的会话。降低并发与速度如果以上都没问题恢复爬取时将延迟时间加倍并发数减半以最保守的模式重新开始。4.3 应急处理方案立即更换代理IP这是最快的方法。准备一个备用的代理IP池一旦被封自动切换。延长冷却时间如果IP被封不要立即用新IP继续狂抓。让这个爬虫任务暂停几小时甚至一天。切换爬取目标如果某个商品类目或卖家店铺抓取困难可以暂时转向其他类目避免持续攻击同一个“目标”。使用更高级的模拟方案考虑使用playwright或selenium配合真实浏览器配置文件完全模拟人类鼠标移动、滚动、点击等行为。但这会极大增加资源消耗和复杂度仅作为最后手段。5. 长期运行的稳定性与道德考量如果你需要长期、稳定地获取数据以下几点至关重要分布式与任务队列不要在一台机器、一个IP上运行所有任务。考虑使用分布式架构将任务拆分到多个节点每个节点使用不同的代理IP和身份指纹。任务队列如 Redis RQ 或 Celery可以很好地管理抓取速率、失败重试。完善的日志与监控记录每一个请求的详细信息时间、URL、状态码、响应时间、使用的代理IP。设置监控告警当成功率下降或验证码出现频率升高时及时通知。遵守robots.txt检查速卖通的robots.txt文件尊重其中禁止爬取的目录。虽然这不是法律文件但体现了基本的网络礼仪。数据使用目的确保你抓取的数据用于合法的分析、研究或价格比较而非用于恶意竞争、垃圾营销或侵犯他人知识产权。控制抓取频率避免对目标网站服务器造成显著负担。最后记住爬虫技术与网站反爬措施是动态对抗的过程。没有一劳永逸的方案。最可靠的策略是“低调、分散、像人”。从最小可行性测试开始逐步增加复杂度持续观察和调整你的策略才是可持续的数据获取之道。