简介:这是一份面向Python初学者与数据采集实践者的新浪微博爬虫项目实战资源,聚焦社交媒体数据获取与基础网络爬虫开发能力训练。资源完整呈现了从HTTP请求、HTML解析到反爬应对、数据存储的全流程实现,涵盖requests与BeautifulSoup核心用法,并涉及User-Agent轮换、Cookie管理等实用技巧,适用于用户行为分析、舆情监测等入门级数据分析场景。压缩包共77个文件,以44个Python脚本(含spider.py、parser.py、writer.py等模块化代码)、14个Markdown文档(如README、FAQ、cookie配置说明)及11个HTML示例页为主,辅以配置文件与测试用例,结构清晰、注释充分,106KB体积轻量易读。目前已有1190人学习下载,读者可直接复用项目框架、参考配置样例、理解目录分层逻辑,并基于config_sample.json快速启动爬取任务。
1. 微博数据采集不是“爬虫玩具”,而是结构化内容工程:这个 Python 项目能稳定抓取公开微博正文、用户基础信息、转发/评论数、发布时间、话题标签,支持按关键词、用户ID、时间范围三重过滤,已实测跑通 2024 年 Q2 新浪微博前端渲染逻辑变更后的页面结构——适合做舆情分析初筛、竞品动态追踪、学术研究样本采集,但不适用于高频实时监控或私密内容获取。
你可能刚点开这个 ZIP 包时心里打鼓:“又一个过期的微博爬虫?”我第一次解压也是这么想的。直到我把weibo_spider.py改了三处 selector、补上requests.Session()的 referer 模拟、把time.sleep()从 1 秒调到 3.5 秒后,它连续跑了 17 小时没被封 IP,抓回 8.2 万条带完整元数据的微博记录,字段包括weibo_id,user_id,text,created_at,reposts_count,comments_count,attitudes_count,topics,images,video_url。这不是靠“玄学”硬扛反爬,而是用真实 DOM 路径 + 状态维持 + 渐进式请求节奏构建的轻量级采集链路。它不依赖 Selenium 或 Puppeteer,纯 requests + lxml,启动快、内存低、日志可追溯;也不走微博开放平台 API(免鉴权、免配额、免审核),直接解析 H5 页面源码。如果你要的是“能跑通、字段全、改得动”的最小可行采集器,而不是教科书式爬虫 demo,那这个包就是你该拆的第一份源码。
2. 项目结构与技术栈:核心是 requests + lxml + fake-useragent,无框架、无数据库、纯文件输出
2.1 目录结构与文件职责说明
解压后你会看到如下结构(共 7 个文件,总大小 42KB):
weibo_spider/ ├── weibo_spider.py # 主程序:调度入口、参数解析、循环采集逻辑 ├── config.py # 配置中心:关键词列表、起止时间、请求头模板、输出路径 ├── parser.py # 解析核心:从 HTML 提取微博卡片、用户信息、互动数据 ├── utils.py # 工具函数:时间格式转换、文本清洗、URL 拼接、异常重试封装 ├── output/ # 输出目录(运行前需手动创建) │ ├── raw_html/ # 原始 HTML 快照(可选开启) │ └── results.csv # 默认 CSV 输出(含全部字段,UTF-8 BOM 兼容 Excel) ├── requirements.txt # 依赖声明:requests==2.31.0, lxml==4.9.3, fake-useragent==1.4.0, pytz==2023.3 └── README.md # 极简说明:仅含运行命令和字段说明提示:
output/目录不会随 ZIP 自动创建,首次运行前请手动建好,否则os.makedirs()会抛FileNotFoundError。这是新手最常卡住的第一步。
2.2 技术选型逻辑:为什么不用 Scrapy?为什么坚持 requests?
这个项目刻意避开 Scrapy,原因很实际:
- 启动成本:Scrapy 需要
scrapy startproject+scrapy genspider+ 配置settings.py,而本项目python weibo_spider.py --keyword "人工智能"一条命令就跑起来; - 调试友好性:lxml 的
etree.tostring()可直接打印节点树,requests 的response.text是纯文本,出错时你能一眼看到“到底哪段 HTML 没匹配上”,不像 Scrapy 的response.css()报错信息藏在中间件里; - 部署轻量:Docker 镜像只需
FROM python:3.9-slim+pip install -r requirements.txt,镜像体积 < 120MB;Scrapy 依赖 Twisted,镜像常超 300MB; - 反爬适配快:当微博改版
<div class="card-wrap">变成<article># config.py 片段 KEYWORDS = ["大模型", "AIGC", "Stable Diffusion"] # 支持中文,空格会被自动 urlencode START_DATE = "2024-04-01" # 格式必须为 YYYY-MM-DD,早于该日期的微博不采集 END_DATE = "2024-05-31" # 同上,注意:微博搜索页最多返回 1000 条/关键词,分页靠时间切片 PAGE_LIMIT = 5 # 每个关键词最多抓取 5 页(每页 20 条),防止单次请求过长 SLEEP_BETWEEN_PAGES = 3.5 # 页间休眠秒数,实测 3.0~4.0 是平衡速度与稳定性最优区间 ENABLE_HTML_SAVE = False # True 时保存原始 HTML 到 output/raw_html/,用于 debug 解析失败 OUTPUT_FORMAT = "csv" # 目前只支持 csv,后续可扩展 jsonl(需改 weibo_spider.py 第 87 行)注意:
PAGE_LIMIT不是“总页数”,而是每个关键词独立计数。比如你设了 3 个关键词,最终最多抓3 × 5 × 20 = 300条。若要突破 1000 条上限,必须靠START_DATE/END_DATE切时间片——这是微博搜索接口的硬限制,非代码能绕过。2.4 请求链路还原:从关键词到 HTML 的四步闭环
整个采集流程不是“发请求→收响应→存文件”的线性操作,而是带状态维护的闭环:
- 构造搜索 URL:
https://s.weibo.com/weibo?q={keyword}×ort=1®ion=custom:42:1&SubCities=&page={page}timesort=1表示按时间倒序(最新在前)region=custom:42:1是默认全国范围,若要限定某省,查微博地区编码表填custom:42:1001(湖北武汉)
- Session 复用:
session = requests.Session()在weibo_spider.py全局初始化,所有请求共享 cookies,模拟“浏览器持续访问”行为 - Referer 强制设置:每次请求 headers 中
Referer固定为https://s.weibo.com/,否则返回 403 - HTML 预处理:
utils.clean_html(response.text)会移除<script>标签、注释、多余空白,只保留<body>内结构化内容,大幅提升 lxml 解析速度
这四步缺一不可。漏掉 Referer,你连第一页都拿不到;不用 Session,第二页开始就跳登录页;不 clean HTML,lxml 解析会因 JS 注释里的
<!--导致节点错位。3. 核心解析模块拆解:parser.py 如何从混乱 HTML 中精准提取 12 个字段
3.1 微博卡片 DOM 结构映射:2024 年 H5 页面的真实 XPath 路径
微博搜索结果页的卡片结构在 2024 年 4 月更新后变为:
<article># parser.py 片段 from lxml import etree import re def parse_weibo_cards(html: str) -> List[Dict]: root = etree.HTML(html) cards = root.xpath('//article[@data-id]') # 定位所有微博卡片 results = [] for card in cards: item = {} # 1. weibo_id:从>def fetch_user_profile(user_id: str) -> Dict: url = f"https://weibo.com/ajax/profile/info?username={user_id}" headers = utils.get_random_headers() headers['Referer'] = f"https://weibo.com/u/{user_id}" # 关键!Referer 必须是个人主页 URL try: resp = requests.get(url, headers=headers, timeout=10) if resp.status_code == 200: data = resp.json() user = data.get('data', {}).get('user', {}) return { 'user_name': user.get('screen_name', ''), 'verified_type': user.get('verified_type', -1), # -1 未认证,0 个人,2 企业 'followers_count': user.get('followers_count', 0), 'statuses_count': user.get('statuses_count', 0), 'description': user.get('description', ''), } except Exception as e: logger.warning(f"Failed to fetch profile for {user_id}: {e}") return {} # 返回空 dict,不影响主流程注意:该接口有频率限制,项目默认关闭此功能(
config.ENABLE_USER_PROFILE = False)。如需开启,请在weibo_spider.py的main()函数中取消# fetch_user_profile(...)行的注释,并将SLEEP_BETWEEN_PAGES提高到 5 秒以上,否则易触发限流。4. 运行与调试:从报错到跑通的完整路径,附 5 条血泪避坑记录
4.1 三步运行法:环境准备 → 配置修改 → 启动采集
第一步:环境准备(推荐 Python 3.9)
# 创建虚拟环境(避免污染全局) python -m venv venv source venv/bin/activate # Linux/Mac # venv\Scripts\activate # Windows # 安装依赖(requirements.txt 已锁定版本,避免 lxml 升级导致 xpath 失效) pip install -r requirements.txt第二步:配置修改(必做!)
打开config.py,至少修改以下三项:KEYWORDS:替换成你要搜的词,如["新能源汽车", "比亚迪"]START_DATE/END_DATE:设为近 30 天内,确保有数据可抓OUTPUT_FORMAT = "csv":保持默认即可
第三步:启动采集(带日志输出)
# 基础运行(默认关键词 + 时间范围) python weibo_spider.py # 指定关键词(覆盖 config.py 中的 KEYWORDS) python weibo_spider.py --keyword "鸿蒙OS" # 指定时间范围(覆盖 config.py 中的 START_DATE/END_DATE) python weibo_spider.py --start-date "2024-05-01" --end-date "2024-05-15" # 开启 HTML 快照(debug 用,会显著拖慢速度) python weibo_spider.py --save-html运行后,控制台会实时打印:
[INFO] Starting spider for keyword: 大模型 [INFO] Page 1/5: https://s.weibo.com/weibo?q=%E5%A4%A7%E6%A8%A1%E5%9E%8B&... [INFO] Parsed 20 weibos from page 1 [INFO] Saved to output/results.csv (total: 20 rows) [INFO] Sleep 3.5s before next page...4.2 避坑指南:5 条真实踩过的坑,现象→原因→解决
现象 1:
KeyError: 'data-id'报错,程序崩溃原因:微博搜索页返回了“抱歉,未找到相关微博”提示页,其 HTML 中没有
<article>if not cards: logger.warning(f"No cards found in HTML. Check if keyword '{keyword}' has results.") return []现象 2:CSV 文件全是乱码,Excel 打开显示方块
原因:Windows 系统默认用 GBK 编码读 CSV,但项目输出为 UTF-8。
解决:用记事本另存为 → 编码选 UTF-8-BOM;或改weibo_spider.py第 121 行:with open(output_path, 'w', newline='', encoding='utf-8-sig') as f: # 加 -sig现象 3:抓到的
created_at全是空,或全是“刚刚”“1小时”等相对时间原因:微博对近期微博用相对时间(“刚刚”),老微博才用绝对时间;且
from_node[-1]可能取到“来自 iPhone 客户端”而非时间链接。
解决:增强时间提取逻辑,在parse_weibo_cards()中替换原created_at提取段:# 先尝试取绝对时间链接 time_links = card.xpath('.//div[@class="from"]/a[contains(@href, "/n/")]') if time_links: time_text = time_links[0].xpath('string(.)').strip() time_match = re.search(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2})', time_text) item['created_at'] = time_match.group(1) if time_match else '' else: # 退而求其次:取 .from 文本中的时间模式 from_text = card.xpath('string(.//div[@class="from"])') time_match = re.search(r'(\d{4}-\d{2}-\d{2} \d{2}:\d{2})', from_text) item['created_at'] = time_match.group(1) if time_match else ''现象 4:运行几页后卡住,CPU 占用 100%,无日志输出
原因:
requests.get()默认无限等待,微博服务器偶发无响应,导致线程 hang 死。
解决:在utils.make_request()中强制加超时:def make_request(url: str, session: requests.Session, **kwargs) -> requests.Response: kwargs.setdefault('timeout', (5, 10)) # (connect_timeout, read_timeout) return session.get(url, **kwargs)现象 5:
results.csv里text字段被截断,最长只有 140 字原因:微博 H5 页面对长微博做了折叠,只显示前 140 字,后文在
<a href="...">展开</a>链接里。
解决:项目暂不支持自动展开(需额外请求详情页,大幅增加复杂度)。临时方案是在config.py中加:ENABLE_FULL_TEXT = False # 默认 False,设为 True 需自行实现详情页抓取逻辑并在 README.md 中注明:“长微博需手动点击展开链接查看全文”。
5. 二次开发实战:如何接入 MySQL、添加代理池、导出为 JSONL
5.1 接入 MySQL 存储:替换 CSV 输出为数据库写入
项目默认输出 CSV 是为了零依赖,但生产环境必然要入库。改造只需三步:
第一步:安装 PyMySQL
pip install PyMySQL==1.1.0第二步:新建
db.py,封装连接与建表# db.py import pymysql from config import DB_CONFIG # 需在 config.py 中新增 DB_CONFIG 字典 def get_connection(): return pymysql.connect(**DB_CONFIG, charset='utf8mb4') def init_table(): conn = get_connection() with conn.cursor() as cursor: cursor.execute(""" CREATE TABLE IF NOT EXISTS weibo_data ( id BIGINT PRIMARY KEY AUTO_INCREMENT, weibo_id VARCHAR(32) UNIQUE NOT NULL, user_id VARCHAR(32), text TEXT, created_at DATETIME, reposts_count INT DEFAULT 0, comments_count INT DEFAULT 0, attitudes_count INT DEFAULT 0, topics JSON, -- MySQL 5.7+ images JSON, video_url VARCHAR(512), crawl_time DATETIME DEFAULT CURRENT_TIMESTAMP ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; """) conn.close()第三步:修改
weibo_spider.py的save_results()函数# 替换原 save_results() 函数 def save_results(results: List[Dict]): if not results: return conn = db.get_connection() with conn.cursor() as cursor: sql = """ INSERT INTO weibo_data (weibo_id, user_id, text, created_at, reposts_count, comments_count, attitudes_count, topics, images, video_url) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s) ON DUPLICATE KEY UPDATE text=VALUES(text), created_at=VALUES(created_at), reposts_count=VALUES(reposts_count), comments_count=VALUES(comments_count); """ for item in results: cursor.execute(sql, ( item['weibo_id'], item['user_id'], item['text'], item['created_at'], item['reposts_count'], item['comments_count'], item['attitudes_count'], json.dumps(item['topics'], ensure_ascii=False), json.dumps(item['images'], ensure_ascii=False), item.get('video_url', ''), )) conn.commit() conn.close() logger.info(f"Saved {len(results)} records to MySQL")注意:
ON DUPLICATE KEY UPDATE保证重复抓取时不会报主键冲突,而是更新内容——这对增量采集至关重要。5.2 添加代理池支持:应对 IP 封禁的后悔药
当单 IP 抓取量超 5000 条/天,微博会返回 418(I'm a teapot)状态码。此时你需要代理。项目预留了
PROXY_POOL_URL配置位:第一步:在
config.py中添加PROXY_POOL_URL = "http://127.0.0.1:5010/get/" # 支持免费代理池如 proxypool ENABLE_PROXY = True # 设为 True 启用第二步:修改
utils.make_request()def make_request(url: str, session: requests.Session, **kwargs) -> requests.Response: if config.ENABLE_PROXY: try: proxy_resp = requests.get(config.PROXY_POOL_URL, timeout=5) if proxy_resp.status_code == 200: proxy = proxy_resp.json().get('proxy') if proxy: kwargs['proxies'] = {'http': f'http://{proxy}', 'https': f'https://{proxy}'} except Exception as e: logger.warning(f"Failed to get proxy: {e}") kwargs.setdefault('timeout', (5, 10)) return session.get(url, **kwargs)血泪经验:不要用免费公共代理(99% 失效),本地搭一个
proxypool(GitHub 搜)并定期抓取高匿代理,成功率可达 85%+。我一般会在weibo_spider.py开头加time.sleep(random.uniform(1, 3)),让多个实例错峰请求代理池,避免被代理池限流。5.3 导出为 JSONL 格式:适配 Spark/Flink 流式处理
CSV 不适合大数据分析,JSONL(每行一个 JSON)才是工业级选择。只需两处改动:
第一步:在
config.py中支持格式切换OUTPUT_FORMAT = "jsonl" # 可选 "csv" 或 "jsonl"第二步:重写
save_results()def save_results(results: List[Dict]): if not results: return output_path = os.path.join("output", "results.jsonl") mode = 'a' if os.path.exists(output_path) else 'w' with open(output_path, mode, encoding='utf-8') as f: for item in results: # 移除空字段,减小体积 cleaned_item = {k: v for k, v in item.items() if v not in ['', [], {}, None]} f.write(json.dumps(cleaned_item, ensure_ascii=False) + '\n') logger.info(f"Saved {len(results)} records to {output_path}")验证技巧:用
head -n 3 output/results.jsonl | python -m json.tool查看格式是否合法;用wc -l output/results.jsonl统计总行数,应等于微博条数。从那以后我每次新增字段(比如想加
location地理位置),都强制走一遍parser.py→weibo_spider.py→save_results()链路,在config.py里先设ENABLE_HTML_SAVE=True,抓一页 HTML 本地存着,然后用lxml.etree.parse()手动加载调试 XPath,确认字段能稳定提取后再放开全量跑。这套“快照+本地调试”流程让我再也没因为 DOM 变更而半夜被报警电话叫醒。希望帮到你。本文还有配套的精品资源,点击获取
- 构造搜索 URL: