把2005年到2023年这19本贵州省水土保持公报摊在一张桌子上，你会发现它们拼起来是一条挺有意思的时间线：前面几年还是薄薄的小册子，表格排版靠手工，后面几年页数变厚、图表变多、口径也开始换。我最早接触这批材料是想做一个长时序的水土流失变化分析，结果真正动手才发现，难的不是分析，而是把这19份公报变成一张能算的宽表。这里面有扫描件识别、有跨页表格拆解、有指标改名、有单位混用，还有统计单元中途调整带来的断点。这篇东西就是把我从“收集PDF”到“跑出第一张趋势图”这一路的做法和踩过的坑完整写出来，涉及公报指标体系解读、数据获取与结构化、口径对齐清洗、分析建模与可视化落地几个环节，中间会给可直接抄的字段设计、校验规则和Python片段。不管你是做水土保持监测、生态遥感、区域资源环境数据分析，还是单纯想拿公开公报练手数据工程，应该都能从里面找到能用的部分。整个流程不依赖什么特殊环境，一台普通笔记本加几个开源库就能跑通。

1. 先把它当成一个数据工程问题来拆

1.1 公报里到底有哪些能用的指标

很多人第一次翻公报，注意力会被前面的综述性文字吸走，其实真正有价值的是后面那几张统计表。我把19年的表格字段挨个抄下来过一遍，大致可以归成五类，这五类的稳定程度差别很大，直接决定了后面能不能做长序列对比。

从这张表里能看出一个基本判断：流失本底和强度结构适合做长序列，措施结构只适合做分段研究。我一开始贪心，想把所有字段都拉成19年的时间序列，结果措施类指标有三年完全对不上，只能推倒重来。后来我给自己定了个规矩，先做“字段可用性评级”，评级低的字段单独存一张表，不混进主表。

1.2 为什么这19年不是一条连续曲线

这是我踩得最深的一个坑。刚拿到数据时我默认它是连续的，画出来的折线图有一段突然掉了三分之一，我差点以为自己发现了什么重大变化，回头核对原始公报才发现，那一年开始公报里的流失面积采用了新的监测成果，前后不是一套底数。

口径断裂主要有三种形态，我建议你在建库之前先把这三种都排查一遍：

第一种是方法断裂。早期公报的流失数据更多依赖典型调查和逐级汇总上报，后期逐步转为遥感解译加地面核查。这两种方式得到的数值不能直接相减，因为它们的“测量对象”本身就不完全一样。前者偏保守，后者覆盖面更全但受影像时相影响。

第二种是标准断裂。侵蚀强度分级用的是行业标准，标准本身在不同时期有过修订，分级阈值和命名都有调整。同一块地按老标准可能落在“中度”，按新标准可能落到“强烈”。这就导致强度结构的面积占比在标准切换那年会出现系统性偏移，不是真实变化。

第三种是单元断裂。统计单元在19年里发生过调整，部分县级单元有撤并和边界变更。如果你的分析粒度到县，就必须准备一套年份对应的单元映射表，否则会出现某年多出几个单元、某年又消失的情况。

提示：不要试图用插值把断裂“抹平”。断裂点前后属于不同总体，正确的做法是分段建模，或者在图上用竖线把断点标出来，让读者看到而不是隐藏。

1.3 建模目标要先定小

我见过不少人一上来就想做“19年时空演变规律”，听着宏大，实际上做不动。比较务实的目标有三个层次，建议从第一层开始：

• 描述层：把每年的关键指标整理成干净的时间序列，能画出一张经得起核对的趋势图。这一层的产出是数据表和基础图表，工作量占到整个项目的六成。
• 对比层：在同一口径的分段内做前后对比，比如方法切换之后的若干年内部比较，或者同类区域之间的横向比较。这一层需要一个可靠的分组维度。
• 解释层：把流失变化和治理措施、植被状况、降雨侵蚀力等因素联系起来。这一层最难，因为公报里的措施数据和流失数据并不是同一套监测体系产出的，相关性只能谨慎讨论。

我的建议是把六成精力放在描述层。原因很实在：公开公报的数据质量控制成本远高于分析成本，你花一周做的模型，可能因为一个单位换算错误全部作废；而你花一周做的数据核对，会让后面所有分析都站得住。

2. 数据获取与结构化：从PDF到能算的表

2.1 收集阶段就要建台账

收集这19份公报，看起来只是下载文件，其实是个需要纪律的活。我的做法是建一张采集台账表，每拿到一份就填一行，字段包括：年份、文件名、文件版本（初版/修订）、页数、是否可复制文本、表格所在页码、备注。这张表后来救了我两次，一次是发现某年有两版文件内容不一致，一次是发现某年缺了附表只有正文。

一个容易被忽略的点是同名文件的多版本问题。公报有时会在发布后做数据勘误，网上流传的可能是旧版。判断方法很简单，看文件里有没有勘误说明页，或者对比相邻年份公报里引用的上一年数据是否一致。如果发现不一致，以较新的那份为准，并在台账里记下差异。

另外一个经验是优先找带文本层的版本。同一份公报，扫描件和原生电子版的处理成本差好几倍。我做过一次统计，原生文本版一份大概十分钟能提完，纯扫描件一份要四十分钟以上，还得人工校对。

2.2 三条提取路线怎么选

PDF转表格这件事，没有万能方案，我实际用过三条路线，各有适用范围。

路线一：原生文本直提。适用于文件本身带文本层的情况。用pdfplumber按页读文本，再用正则匹配数字和单位。优点是快、可控；缺点是对表格结构完全无感，跨页表、合并单元格会乱。我的做法是先用它把整页文本 dump 出来，人工看两页确认格式规律，再写正则。

import pdfplumber import re def dump_pages(pdf_path, start, end): with pdfplumber.open(pdf_path) as pdf: for i in range(start - 1, end): page = pdf.pages[i] text = page.extract_text() or "" print(f"===== PAGE {i + 1} =====") print(text) # 数字匹配：兼容千分位逗号、小数点、百分号 NUM = re.compile(r"\d{1,3}(?:,\d{3})*(?:\.\d+)?%?|\d+(?:\.\d+)?%?")

路线二：表格结构提取。用pdfplumber的extract_tables或camelot，它会尝试识别表格线。适用于规整的三线表。缺点是对无边框表、跨页表、单元格合并的处理很差，经常把一行拆成两行。

路线三：OCR加版面分析。纯扫描件只能走这条。我用的是 PaddleOCR，配合手动裁剪表格区域。这条路线的关键不是识别率，而是数字校验——OCR最容易在数字上出错，比如把1认成l、0认成O、小数点漏掉。我的做法是识别完立刻跑一轮合理性校验，凡是超出该指标历史范围的一律标红人工看。

我的实际组合是：能文本直提的绝不上表格提取，能表格提取的绝不上OCR。三种路线都失败的表（一般是早期的复杂跨页表），老老实实手敲，一份表也就几十个数字，比调试脚本快。

2.3 字段设计决定了后面好不好过

这是整个项目里性价比最高的一步。我最初的表设计是“一年一行、指标一列”的宽表，做到第三年就崩了，因为指标名每年在变，列数对不上。后来改成长表结构，一张表打通19年，问题迎刃而解。

核心字段设计如下：

其中indicator_raw和caliber两个字段我要重点说一下。前者是“留痕”，因为指标名改过好几次，比如同一类治理面积在不同年份叫法不同，保留原文你才能回溯到底是哪个字段对哪个字段。后者是“分组键”，你后面所有分析都要按口径分组，这个字段不给，几个月后你自己都说不清哪段数据属于哪套方法。

confidence字段是给自己留的后路。人工核过的标 high，脚本提取但没核的标 mid，OCR出来还没核的标 low。做图的时候直接用confidence == 'high'过滤，能避免很多“这张图怎么怪怪的”的困惑。

3. 口径对齐与清洗：真正花时间的部分

3.1 面积单位混用是第一个拦路虎

19年公报里，面积单位的写法至少有四种：km²、hm²、万亩、万hm²。这不是排版随意，而是不同章节的习惯不同，本底数据多用 km²，措施数据多用万亩，汇总表又用万hm²。如果直接加总，结果能差出十几倍。

换算关系要背下来：1 km² = 100 hm² = 1500 亩；1 万亩 = 666.67 hm² ≈ 6.67 km²；1 万hm² = 100 km²。我习惯统一到 km²，因为流失面积本来就是这个单位，做占比和强度分析最顺。

麻烦在于单位有时是隐含的。有些表格的表头只写“面积”，单位放在表格下方的注释里，脚本提取时读不到。我的处理办法是给每张表建一条“单位规则”，在提取配置里显式声明，而不是靠猜。这个配置表长这样：

UNIT_RULES = { "loss_area": ("km2", 1.0), "control_new": ("wanmu", 6.6667), # 万亩 -> km2 "control_total": ("wanmu", 6.6667), "measure_forest": ("hm2", 0.01), # hm2 -> km2 "measure_terrace":("wanmu", 6.6667), }

显式声明的好处是可审计。将来发现某个换算系数错了，改一处就能全部重算，不用去翻几十个脚本。

3.2 “累计治理面积”里的重复计算

这是水土保持数据里最经典的一个坑，我必须单独拎出来说。

公报里常见的两个数：当年新增治理面积和累计治理面积。直觉上后者应该是前者的逐年累加，实际上不是。原因有两个：一是累计治理面积统计的是“历史上所有治理过的面积”，一块地如果治理过两次，可能被计两次；二是部分早期治理成果因为标准提高或后期破坏，在后续统计中被调整出累计数。

我做过一次核对，把某一段年份的新增治理面积逐年相加，和公报里的累计值对比，差额能到百分之十几。这个差额不是错误，是口径不同。

注意：不要用“累计治理面积逐年差分”当作“当年新增治理面积”，也不要用“新增逐年累加”去反推累计值。这两个指标要分开存，各自按各自的口径用。

那累计值还有什么用？有用，而且很有用。它适合算治理度这类比例指标，因为分子分母都是同一套统计体系下的数。但算的时候要注意分母也在变——流失面积每年都在调整，所以治理度不是一个稳定分母的比例，最好在图上标注“分母为该年公报流失面积”。

3.3 一套能跑通的自查规则

清洗阶段我写了六条校验规则，每次跑完数据自动出报告。这六条规则帮我抓出过十几处真实错误，包括一处整列小数点错位。

规则一：内部加总校验。强度分级的各档面积之和，应该等于或非常接近流失总面积。偏差超过 0.5% 就标出来。

规则二：占比校验。流失面积占土地面积的比例，应该等于两个数相除。这条能抓住“比例列和面积列不同步更新”的问题。

规则三：单调性校验。累计治理面积应该单调不减（除非有明确的口径调整说明）。出现下降就标出来。

规则四：量级校验。每个指标配一个历史合理区间，超出即报警。比如某个县的流失面积不可能一年翻倍。

规则五：同比突变检测。相邻年份变化超过 30% 的，全部进人工复核队列。我统计过，突变里真正是真实变化的大概只有三成，剩下七成是口径或录入问题。

规则六：跨表一致性。正文叙述里的数字和附表里的数字要能对上。公报经常出现正文说“较上年减少X”，附表一算对不上，这种情况以附表为准，但要在备注里记下。

def check_intensity_sum(df, tol=0.005): """强度分级加总校验""" cols = ["light", "moderate", "strong", "very_strong", "severe"] grouped = df[df.indicator_code.isin(cols)].pivot_table( index=["year", "region_code"], columns="indicator_code", values="value", aggfunc="sum" ).fillna(0) total = df[df.indicator_code == "loss_area"].set_index( ["year", "region_code"])["value"] grouped["sum_intensity"] = grouped[cols].sum(axis=1) grouped["loss_area"] = total grouped["bias"] = (grouped["sum_intensity"] - grouped["loss_area"]) / grouped["loss_area"] return grouped[grouped["bias"].abs() > tol]

这段代码跑出来的结果，我建议直接导出成 Excel，人工一条条过。自动化能帮你定位问题，但判断“这是真错还是口径差异”还得靠人。

3.4 统计单元映射表怎么建

如果你的分析只到省级，这一节可以跳过。但只要想往下钻一层，映射表就绕不开。

建法是：以最新一年的单元清单为基准，往回逐年映射。每遇到一次调整，就加一列“该年对应的基准单元”。有些单元是拆分，那就按面积或按历史数据比例拆；有些是合并，直接对应到合并后的单元。拆分比例没有公开数据时，我一般用土地面积比例近似，并在备注里写明这是估算。

这张表建好之后，所有数据在入库时就被映射到统一的基准单元，后面的分组聚合全部按基准单元走，不用再考虑年份差异。这一步做完，你会明显感觉数据“听话”了。

4. 分析与可视化：怎么让图说真话

4.1 趋势图的三条纪律

数据干净之后画图是轻松的，但图本身很容易骗人。我给自己定了三条纪律。

第一条：断点必须标出来。口径切换的年份画一条竖直虚线，图注里写清楚切换了什么。不标断点的长序列折线图，读者会默认它是一条连续曲线，这是误导。

第二条：慎用双轴。把流失面积和治理面积画在一张双轴图上，视觉上特别容易得出“治理越多流失越少”的结论，但两个量的量级和口径都不同，这种视觉相关没有意义。要做关系分析，老老实实画散点图，标注年份，让人看到点的分布而不是两条线的交叉。

第三条：绝对量和相对量分开画。流失面积的绝对下降和下降速率是两件事。前者看规模，后者看趋势是否放缓。我一般画两张图，一张绝对量，一张年变化率，后者用柱状图，正负分色。

4.2 强度结构变化用堆积面积图最直观

相比折线图，我更推荐用百分比堆积面积图看强度结构。原因很实际：流失总面积在变，绝对量的堆积图会把结构变化掩盖掉，百分比堆积能直接看出“轻度占比是不是在上升、强度以上占比是不是在收缩”。

这里有个细节值得说。强度结构的变化往往有两种相反的解读：一种是治理见效，强度以上面积转成轻度；另一种是监测精度提高，原先没识别出来的轻度被纳入统计，导致轻度占比虚增。这两种情况在百分比堆积图上的表现几乎一样。所以看图的时候一定要结合当年的方法说明，不能单看图形下结论。

我的做法是在图下面附一张小表，列出该年是否发生方法调整、调整内容一句话，读者看图时能对照。

4.3 空间分布图的关键在分级方法

如果要做单元级的空间分布图，分级方法的选择比配色重要得多。同样的数据，用等间隔分级和自然断点分级，出来的图能讲两个不同的故事。

我的经验是：看空间格局用自然断点，看达标情况用固定阈值。前者让数据自己说话，后者让标准说话。做水土流失强度图，我更倾向固定阈值，因为强度分级本身就有明确的数值边界，用自然断点反而会把标准的含义抹掉。

工具上，QGIS 足够用。流程是：把长表按年份透视成宽表，导出 CSV，用单元编码关联边界数据，按强度分级字段设色。这里有个小技巧，把分级字段做成文字型（如“轻度”“中度”），而不是数值型，QGIS 会自动按类别设色，不用手动配阈值。

4.4 把整个流程做成可复现的工程

这一点容易被忽略，但对长期项目特别重要。我的目录结构是这样的：

project/ ├── raw/ # 原始PDF，按年份命名，只读 ├── interim/ # 提取出的中间CSV，一表一文件 ├── config/ │ ├── unit_rules.py # 单位换算规则 │ ├── indicator_map.csv# 指标名映射 │ └── region_map.csv # 单元映射 ├── scripts/ │ ├── 01_extract.py │ ├── 02_normalize.py │ ├── 03_validate.py │ └── 04_analyze.py └── output/ ├── tables/ └── figures/

raw目录设成只读，任何清洗都在interim里做，永远不覆盖原始文件。脚本按序号命名，每个脚本只做一件事，中间产物落盘。这样任何一步出错，只重跑那一步，不用从头来。

指标映射表单独放 CSV 而不是写死在代码里，是因为它会不断补充。我前后加了三十多条映射，都是在处理新一年数据时发现的。

5. 常见问题与排查实录

5.1 表格提取的高频故障

这张表里的每一条我都遇到过。最坑的是“小数点丢失”，因为它不会报错，只会让数值大十倍或小十倍，混在一堆正常数里很难发现。所以我后来强制所有数值提取先按字符串处理，转换前先过一个正则，检查小数位是否符合预期。

5.2 缺失年份怎么处理

19年里可能有某年公报找不到，或者某年某一类指标缺失。处理原则分三种情况：

如果缺的是整年公报，而且前后年份都有，那就在时间序列里留空，不要插值。趋势图上留个断口，比编一个数出来诚实得多。我见过用线性插值补整年的做法，这在长序列分析里是很危险的，因为水土保持数据的年际波动本来就大。

如果缺的是单个指标，且该指标在前后年份变化平稳，可以考虑用相邻年份均值填补，但必须加标记字段，且在分析时做敏感性检验——补和不补各跑一遍，看结论是否一致。不一致就说明这个指标不能补。

如果缺的是分类明细，只有合计没有分项，那就只保留合计，分项留空。不要用比例去拆，因为分类比例本身逐年变化。

5.3 几个我踩过的具体坑

坑一：正文数据和附表数据打架。公报正文经常有“全省水土流失面积较上年减少XX平方公里”这样的表述，附表里算出来对不上。我最初的判断是附表错了，后来发现是正文用的是修正后的数，附表还是原数。处理办法是以附表为主数据源，正文数据单独存一列作参考，两者差异记入备注。

坑二：百分比和百分点混淆。“流失面积占比下降0.3%”和“下降0.3个百分点”是完全不同的量。公报里这两种表述都出现过，我一开始没区分，导致一张下降幅度图整体偏了一个数量级。

坑三：早期年份的有效数字少。有些年份的面积只保留整数，后面年份精确到小数点后两位。直接画图会出现“后期波动明显变大”的假象，其实只是精度变了。处理办法是早期数据在做变化率分析时先取整到相同精度。

坑四：指标改名但含义相同。比如“封禁治理面积”和“封育治理面积”，在不同年份的表格里指同一件事。这种必须靠指标映射表解决，靠肉眼比对很容易漏。我的映射表里专门有一列“备注”，记录改名依据，比如“某年起表格表头变更”。

5.4 一份可以直接用的核对清单

每次处理完一年数据，我会按这个清单过一遍，全部打勾才算这年完成：

• 该年所有表格是否都已提取，页数是否与台账记录一致
• 每个数值的单位是否已确认，换算是否正确
• 强度分级各档之和与流失总面积偏差是否在容差内
• 占比类指标是否与面积类指标自洽
• 累计治理面积是否单调不减
• 与上一年相比的突变项是否已逐条人工确认
• 指标名与映射表是否匹配，未匹配项是否已补充
• 正文中引用的关键数字是否已与附表交叉核对
• 数据来源页码是否已记录
• 置信度标记是否已完成

这个清单看着琐碎，但它把“事后发现问题”变成了“事中拦截问题”。我做过对比，按清单走的年份，返工率不到不按清单的三分之一。

最后分享一个我自己觉得挺有用的小习惯：每处理完一年，就在interim目录里写一个几十字的notes_YYYY.md，记下这一年有什么特殊情况，比如“本年表格改版，措施分类从五类变四类”“本年数据为修订版”。这些备注在半年后回看时价值极高，因为你根本记不住哪一年发生了什么。数据工程的成本大头从来不在写代码，而在于这些看起来不起眼的记录和核对。