简介:面向深度学习图像识别与图像分类任务,整理出飞机100分类数据集的测试部分,覆盖波音737-76J、波音737-700等100种机型,无需清洗与手工标注即可直接用于模型评估和泛化能力验证。测试图像按类别存放于data-test子文件夹,每类对应一个独立目录,依托torchvision或keras等常用框架即可快速读取,目录结构清晰,便于按类别批量处理。资源包共2000个文件,以JPG图像为主体,另附classes.json类别映射字典和可视化脚本py,压缩包体积约878MB,解压后即可开展实验。已有591人学习,适合具备一定深度学习基础、需要标准测试集来检验分类模型效果的研究者或竞赛参与者。在使用时,可借助类别字典快速生成标签序列,用可视化脚本抽样核对图片与类别是否匹配,也可在ImageFolder等数据工具中直接使用,整体简洁,适合作为论文实验或课程设计的验证数据。
1. 飞机100分类数据集(测试集):为什么说它才是决定模型能不能上线的关键
做深度学习图像识别数据集相关项目时,飞机100分类数据集(测试集)往往是最容易被低估的一块。训练集动辄几千张图片,很多人把精力都花在调模型结构、调学习率上,等到评估阶段才发现,测试集给出来的结果跟训练时差的不是一星半点:Top-1精度忽高忽低、个别类别几乎全错、甚至跑完一遍才发现数据加载本身就有问题。这个标题里的“测试集”三个字,恰恰是整个100类飞机识别任务里最考验工程细节的部分。无论是做毕业设计、比赛刷榜,还是实际项目中要交付一个可上线的识别模型,测试集都直接决定了你最终拿出去的数字可不可信。这篇文章会沿着数据集的目录结构、加载评测、常见坑位和进阶用法一步步讲透,适合刚跑通代码的新手,也适合想拿测试集做精细化分析的熟手。
2. 读懂飞机100分类测试集:标签体系、目录结构与数据分工
拿到一份飞机100分类数据集,别急着写训练代码,先花半小时把数据集本身的“脾气”摸清楚。测试集里隐藏的许多问题,往往不是模型不行,而是数据读法和预期不一致。以下内容适用于大多数以“按类别分目录”格式组织的细粒度图像分类数据集,飞机100分类只是其中一种具体对象。
2.1 标签体系:100类飞机到底按什么粒度划分
飞机分类和猫狗分类最大的区别在于“类”的定义。有的数据集按机型分,比如波音737、空客A320、C-130运输机;有的按任务角色分,比如客机、战斗机、直升机、无人机;还有的按生产厂商加型号后缀分出更细的类别。落在“100分类”这个规模上,常见做法是把同一大类的不同子型号也当成独立类别,比如波音737-700、波音737-800、波音737-900会成为三个类。这个粒度选择直接影响我们写评测代码时对标签编号的理解。
拿到数据后,我一般会先看一下类别目录名。如果目录名就是纯数字编号,那还需要找到附带类别映射文件,通常是一个labels.txt或classes.csv,把编号和飞机型号语义对应起来。如果这类映射文件缺失,测试集的可用性会大打折扣,因为你即使跑出了95%的精度,也没法向别人解释这95%到底识别对了哪些飞机。
# 常见目录结构一:按类别子目录存放 test/ 000/ 000_001.jpg 000_002.jpg 001/ 001_001.jpg ... 099/ 099_001.jpg # 常见目录结构二:扁平目录 + 标注文件 test/ image_00001.jpg image_00002.jpg test_labels.csv第二种结构里,test_labels.csv每一行至少包含image_name,label两列。有的版本还会加一列label_name,用来直接显示飞机型号。拿到数据后第一步,应该先把这两列读出来,统计每个类别的样本数,防止某个类别一张图都没有。
import pandas as pd # 读取测试集标签文件,检查类别分布 df = pd.read_csv("test_labels.csv") counts = df["label"].value_counts().sort_index() print(counts) # 如果发现某个类别样本数为0,说明该类别在测试集里缺失, # 评测时要在类别集合层面做对齐,而不是直接按100类全算。这段代码在项目启动时必须先跑一次。它的作用是确认测试集里包含哪些类别、每类多少张图,以及标签编号是否连续。对于100分类任务,编号往往从0到99,但也不排除从1到100的情况,这会直接导致后续CrossEntropyLoss的类别维度不匹配,属于最基础却最容易翻车的问题。
2.2 一张图理清训练集、测试集、验证集的分工边界
很多初学者会把验证集和测试集混为一谈。先说结论:验证集是用在训练过程中的,目的是帮你决定什么时候停、要不要调学习率、选哪一版权重;测试集是模型训练完全结束后,只用一次的最终裁判。如果你反复用测试集去试不同的超参数,那测试集就已经被“污染”了,最终指标会虚高,上线后真实场景表现往往会差几个点。
飞机100分类任务里,比较稳妥的数据划分方式是这样的:如果数据集本身不提供官方验证集,就从训练集里切出一部分当验证集,比例一般取10%到15%。训练集和测试集的标准做法是保证类别分布独立且基本一致,但实际拿到的数据集源头不同,分布可能会有偏差,比如训练集里民航客机偏多,测试集里战斗机偏多。这种分布偏移会在评估时直接暴露出来,也是后面要重点排查的问题。
在动手写评测流程前,建议你先回答下面三个问题:测试集的图片分辨率是否统一?颜色通道是不是都是RGB?文件名和标签是否严格对应?这三个问题想不清楚,后面所有精度数字都是悬的。
2.3 数据质量初检:不依赖模型也能发现的问题
还没训练任何模型之前,有几项检查可以帮你避开很多后期麻烦。最简单的就是把整个测试集过一遍,统计图片尺寸、通道数和损坏文件。不要侥幸觉得“既然叫数据集,数据一定是好的”,很多开源数据在打包或转换时会出现莫名奇妙的文件缺失。
from PIL import Image import os root_dir = "test" broken, size_set = [], set() for subdir in sorted(os.listdir(root_dir)): sub_path = os.path.join(root_dir, subdir) if not os.path.isdir(sub_path): continue for fname in os.listdir(sub_path): fpath = os.path.join(sub_path, fname) try: with Image.open(fpath) as img: size_set.add(img.size) img.verify() except Exception: broken.append(fpath) print("损坏图片数:", len(broken)) print("图片尺寸种类:", size_set)这段脚本的意义在于提前暴露两个问题:一是图片是否能被Pillow正常解码,二是测试集中是否存在多种分辨率。飞机会从不同距离、不同角度拍摄,测试集里混入多种分辨率是正常的,但你的预处理管线必须能兼容它们,不能默认所有图都是224×224。如果尺寸种类特别多,后面要统一走resize逻辑,而不是直接裁中心。
3. 把飞机100分类测试集跑通:PyTorch加载脚本与评测基线
当你能完整回答“测试集里有什么”这个问题后,下一步就是把它真正送入模型。下面这套加载和评测流程,是我在细粒度图像识别任务里反复使用的模板,适用于PyTorch框架,也能直接移植到其他项目里。一个能正常工作的测试加载流程,应该包含三个环节:目录遍历、预处理、批次化迭代。
3.1 从目录到DataLoader:一套能直接改的加载代码
针对按类别子目录组织的飞机100分类测试集,可以用下面的Dataset类完成加载。如果你拿到的是test_labels.csv扁平结构,只需要把__init__里的目录遍历换成pandas读取,逻辑不变。
import os from PIL import Image from torch.utils.data import Dataset class AircraftTestDataset(Dataset): """ 按类别子目录组织测试集。 目录结构: test_root/<class_id>/<image_file> class_id 是整数编号,要求与模型输出维度一一对应。 """ def __init__(self, root_dir, transform=None): self.samples = [] self.targets = [] self.transform = transform valid_ext = (".jpg", ".jpeg", ".png", ".bmp") for name in sorted(os.listdir(root_dir)): class_dir = os.path.join(root_dir, name) if not os.path.isdir(class_dir): continue # 类别目录名可能是 "000" 这种字符串,需要转成 int label = int(name) for fname in sorted(os.listdir(class_dir)): if fname.lower().endswith(valid_ext): self.samples.append(os.path.join(class_dir, fname)) self.targets.append(label) def __len__(self): return len(self.samples) def __getitem__(self, idx): img = Image.open(self.samples[idx]).convert("RGB") if self.transform: img = self.transform(img) return img, self.targets[idx]这段代码的关键在int(name)这一行,它假设目录名就是类别编号。如果000被当成字符串被模型读取,后面计算损失时一定会出类型错误。所以先打印self.targets[:10],确认标签是0, 1, 2而不是"000", "001"。__getitem__里强制convert("RGB")是为了避免灰度图片导致输入维度不一致,这一步对飞机这类大量户外航拍图尤其重要,因为有些老旧图库会混入单通道图片。
接下来是预处理与DataLoader。测试集不要用训练集那样复杂的随机增强,常见做法是用与训练时完全一致的缩放和归一化参数,但关掉随机裁剪和随机翻转。以ImageNet预训练权重为例,归一化均值与标准差是固定的,必须和训练时保持一致。
from torchvision import transforms from torch.utils.data import DataLoader test_transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize( mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225] ), ]) test_dataset = AircraftTestDataset("test", transform=test_transform) test_loader = DataLoader( test_dataset, batch_size=64, shuffle=False, num_workers=4, pin_memory=True, ) print("测试集样本总数:", len(test_dataset))shuffle=False在这里不是可有可无的细节。它保证每次评测时样本顺序一致,复现混淆矩阵和逐条分析时不会因为顺序漂移产生困惑。batch_size=64是一般显存容量下的合理取值,如果单卡显存只有8G,建议降到32。num_workers在Windows上要设为0或在if __name__ == "__main__"保护下运行,否则多进程加载会在某些环境下报错。
3.2 评测指标怎么算:Top-1、Top-5与混淆矩阵
测试集只有一个官方指标还不够,我通常会算三个东西:Top-1准确率、Top-5准确率和混淆矩阵。对100类飞机分类来说,Top-1代表主推结果是否完全正确,Top-5则能反映模型是否把相似机型放在了候选列表里,这个在“同系列不同子型号”的区分上特别有参考价值。
import torch import numpy as np from sklearn.metrics import confusion_matrix device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) model.eval() all_preds, all_targets = [], [] with torch.no_grad(): for images, labels in test_loader: images = images.to(device) logits = model(images) # top5: 每个样本取概率最大的5个类别索引 _, pred_top5 = logits.topk(5, dim=1) pred_top1 = pred_top5[:, :1] all_preds.append(pred_top5.cpu().numpy()) all_targets.append(labels.numpy()) all_preds = np.concatenate(all_preds, axis=0) all_targets = np.concatenate(all_targets, axis=0) top1_acc = (all_preds[:, 0] == all_targets).mean() top5_acc = np.array([ all_targets[i] in all_preds[i] for i in range(len(all_targets)) ]).mean() cm = confusion_matrix(all_targets, all_preds[:, 0], labels=list(range(100))) np.save("aircraft_test_cm.npy", cm) print(f"Top-1 Acc: {top1_acc:.4f}") print(f"Top-5 Acc: {top5_acc:.4f}")这段代码的核心在于logits.topk(5, dim=1),它一次性取出了前5个预测。scikit-learn的confusion_matrix可以按类别输出谁和谁最容易混淆,比如波音737-800被误判成波737-700,这类混淆在细粒度识别里非常典型。把混淆矩阵存成npy文件之后,后续做错误模式分析就不用重新跑一遍模型,省时间也省算力。
3.3 让测试集“干净”起来的三个检查步骤
跑通上述脚本后,先别急着看精度,按下面三个步骤确认整个测试管线没有硬伤。第一步,比较样本总数和标签文件里的行数,不一致就说明有图片被加载逻辑漏掉了。第二步,随机抽10张图片手动查看,把模型预测结果打印出来,看是否和图片内容大致合理,这一步能发现加载顺序和标签错位。第三步,重复运行一次测试,对比两次Top-1结果,完全一致才说明评测流程稳定。
# 快速抽查:从测试集里按索引抽出5张图,打印标签和预测 import matplotlib.pyplot as plt sample_idx = [0, 50, 100, 500, 999] for i in sample_idx: img, true_label = test_dataset[i] # img 是归一化后的tensor,展示时需要反归一化 img_show = img * torch.tensor([0.229, 0.224, 0.225]).view(3, 1, 1) img_show += torch.tensor([0.485, 0.456, 0.406]).view(3, 1, 1) plt.imshow(img_show.permute(1, 2, 0).numpy()) plt.title(f"true: {true_label}, pred: {all_preds[i, 0]}") plt.show()如果抽查结果显示图和标签对不上,那就别再看精度了,先回到数据加载逻辑,多半是文件名排序方式和标签文件顺序没对齐。这类问题最坑,因为它不会让程序报错,只会让指标悄悄失真。
提示:测试集的预处理参数必须和训练时完全一致,包括resize大小和归一化均值标准差。差一个像素值都可能让精度掉1到2个百分点,这属于最常见的非模型因素。
4. 飞机100分类测试集最容易踩的5个坑:现象、原因与解决办法
围绕测试集本身做排查,是我在多个图像识别项目里花时间最多、收益也最明显的工作。下面5个坑是按出现频率排的,每一条都来自一线项目中的真实踩坑经历。
4.1 坑一:测试集里混进了训练样本,精度虚高到不敢信
有些数据集在网上流传时,打包的人会把训练集和测试集混在一起,或者做数据清洗时没有严格去重。这会导致模型在测试集上的表现异常好,比如Top-1精度超过98%,但一上真实场景数据立刻掉十几个点。
排查方法很简单,用图片哈希算法对测试集和训练集做交叉比对。常见做法是计算感知哈希(pHash),因为它对缩放、轻微压缩有容忍度。
import os from PIL import Image import imagehash def phash_path(path, hash_size=16): with Image.open(path).convert("L") as img: return imagehash.phash(img, hash_size=hash_size) train_hashes = {} for root, _, files in os.walk("train"): for fname in files: fpath = os.path.join(root, fname) h = phash_path(fpath) # 用字典记录,相同哈希直接覆盖,后续只需要碰撞判断 train_hashes[h] = fpath duplicated = [] for root, _, files in os.walk("test"): for fname in files: fpath = os.path.join(root, fname) h = phash_path(fpath) for train_hash, train_path in train_hashes.items(): # 汉明距离小于5认为近似重复 if h - train_hash < 5: duplicated.append((fpath, train_path)) break print("疑似重复样本数:", len(duplicated))这组代码在图片总数很大时会比较慢,建议先用测试集内的重复检测过滤一遍,再做训练集与测试集的交叉比对。hash_size=16生成的哈希长度更大,对细粒度差异敏感度更高,但阈值需要适当放宽,一般汉明距离在5以内都算可疑。如果确认重复率超过1%,我建议把重复样本从训练集里删掉,而不是从测试集里删,否则失去的是公平评估的意义。
4.2 坑二:标签文件行数与图片数对不上,Dataloader静默丢图
用扁平目录加CSV组织的数据集最容易出现这种问题:CSV里有1000行,但test文件夹里实际只有997张图,某张图片在传输时损坏被系统跳过,或者文件名编码问题导致加载不到。最常见的结果是DataLoader没有报错,但测试集参与评测的样本比预期少,精度数字失真。
排查时,把CSV文件里的“图片文件名集合”和“目录下的实际文件名集合”做差集,一条命令就能看出谁丢了。
ls test/ | sed 's/\.[^.]*$//' > actual_files.txt cut -d',' -f1 test_labels.csv | sed 's/\.[^.]*$//' | sort > label_files.txt comm -3 <(sort actual_files.txt) <(sort label_files.txt)如果输出为空,文件集合完全一致。如果两边都有各自独有的行,说明标签文件写入了不存在的图片,或者目录里有未标注的图片。这两种情况都要修正:前者删掉无效行,后者要么补标注,要么从加载列表里排除。对于飞机100分类这类细粒度任务,哪怕只有三五个样本对不上,也可能影响某个小类的准确率好几个点。
4.3 坑三:分类粒度不一致,波音737和737-800到底算不算一类
这是飞机100分类里最“玄学”也最容易让年轻人翻车的坑。制作数据集的人在不同子集里采用了不同粒度,训练阶段把波音737-800标成“波音737”,测试集里又标成“波音737-800”,模型的输出层定义就会和测试标签对不上。
解决的核心是建立一个类别映射表,统一粒度后再计算指标。不要试图通过改模型输出维度来掩盖数据问题。
# 将细粒度标签合并到粗粒度类别 merge_map = { "Boeing737-700": "Boeing737", "Boeing737-800": "Boeing737", "Boeing737-900": "Boeing737", } def normalize_label(raw_label): return merge_map.get(raw_label, raw_label) df["label_main"] = df["label_name"].apply(normalize_label) df["label_id"] = df["label_main"].astype("category").cat.codes合并之后,训练集和测试集需要重新统计样本数,确认双方在同一个粒度体系下。如果只调整测试集而不调整训练集,模型输出类别和测试标签还是对不上,评测代码会直接报维度错误。我在项目里建议把这份merge_map保存成JSON,作为数据集说明的一部分传递下去,方便复盘。
4.4 坑四:把测试集当成验证集反复调参,验证集曲线越调越没法看
不少同学会在一个测试集上来回试不同学习率、不同主干网络,对比哪个精度高就选哪个。这种做法在项目开发中非常普遍,但本质上是把测试集的信息泄露到了模型选择过程中。最终你选出的模型在另一个真实测试集上,往往比当前结果差2到4个百分点。
正确做法是从训练集里切出独立的验证集,比如随机抽15%当验证。每次修改模型结构、学习率、数据增强策略,都只看验证集的结果,只有最终模型完全敲定后,才允许在测试集上跑一次。如果你手里只有一个测试集,没有官方验证集,可以考虑从测试集中抽一小部分当开发集,但必须明确:这部分样本不再参与最终指标汇报。
注意:不要在测试集上做任何基于结果反馈的决策,包括“这个类识别不好,我要加训练数据”这种想法。一旦测试结果影响你的改动,测试集就不再是测试集,而是变成了验证集。
4.5 坑五:预处理与训练时不一致,精度凭空掉三四个点
这个问题在多人协作项目里最容易出现。训练脚本里用的是RandomResizedCrop(224)加RandomHorizontalFlip,但测试脚本只用了Resize((224, 224))。表面看都是224×224,实际输入分布差很多。ImageNet预训练模型对中心裁剪、缩放方式很敏感,飞机这类有细长机身的物体尤其明显。
我一般在项目根目录放一个config.py,把训练和测试共用的预处理参数集中定义。
# config.py IMG_SIZE = 224 NORMALIZE_MEAN = [0.485, 0.456, 0.406] NORMALIZE_STD = [0.229, 0.224, 0.225] # 测试时推荐:等比缩放后中心裁剪 TEST_TRANSFORM = [ transforms.Resize((int(IMG_SIZE * 1.14), int(IMG_SIZE * 1.14))), transforms.CenterCrop(IMG_SIZE), transforms.ToTensor(), transforms.Normalize(NORMALIZE_MEAN, NORMALIZE_STD), ]Resize到256再CenterCrop到224这种方式,比直接Resize((224, 224))更能保留机身细节,因为直接压缩会改变长宽比,导致机型轮廓变形。如果你训练的预处理里用了RandomResizedCrop,测试阶段直接CenterCrop会在整体精度上更接近。总而言之,训练和测试的预处理参数必须来自同一个配置文件,这是消掉非模型因素影响的最低成本手段。
5. 把测试集用到极致:困难样本排序与伪验证集技巧
评测跑通、坑也填了,测试集还可以在项目后半段发挥更大价值。许多人只把测试集当“最终打分机器”,实际上它是一份免费的错误分析宝库,尤其适合细粒度分类场景。
5.1 用测试集构造“伪验证集”,快速定位误分类模式
在交最终报告前,我会从测试集里随机抽20%样本组成一个临时的“伪验证集”,专门用来快速验证加载脚本、可视化代码、混淆矩阵生成逻辑是否正常。注意,这个伪验证集只用来调试流程,不参与任何调参决策,它更像一把尺子而不是一个对手,能帮你确认评测管线本身没有手工流程带来的偏差。
5.2 按置信度对错误样本排序,找模型盲区
保存测试集的预测概率,按“真实类别预测错误的置信度”从高到低排序,置信度越高但预测错了,说明模型对这类样本存在“过度自信的盲区”。把这些样本单独拉出来看,你会发现它们通常属于侧面光照极强、机翼遮挡严重或背景包含复杂地物的图片。针对这些样本做数据增强,比盲目增加整类数据更高效。
5.3 一个我保留下来的习惯:训练前先跑通全流程的Dry Run
我现在每次做新数据集,都会先写一个只加载100张图片的dry-run脚本,启动训练前先在CPU上跑一遍,验证从数据集加载到输出评测报表的整条链路通不通。这个习惯帮我避免过好多次在训练了十几个小时后才发现测试集读取代码有问题的“事故”。训练时可以没有测试集,但交付时不能。希望这个习惯也能帮到你。
本文还有配套的精品资源,点击获取