InMemoryDataset 深度指南PyTorch Geometric 图数据加载与内存优化【免费下载链接】pytorch_geometricGraph Neural Network Library for PyTorch项目地址: https://gitcode.com/GitHub_Trending/py/pytorch_geometric在 PyTorch Geometric 里搭第一个自定义图数据集时大多数人的第一反应是直接遍历一张一张图地存可当样本量上去之后内存被悄悄吃掉训练还没开始就先爆掉。而 PyG 的InMemoryDataset走的是一条完全不同的路——它不把样本一张张存起来而是先合并再存储。搞懂这一招图数据加载和内存优化就不再是玄学选型也有了依据。一本大账本合并存储为什么更省内存先打个比方把 10 万本各装几页的小账本合并成一本厚账本再附一张页码索引表记下第 N 本记在哪个区间。图数据集的合并存储就是这个思路——所有样本的特征张量首尾拼接成一个大张量slices字典记录每个样本在各属性上的起止位置本质是累积和。落到代码里核心就两件事collate()见torch_geometric/data/collate.py把一组Data拼成单个大对象特征走torch.catslices存拼接后各段的偏移量。注意edge_index这类节点编号属性不能直接拼——第二个图的节点 0 必须接着第一个图的编号走所以合并时要先加上偏移量取回样本时separate()见torch_geometric/data/separate.py按slices[idx]到slices[idx1]用narrow切出区间再把偏移量减回去还原出原始编号。省内存的逻辑在于内存里只有一份数据而不是 N 份对象壳且特征连续存放在大张量里访问顺序友好。这也是为什么 Cora、CiteSeer 这类中小规模引用数据集非常适合放在内存里跑。数据是怎么流动的从落盘到批处理一次完整的存取链路可以串成三句话。写你在process()里拿到data_list后调用collate()得到合并后的大对象和slices再由InMemoryDataset.save()把(data, slices, 类型)序列化到processed/目录——此后原始文件就可以只留作备查。读实例化时load()把大对象整块读进内存。第一次调用get(idx)时separate()按索引切出第 idx 个样本同时顺手存进内部列表_data_list之后再取同一个 idx直接命中缓存返回副本不再重复切分。这个缓存对同一张图反复取的访问模式比如验证集轮次访问收益最明显。用DataLoader每个 worker 对数据集做dataset[idx]触发上述get()路径随后Batch.from_data_list()把一个 mini-batch 里的样本再合并成批对象。讽刺的是这里用的合并机制和合并存储是同一套collate——slices 在批处理环节还会被复用成batch/ptr向量。不同数据规模下 Dataset 怎么选InMemoryDataset和OnDiskDatasettorch_geometric/data/on_disk_dataset.py底层支持sqlite/rocksdb两种后端的定位差异可以这样对比维度InMemoryDatasetOnDiskDataset内存占用全量特征驻留内存随样本数线性增长只存索引与元信息按需读随机取数速度快内存切片 缓存慢走磁盘 IO 与反序列化适用规模特征总量在可用内存内的中小数据集内存装不下的大数据集分布式读取不友好数据整体属于单进程可配合官方分布式加载流程经验上Cora 级别的引用网络、QM9 级别的分子集放心用内存版当特征拼起来的总量逼近可用内存、或你准备多机训练时就该考虑切到磁盘格式了。内存吃紧时如何切换到磁盘存储最省事的路径是官方提供的转换方法一段代码即可完成import torch_geometric disk_ds dataset.to_on_disk_dataset(rootdata/molecule_on_disk, backendsqlite)它会把内存集逐条每 1000 条一批写进数据库文件。两点提醒当前实现只支持同构图异构图会抛NotImplementedError如果数据规模大到先全量进内存再转出都不现实就跳过转换直接继承OnDiskDataset重写process()边读原始数据边extend()落库。加载太慢时先确认优化方向没走偏保证pre_transform的产物已落盘到processed/——它只应执行一次后续实例化直接load()对固定子集如训练索引做dataset.copy(train_idx)数据集本体变小缓存也更好命中内存够的话dataset.to(cuda)可把整份特征一次性搬上卡省掉逐样本搬运的开销。分布式训练下 InMemoryDataset 的替代思路InMemoryDataset的全部数据都挂在单个进程里多卡、多节点场景下没有每个 worker 读自己那份的能力这是它的设计边界而非 bug。两条替代路线转磁盘 官方分布式流程转成OnDiskDataset后按examples/distributed/里的方案做数据分区采样器子进程负责拉取邻居训练进程只消费自己分区内的数据。整图先按连通块划分到各机器再各自采样干脆不整图加载用NeighborLoader/DistNeighborLoader这类采样式加载器按需取局部子图全量图可以只存在于磁盘内存压力从样本总量降到单步邻域大小。完整实战自定义 InMemoryDataset 模板这段代码展示一个可运行的最小模板子类只需声明两个文件名属性并在download()/process()里各放一段逻辑基类会自动处理目录结构、缓存判断与落盘。import os.path as osp import torch from torch_geometric.data import Data, InMemoryDataset class MoleculeSet(InMemoryDataset): def __init__(self, root, transformNone, pre_transformNone): super().__init__(root, transform, pre_transform) # 基类发现 processed 文件缺失时会自动走 download() - process() merged, self.slices torch.load(self.processed_paths[0]) self.data merged property def raw_file_names(self): return [molecules_raw.pt] property def processed_file_names(self): return [molecule_merged.pt] def download(self): # 这里放原始数据的获取逻辑若数据已就位留空即可 torch.save(self._load_raw_source(), self.raw_paths[0]) def process(self): raw torch.load(self.raw_paths[0]) # 逐样本清洗、补全再交给 pre_transform若有 graphs [] for mol in raw: g self._prepare(mol) if self.pre_filter is not None and not self.pre_filter(g): continue if self.pre_transform is not None: g self.pre_transform(g) graphs.append(g) # 合并为单一大对象 slices一并落盘 merged, slices self.collate(graphs) torch.save((merged, slices), self.processed_paths[0])各方法的分工两个*_file_names属性只回答哪些文件构成数据基类据此判断是否需要重跑download()负责把原始数据放进raw/process()是真正的流水线——清洗、过滤、变换、合并、落盘。之后无论重启多少次进程__init__里的那句torch.load都会直接命中processed/合并开销只发生一次。接入训练循环则交给DataLoader它会按索引取样本并自动完成批合并from torch_geometric.loader import DataLoader loader DataLoader(MoleculeSet(data/molecule/), batch_size32, shuffleTrue) for batch in loader: out model(batch.x, batch.edge_index, batch.batch)三条可以直接执行的收尾建议动手前算一笔账样本特征总量节点数 × 维度 × dtype 字节数是否小于可用内存的 2/3超了就直上磁盘格式别和内存硬扛。训练/验证/测试拆集用dataset.copy(idx)生成子集而不是每次循环里都过滤原始集子集更小缓存命中率更高。需要多机或大模型采样时尽早把流程迁到OnDiskDataset或采样式加载器InMemoryDataset留给单机、中规模、读多写少的场景。机制层面的细节collate/separate对异构图、稀疏张量的处理与建集完整教程建议对照仓库内docs/source/tutorial/的 create_dataset 一节和torch_geometric/data/目录下的源码注释精读一遍配合本文的类比会容易得多。【免费下载链接】pytorch_geometricGraph Neural Network Library for PyTorch项目地址: https://gitcode.com/GitHub_Trending/py/pytorch_geometric创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 InMemoryDataset 深度指南：PyTorch Geometric 图数据加载与内存优化
InMemoryDataset 深度指南PyTorch Geometric 图数据加载与内存优化【免费下载链接】pytorch_geometricGraph Neural Network Library for PyTorch项目地址: https://gitcode.com/GitHub_Trending/py/pytorch_geometric在 PyTorch Geometric 里搭第一个自定义图数据集时大多数人的第一反应是直接遍历一张一张图地存可当样本量上去之后内存被悄悄吃掉训练还没开始就先爆掉。而 PyG 的InMemoryDataset走的是一条完全不同的路——它不把样本一张张存起来而是先合并再存储。搞懂这一招图数据加载和内存优化就不再是玄学选型也有了依据。一本大账本合并存储为什么更省内存先打个比方把 10 万本各装几页的小账本合并成一本厚账本再附一张页码索引表记下第 N 本记在哪个区间。图数据集的合并存储就是这个思路——所有样本的特征张量首尾拼接成一个大张量slices字典记录每个样本在各属性上的起止位置本质是累积和。落到代码里核心就两件事collate()见torch_geometric/data/collate.py把一组Data拼成单个大对象特征走torch.catslices存拼接后各段的偏移量。注意edge_index这类节点编号属性不能直接拼——第二个图的节点 0 必须接着第一个图的编号走所以合并时要先加上偏移量取回样本时separate()见torch_geometric/data/separate.py按slices[idx]到slices[idx1]用narrow切出区间再把偏移量减回去还原出原始编号。省内存的逻辑在于内存里只有一份数据而不是 N 份对象壳且特征连续存放在大张量里访问顺序友好。这也是为什么 Cora、CiteSeer 这类中小规模引用数据集非常适合放在内存里跑。数据是怎么流动的从落盘到批处理一次完整的存取链路可以串成三句话。写你在process()里拿到data_list后调用collate()得到合并后的大对象和slices再由InMemoryDataset.save()把(data, slices, 类型)序列化到processed/目录——此后原始文件就可以只留作备查。读实例化时load()把大对象整块读进内存。第一次调用get(idx)时separate()按索引切出第 idx 个样本同时顺手存进内部列表_data_list之后再取同一个 idx直接命中缓存返回副本不再重复切分。这个缓存对同一张图反复取的访问模式比如验证集轮次访问收益最明显。用DataLoader每个 worker 对数据集做dataset[idx]触发上述get()路径随后Batch.from_data_list()把一个 mini-batch 里的样本再合并成批对象。讽刺的是这里用的合并机制和合并存储是同一套collate——slices 在批处理环节还会被复用成batch/ptr向量。不同数据规模下 Dataset 怎么选InMemoryDataset和OnDiskDatasettorch_geometric/data/on_disk_dataset.py底层支持sqlite/rocksdb两种后端的定位差异可以这样对比维度InMemoryDatasetOnDiskDataset内存占用全量特征驻留内存随样本数线性增长只存索引与元信息按需读随机取数速度快内存切片 缓存慢走磁盘 IO 与反序列化适用规模特征总量在可用内存内的中小数据集内存装不下的大数据集分布式读取不友好数据整体属于单进程可配合官方分布式加载流程经验上Cora 级别的引用网络、QM9 级别的分子集放心用内存版当特征拼起来的总量逼近可用内存、或你准备多机训练时就该考虑切到磁盘格式了。内存吃紧时如何切换到磁盘存储最省事的路径是官方提供的转换方法一段代码即可完成import torch_geometric disk_ds dataset.to_on_disk_dataset(rootdata/molecule_on_disk, backendsqlite)它会把内存集逐条每 1000 条一批写进数据库文件。两点提醒当前实现只支持同构图异构图会抛NotImplementedError如果数据规模大到先全量进内存再转出都不现实就跳过转换直接继承OnDiskDataset重写process()边读原始数据边extend()落库。加载太慢时先确认优化方向没走偏保证pre_transform的产物已落盘到processed/——它只应执行一次后续实例化直接load()对固定子集如训练索引做dataset.copy(train_idx)数据集本体变小缓存也更好命中内存够的话dataset.to(cuda)可把整份特征一次性搬上卡省掉逐样本搬运的开销。分布式训练下 InMemoryDataset 的替代思路InMemoryDataset的全部数据都挂在单个进程里多卡、多节点场景下没有每个 worker 读自己那份的能力这是它的设计边界而非 bug。两条替代路线转磁盘 官方分布式流程转成OnDiskDataset后按examples/distributed/里的方案做数据分区采样器子进程负责拉取邻居训练进程只消费自己分区内的数据。整图先按连通块划分到各机器再各自采样干脆不整图加载用NeighborLoader/DistNeighborLoader这类采样式加载器按需取局部子图全量图可以只存在于磁盘内存压力从样本总量降到单步邻域大小。完整实战自定义 InMemoryDataset 模板这段代码展示一个可运行的最小模板子类只需声明两个文件名属性并在download()/process()里各放一段逻辑基类会自动处理目录结构、缓存判断与落盘。import os.path as osp import torch from torch_geometric.data import Data, InMemoryDataset class MoleculeSet(InMemoryDataset): def __init__(self, root, transformNone, pre_transformNone): super().__init__(root, transform, pre_transform) # 基类发现 processed 文件缺失时会自动走 download() - process() merged, self.slices torch.load(self.processed_paths[0]) self.data merged property def raw_file_names(self): return [molecules_raw.pt] property def processed_file_names(self): return [molecule_merged.pt] def download(self): # 这里放原始数据的获取逻辑若数据已就位留空即可 torch.save(self._load_raw_source(), self.raw_paths[0]) def process(self): raw torch.load(self.raw_paths[0]) # 逐样本清洗、补全再交给 pre_transform若有 graphs [] for mol in raw: g self._prepare(mol) if self.pre_filter is not None and not self.pre_filter(g): continue if self.pre_transform is not None: g self.pre_transform(g) graphs.append(g) # 合并为单一大对象 slices一并落盘 merged, slices self.collate(graphs) torch.save((merged, slices), self.processed_paths[0])各方法的分工两个*_file_names属性只回答哪些文件构成数据基类据此判断是否需要重跑download()负责把原始数据放进raw/process()是真正的流水线——清洗、过滤、变换、合并、落盘。之后无论重启多少次进程__init__里的那句torch.load都会直接命中processed/合并开销只发生一次。接入训练循环则交给DataLoader它会按索引取样本并自动完成批合并from torch_geometric.loader import DataLoader loader DataLoader(MoleculeSet(data/molecule/), batch_size32, shuffleTrue) for batch in loader: out model(batch.x, batch.edge_index, batch.batch)三条可以直接执行的收尾建议动手前算一笔账样本特征总量节点数 × 维度 × dtype 字节数是否小于可用内存的 2/3超了就直上磁盘格式别和内存硬扛。训练/验证/测试拆集用dataset.copy(idx)生成子集而不是每次循环里都过滤原始集子集更小缓存命中率更高。需要多机或大模型采样时尽早把流程迁到OnDiskDataset或采样式加载器InMemoryDataset留给单机、中规模、读多写少的场景。机制层面的细节collate/separate对异构图、稀疏张量的处理与建集完整教程建议对照仓库内docs/source/tutorial/的 create_dataset 一节和torch_geometric/data/目录下的源码注释精读一遍配合本文的类比会容易得多。【免费下载链接】pytorch_geometricGraph Neural Network Library for PyTorch项目地址: https://gitcode.com/GitHub_Trending/py/pytorch_geometric创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考