扫描中断不用从头再来Aliens Eye 的 --resume 断点续扫机制深度解析【免费下载链接】Aliens_eyeHunt down 840 social media accounts using AI项目地址: https://gitcode.com/gh_mirrors/al/Aliens_eye为什么大规模扫描需要断点续扫 ️Aliens Eye是一个 AI 驱动的社交媒体用户名扫描器一次扫描覆盖840 社交平台。听起来很快但实际跑一轮完整扫描要逐一访问成百上千个网站期间难免遭遇网络抖动、代理断连、按了Ctrl-C、甚至机器意外断电。如果每次中断都得从头再来几十分钟的工作就白费了。Aliens Eye 的--resume参数断点续扫正是为此而生它把每个已完成站点的结果实时写入一个 checkpoint 检查点文件中断后再次运行同一命令加上--resume就能从上次停下的位置继续而不是重新访问每一个网站。快速上手三步完成断点续扫整个过程不需要任何额外配置三步走1️⃣ 首次扫描时带上 checkpoint 文件aliens_eye myusername --resume scan.jsonl--resume后面的路径比如scan.jsonl就是检查点文件。第一次运行时文件还不存在Aliens Eye 会自动创建它并开始扫描。2️⃣ 扫描中途中断无论什么原因3️⃣ 用同一条命令重新运行aliens_eye myusername --resume scan.jsonlAliens Eye 会读出 checkpoint 文件发现哪些站点已经扫过直接复用旧结果只补扫剩余的站点。终端会打印一行提示例如Resuming myusername: 523 site(s) from checkpoint, 318 remaining.扫完之后checkpoint 文件会被自动删除——因为它已经完成使命不再需要了。工作原理一行一个结果的 JSONL 文件断点续扫的全部秘密都在 core/checkpoint.py 这个模块里。它的设计哲学非常朴素——每完成一个站点就立刻往文件里追加一行所以即使进程下一秒就崩溃已经扫过的站点也不会丢。checkpoint 文件是一个 JSONL每行一个 JSON 对象文件内容形如{variation: myusername, site: github, result: {status: Found, confidence: 97, ...}} {variation: myusername, site: reddit, result: {status: Not Found, ...}}这里有两个值得注意的工程细节逐行追加写而非整个扫描结束后一次性保存。Checkpoint.record()每写完一行就落盘这是崩溃安全的关键。损坏容错。如果文件被写坏了一半比如断电时正好写到一半加载时会捕获异常并当作空 checkpoint 处理——不会让你整个扫描报错最多就是重新扫一遍。这个防御逻辑见 checkpoint.py 的_load方法。恢复逻辑怎么知道哪些站点扫过了扫描主流程在 core/scanner.py 的scan_all_sites方法里。恢复时的判断逻辑是这样的scanner.py用checkpoint.results_for(username)查出该用户名已完成的站点 → 结果的映射从全部站点里减去已完成的部分得到待扫描队列pending已完成的结果直接并入最终结果列表不再发起任何网络请求如果pending为空说明上次已经扫完了直接返回一次请求都不发。而写入端在 worker 中scanner.py每个并发 worker 每处理完一个站点都会await checkpoint.record(...)把结果落盘。注意这里用asyncio.Lock保护写入避免多个并发 worker 同时写文件时互相踩踏。还有一个细节checkpoint 写入失败比如磁盘满时只记录 debug 日志、不中断扫描——检查点是尽力而为best-effort的主流程的健壮性永远优先。深入理解检查点是按用户名变体组织的这一点新手容易忽略直接影响你的扫描命令。Aliens Eye 的--level参数会生成用户名变体basic只扫原用户名本身1 个变体intermediate加上_、.等前缀/后缀变体advanced再加更多组合变体数量成倍增长checkpoint 的键是(变体用户名, 站点)的组合也就是说每个变体独立记账。如果你在跑advanced级别几十个变体 × 840 站点 数万个检查点时中断恢复后每个变体都会只补自己没扫完的站点。⚠️实用建议变体越多、扫描越久越推荐配合--resume使用。一次跑错地方重跑的成本随变体数线性增长。扫描全部完成后checkpoint 去哪了回到 cli.py 的主流程所有用户名扫完、结果导出之后会调用checkpoint.finalize()cli.py。这个方法就是删除 checkpoint 文件。这形成了一个很干净的闭环时刻checkpoint 文件状态首次运行--resume scan.jsonl自动创建随扫描逐行增长中途被 Ctrl-C / 崩溃保留在磁盘上已完成的站点都安全再次--resume scan.jsonl读取 → 跳过已完成 → 继续追加全部扫完finalize()自动删除不留垃圾所以你会看到磁盘上存在scan.jsonl 扫描尚未完成它消失了 上次已经跑完。实战技巧与常见疑问 Q1checkpoint 文件名一定要叫scan.jsonl吗不用。--resume接受任意路径scan.jsonl、~/ck/progress.jsonl都可以目录不存在时会自动创建。Q2中断后想换个扫描级别再续扫可以吗建议保持相同参数同一用户名、同一--level。级别变了意味着变体列表变了checkpoint 里旧变体的结果虽然仍会被复用但你可能会漏掉新级别下多出来的变体——那些没记录过的组合会被当新任务重新扫行为是对的但语义上容易混乱。Q3多个用户名能共用一个 checkpoint 吗能。checkpoint 是按 (用户名变体, 站点) 记账的不同用户名的条目互不干扰一次多用户名扫描中断后同样可以整批续扫。Q4checkpoint 文件会不会越来越大不会失控。每个条目只存结果摘要状态、置信度、特征分析一个完整扫描下来通常只有几 MB扫完即自动删除。Q5扫描失败Error 状态的站点会被续扫吗不会。Error结果和Found一样被记入 checkpoint恢复时视为已处理直接复用。如果你怀疑某个 Error 是网络问题导致的误判删掉 checkpoint 文件重扫该部分即可。适用场景清单 ✅长时间扫描advanced 级别 全平台耗时可达数十分钟不稳定网络环境代理/Tor 频繁断连、公司网闸限制批量调查多用户名连续扫描中途需要临时让出机器CI 与自动化结合--plain参数任务被杀后重跑不浪费已有进度小结Aliens Eye 的--resume断点续扫机制本质上是用一个逐行追加、崩溃安全、自动清理的 JSONL 检查点文件把一次性的扫描任务变成了可暂停、可恢复的长期任务。实现上只有三个关键点逐站点落盘——每完成一个站点立即追加写一行checkpoint.py按 (变体, 站点) 去重——恢复时精确跳过已完成项scanner.py成功后自清理——扫描完成自动删除 checkpointcli.py下次运行aliens_eye时只要在命令末尾加上--resume 你的文件.jsonl中断就不再是灾难而只是休息一下 ☕。更多功能--correlate跨站聚类、--watch定时监控、--domains域名检查等可查看 README 和 WORKING.md 获取完整文档。【免费下载链接】Aliens_eyeHunt down 840 social media accounts using AI项目地址: https://gitcode.com/gh_mirrors/al/Aliens_eye创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 扫描中断不用从头再来：Aliens Eye 的 --resume 断点续扫机制深度解析
扫描中断不用从头再来Aliens Eye 的 --resume 断点续扫机制深度解析【免费下载链接】Aliens_eyeHunt down 840 social media accounts using AI项目地址: https://gitcode.com/gh_mirrors/al/Aliens_eye为什么大规模扫描需要断点续扫 ️Aliens Eye是一个 AI 驱动的社交媒体用户名扫描器一次扫描覆盖840 社交平台。听起来很快但实际跑一轮完整扫描要逐一访问成百上千个网站期间难免遭遇网络抖动、代理断连、按了Ctrl-C、甚至机器意外断电。如果每次中断都得从头再来几十分钟的工作就白费了。Aliens Eye 的--resume参数断点续扫正是为此而生它把每个已完成站点的结果实时写入一个 checkpoint 检查点文件中断后再次运行同一命令加上--resume就能从上次停下的位置继续而不是重新访问每一个网站。快速上手三步完成断点续扫整个过程不需要任何额外配置三步走1️⃣ 首次扫描时带上 checkpoint 文件aliens_eye myusername --resume scan.jsonl--resume后面的路径比如scan.jsonl就是检查点文件。第一次运行时文件还不存在Aliens Eye 会自动创建它并开始扫描。2️⃣ 扫描中途中断无论什么原因3️⃣ 用同一条命令重新运行aliens_eye myusername --resume scan.jsonlAliens Eye 会读出 checkpoint 文件发现哪些站点已经扫过直接复用旧结果只补扫剩余的站点。终端会打印一行提示例如Resuming myusername: 523 site(s) from checkpoint, 318 remaining.扫完之后checkpoint 文件会被自动删除——因为它已经完成使命不再需要了。工作原理一行一个结果的 JSONL 文件断点续扫的全部秘密都在 core/checkpoint.py 这个模块里。它的设计哲学非常朴素——每完成一个站点就立刻往文件里追加一行所以即使进程下一秒就崩溃已经扫过的站点也不会丢。checkpoint 文件是一个 JSONL每行一个 JSON 对象文件内容形如{variation: myusername, site: github, result: {status: Found, confidence: 97, ...}} {variation: myusername, site: reddit, result: {status: Not Found, ...}}这里有两个值得注意的工程细节逐行追加写而非整个扫描结束后一次性保存。Checkpoint.record()每写完一行就落盘这是崩溃安全的关键。损坏容错。如果文件被写坏了一半比如断电时正好写到一半加载时会捕获异常并当作空 checkpoint 处理——不会让你整个扫描报错最多就是重新扫一遍。这个防御逻辑见 checkpoint.py 的_load方法。恢复逻辑怎么知道哪些站点扫过了扫描主流程在 core/scanner.py 的scan_all_sites方法里。恢复时的判断逻辑是这样的scanner.py用checkpoint.results_for(username)查出该用户名已完成的站点 → 结果的映射从全部站点里减去已完成的部分得到待扫描队列pending已完成的结果直接并入最终结果列表不再发起任何网络请求如果pending为空说明上次已经扫完了直接返回一次请求都不发。而写入端在 worker 中scanner.py每个并发 worker 每处理完一个站点都会await checkpoint.record(...)把结果落盘。注意这里用asyncio.Lock保护写入避免多个并发 worker 同时写文件时互相踩踏。还有一个细节checkpoint 写入失败比如磁盘满时只记录 debug 日志、不中断扫描——检查点是尽力而为best-effort的主流程的健壮性永远优先。深入理解检查点是按用户名变体组织的这一点新手容易忽略直接影响你的扫描命令。Aliens Eye 的--level参数会生成用户名变体basic只扫原用户名本身1 个变体intermediate加上_、.等前缀/后缀变体advanced再加更多组合变体数量成倍增长checkpoint 的键是(变体用户名, 站点)的组合也就是说每个变体独立记账。如果你在跑advanced级别几十个变体 × 840 站点 数万个检查点时中断恢复后每个变体都会只补自己没扫完的站点。⚠️实用建议变体越多、扫描越久越推荐配合--resume使用。一次跑错地方重跑的成本随变体数线性增长。扫描全部完成后checkpoint 去哪了回到 cli.py 的主流程所有用户名扫完、结果导出之后会调用checkpoint.finalize()cli.py。这个方法就是删除 checkpoint 文件。这形成了一个很干净的闭环时刻checkpoint 文件状态首次运行--resume scan.jsonl自动创建随扫描逐行增长中途被 Ctrl-C / 崩溃保留在磁盘上已完成的站点都安全再次--resume scan.jsonl读取 → 跳过已完成 → 继续追加全部扫完finalize()自动删除不留垃圾所以你会看到磁盘上存在scan.jsonl 扫描尚未完成它消失了 上次已经跑完。实战技巧与常见疑问 Q1checkpoint 文件名一定要叫scan.jsonl吗不用。--resume接受任意路径scan.jsonl、~/ck/progress.jsonl都可以目录不存在时会自动创建。Q2中断后想换个扫描级别再续扫可以吗建议保持相同参数同一用户名、同一--level。级别变了意味着变体列表变了checkpoint 里旧变体的结果虽然仍会被复用但你可能会漏掉新级别下多出来的变体——那些没记录过的组合会被当新任务重新扫行为是对的但语义上容易混乱。Q3多个用户名能共用一个 checkpoint 吗能。checkpoint 是按 (用户名变体, 站点) 记账的不同用户名的条目互不干扰一次多用户名扫描中断后同样可以整批续扫。Q4checkpoint 文件会不会越来越大不会失控。每个条目只存结果摘要状态、置信度、特征分析一个完整扫描下来通常只有几 MB扫完即自动删除。Q5扫描失败Error 状态的站点会被续扫吗不会。Error结果和Found一样被记入 checkpoint恢复时视为已处理直接复用。如果你怀疑某个 Error 是网络问题导致的误判删掉 checkpoint 文件重扫该部分即可。适用场景清单 ✅长时间扫描advanced 级别 全平台耗时可达数十分钟不稳定网络环境代理/Tor 频繁断连、公司网闸限制批量调查多用户名连续扫描中途需要临时让出机器CI 与自动化结合--plain参数任务被杀后重跑不浪费已有进度小结Aliens Eye 的--resume断点续扫机制本质上是用一个逐行追加、崩溃安全、自动清理的 JSONL 检查点文件把一次性的扫描任务变成了可暂停、可恢复的长期任务。实现上只有三个关键点逐站点落盘——每完成一个站点立即追加写一行checkpoint.py按 (变体, 站点) 去重——恢复时精确跳过已完成项scanner.py成功后自清理——扫描完成自动删除 checkpointcli.py下次运行aliens_eye时只要在命令末尾加上--resume 你的文件.jsonl中断就不再是灾难而只是休息一下 ☕。更多功能--correlate跨站聚类、--watch定时监控、--domains域名检查等可查看 README 和 WORKING.md 获取完整文档。【免费下载链接】Aliens_eyeHunt down 840 social media accounts using AI项目地址: https://gitcode.com/gh_mirrors/al/Aliens_eye创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考