人工智能AI 应用AI 技能RAGMCP 服务网页爬虫【免费下载链接】Skill_SeekersConvert documentation websites, GitHub repositories, and PDFs into Claude AI skills with automatic conflict detection项目地址https://gitcode.com/gh_mirrors/sk/Skill_Seekers点击查看免费下载导读本文是 Skill Seekers 项目的生产环境部署权威指南覆盖从裸机安装、环境变量配置、GitHub/API 密钥管理到 systemd、Docker、Kubernetes 与 Docker Compose 四种部署形态的完整落地路径并给出监控告警、安全加固、横向扩容、备份恢复与故障排查的一线运维清单。读完本文你将掌握 Skill Seekers 在生产环境中「装得上、配得对、起得来、盯得住、坏得了能恢复」的整套工程能力并了解其 MCP 服务端server_fastmcp.py在 HTTP/stdio 两种传输模式下的真实启动方式与健康检查语义。目录一、部署前置条件二、生产安装与配置目录三、环境变量与密钥管理四、交互式配置GitHub、API Keys 与连接测试五、四种部署形态详解六、监控与可观测性七、安全加固八、扩容与性能调优九、备份与灾难恢复十、常见故障排查与 Debug 模式十一、落地清单与后续动作一、部署前置条件1.1 系统资源要求Skill Seekers 的本质是一个「文档抓取 AI 增强 打包分发」的流水线抓取阶段依赖 requests/httpx 发起大量并发请求增强阶段会调用 Anthropic/Gemini/OpenAI 等 LLM API嵌入生成阶段还可能加载 sentence-transformers 模型。因此资源规划需要区分两档档位CPU内存磁盘Python最低配置2 核4 GB10 GB3.10生产推荐4 核8 GB50 GB SSD3.12其中 Python 版本要求与项目元数据一致仓库 pyproject.toml 中声明requires-python 3.10且 CI/镜像环境见下文Dockerfile.mcp默认使用python:3.12-slim。SSD 的推荐主要针对 SQLite 数据库、缓存目录与日志文件等随机 IO 密集场景详见「性能调优」章节。1.2 系统依赖安装必需系统包Ubuntu/Debiansudo apt update sudo apt install -y python3.12 python3.12-venv python3-pip \ git curl wget build-essential libssl-dev必需系统包RHEL/CentOSsudo yum install -y python312 python312-devel git curl wget \ gcc gcc-c openssl-develgit、curl、wget是抓取 GitHub 仓库、下载文档与健康检查容器内的curl -f的基础依赖libssl-dev/openssl-devel用于编译 HTTPS 相关扩展。按需可选组件# OCR 支持PDF 抓取场景见 docs/features/PDF_SCRAPER.md 相关模块 sudo apt install -y tesseract-ocr # 云存储按所选厂商通过 pip 安装对应 SDK # 嵌入生成如需 GPU 加速需额外配置 CUDA 环境二、生产安装与配置目录2.1 创建专用用户与虚拟环境生产环境强烈建议使用独立系统用户运行避免以 root 直接执行抓取与打包任务# 创建专用用户 sudo useradd -m -s /bin/bash skillseekers sudo su - skillseekers # 创建虚拟环境 python3.12 -m venv /opt/skillseekers/venv source /opt/skillseekers/venv/bin/activate # 安装包[all] 安装全部可选依赖 pip install --upgrade pip pip install skill-seekers[all] # 验证安装 skill-seekers --version安装完成后skill-seekers命令即成为统一 CLI 入口。从仓库 cli/main.py 的入口实现可见该命令注册了create、detect、scan、doctor、config、enhance、package、upload、install、estimate、resume、sync-config等十余个子命令版本号由 src/skill_seekers/_version.py 动态读取pyproject.toml的project.version当前为3.10.0.dev0保证--version输出与打包版本始终一致。2.2 配置目录结构# 创建配置目录 mkdir -p ~/.config/skill-seekers/{configs,output,logs,cache} # 设置权限 chmod 700 ~/.config/skill-seekers各子目录职责configs/抓取任务使用的 JSON 配置文件仓库根目录 configs/ 下提供react.json、godot.json、unity-spine.json等大量现成模板output/生成的技能包Markdown/zip输出目录logs/应用日志落盘目录cache/抓取缓存重跑任务时可复用避免重复请求。chmod 700确保配置目录仅对运行用户可见这是第一道密钥防线。三、环境变量与密钥管理3.1 环境变量全表创建/opt/skillseekers/.envsystemdEnvironmentFile与 Docker-e均按此约定读取# ── API Keys ───────────────────────────────────────────── ANTHROPIC_API_KEYsk-ant-... GOOGLE_API_KEYAIza... OPENAI_API_KEYsk-... VOYAGE_API_KEY... # ── GitHub Tokens ──────────────────────────────────────── # 多 Token 请使用 skill-seekers config --github 配置多个 profile GITHUB_TOKENghp_... # ── 云存储可选──────────────────────────────────────── AWS_ACCESS_KEY_ID... AWS_SECRET_ACCESS_KEY... GOOGLE_APPLICATION_CREDENTIALS/path/to/gcs-key.json AZURE_STORAGE_CONNECTION_STRING... # ── MCP Server ─────────────────────────────────────────── MCP_TRANSPORThttp MCP_PORT8765 # ── 同步监控可选────────────────────────────────────── SYNC_WEBHOOK_URLhttps://... SLACK_WEBHOOK_URLhttps://hooks.slack.com/... # ── 日志 ───────────────────────────────────────────────── LOG_LEVELINFO LOG_FILE/var/log/skillseekers/app.log3.2 密钥安全红线Security Note:永远不要把.env提交进版本控制# 加固 env 文件权限仅属主可读写 chmod 600 /opt/skillseekers/.env值得说明的是GITHUB_TOKEN在 Skill Seekers 中的消费方包括 github_fetcher.py 与 rate_limit_handler.py无 Token 时 GitHub 匿名 API 限额为 60 次/小时配置 Token 后提升至 5000 次/小时该提示文本直接出现在 rate_limit_handler.py 中多 Token 场景则通过config --github配置多个 profile 并由 rate limit 处理模块自动轮换。四、交互式配置GitHub、API Keys 与连接测试4.1 GitHub 配置skill-seekers config --github该命令直接进入 GitHub Token 配置流程其解析入口定义在 cli/parsers/config_parser.py--github、--api-keys、--show、--test四个开关均在此注册交互逻辑实现在 cli/config_command.py。该流程会添加 GitHub Personal Access Token并支持为每个 profile 设置名称、描述、默认标记default、请求策略strategy与超时时间timeout单位分钟配置限流策略校验 Token 有效性通过 GitHub API 实际探测支持多 profile如 work、personal并通过「Set Default Profile」切换默认 Token。4.2 API Keys 配置skill-seekers config --api-keys在「API Keys」菜单main_menu的选项 2中依次配置Claude APIAnthropic—— 用于 AI 增强pyproject 中对应anthropic0.76.0Gemini APIGoogle—— 对应google适配器OpenAI API —— 对应openai适配器Voyage AI —— 用于嵌入向量生成。4.3 连接测试skill-seekers config --test逐项验证以下连通性从 config_command.py 的实现看GitHub 部分会实际发起requests.get探测各 profile 的 Token✅ GitHub Token 有效性及剩余限流额度✅ Claude API 连通性✅ Gemini API 连通性✅ OpenAI API 连通性✅ 云存储访问若已配置此外skill-seekers config --show可随时查看当前配置摘要对应display_config_summary()skill-seekers doctor是另一条健康检查入口可用来核验依赖与配置完整性。五、四种部署形态详解5.1 Option 1systemd 服务推荐创建/etc/systemd/system/skillseekers-mcp.service[Unit] DescriptionSkill Seekers MCP Server Afternetwork.target [Service] Typesimple Userskillseekers Groupskillseekers WorkingDirectory/opt/skillseekers EnvironmentFile/opt/skillseekers/.env ExecStart/opt/skillseekers/venv/bin/python -m skill_seekers.mcp.server_fastmcp --transport http --port 8765 Restartalways RestartSec10 StandardOutputjournal StandardErrorjournal SyslogIdentifierskillseekers-mcp # 安全加固 NoNewPrivilegestrue PrivateTmptrue ProtectSystemstrict ProtectHometrue ReadWritePaths/opt/skillseekers /var/log/skillseekers [Install] WantedBymulti-user.target启用并启动sudo systemctl daemon-reload sudo systemctl enable skillseekers-mcp sudo systemctl start skillseekers-mcp sudo systemctl status skillseekers-mcp关于启动命令中的--transport http --port 8765在仓库 server_fastmcp.py 中实际注册的是--http布尔开关、--port默认 8000、--host默认127.0.0.1与--log-level默认 INFO四个参数stdio 是默认传输模式--http才切换到 HTTP 模式。因此该 unit 文件亦可写成ExecStart... server_fastmcp --http --host 127.0.0.1 --port 8765两种写法语义等价且 HTTP 模式下的 SSE 端点为/sse、消息端点为/messages/、健康端点为/health详见 server_fastmcp.py 中注册的health_check路由。systemd 安全指令ProtectSystemstrict、ReadWritePaths白名单等可在 systemd 手册中进一步查阅。5.2 Option 2Docker 部署完整说明见 Docker 部署指南。快速启动# 拉取预构建 MCP 镜像 docker pull yusyuss/skill-seekers-mcp:latest # 运行容器 docker run -d \ --name skillseekers-mcp \ -p 8765:8765 \ -e ANTHROPIC_API_KEY$ANTHROPIC_API_KEY \ -e GITHUB_TOKEN$GITHUB_TOKEN \ -v /opt/skillseekers/data:/app/data \ --restart unless-stopped \ yusyuss/skill-seekers-mcp:latest仓库内 Dockerfile.mcp 完整呈现了该镜像的生产级设计值得逐条对照理解基于python:3.12-slim仅安装git与curl后者正是容器 HEALTHCHECK 探活的工具创建非 root 用户mcpUSER mcp并以-e .[all-llms,mcp]安装全部依赖——Dockerfile 注释特别强调必须以[mcp]extra 方式安装mcp包裸装会解析到 mcp 2.x 导致 FastMCP 从mcp.server移出、服务无法启动预设MCP_TRANSPORThttp、MCP_PORT8765CMD以python -m skill_seekers.mcp.server_fastmcp --http --host 0.0.0.0 --port ${PORT:-${MCP_PORT:-8765}}启动——先读云平台注入的$PORT再回退到$MCP_PORT最后回退 8765内置HEALTHCHECK --interval30s ... curl -f http://localhost:${MCP_PORT}/health与下方监控章节的/health语义完全对应。5.3 Option 3Kubernetes 部署完整说明见 Kubernetes 部署指南。Helm 快速安装# 使用仓库内 helm 图表安装 helm install skillseekers ./helm/skillseekers \ --namespace skillseekers \ --create-namespace \ --set secrets.anthropicApiKey$ANTHROPIC_API_KEY \ --set secrets.githubToken$GITHUB_TOKEN图表位于 helm/skillseekers其 values.yaml 定义了secrets.anthropicApiKey、secrets.googleApiKey、secrets.openaiApiKey、secrets.githubToken等敏感项注释明确建议通过--set或外部密钥管理注入并配套configmap.yaml、deployment、service、ingress、hpa、pvc、secret.yaml等模板templates 目录还包含 weaviate/qdrant/chroma 三个向量数据库的 Deployment用于 RAG 检索场景的陪跑部署。5.4 Option 4Docker Compose 多服务编排仓库根目录 docker-compose.yml 提供「CLI MCP 向量库」一体化的完整编排# 启动全部服务CLI、MCP、Weaviate、Qdrant、Chroma docker-compose up -d # 查看状态 docker-compose ps # 跟踪日志 docker-compose logs -fCompose 文件中的关键设计mcp-server服务端口映射8765:8765环境变量注入MCP_TRANSPORThttp与MCP_PORT8765并带/health健康检查curl -f http://localhost:8765/health30s 间隔、10s 超时、3 次重试数据卷挂载./data:/data、./configs:/configs:ro配置只读、./output:/output三个向量数据库Weaviate :8080、Qdrant :6333/:6334、Chroma :8000作为可选检索后端随服务一并拉起对应 MCP 工具中的export_to_weaviate、export_to_chroma、export_to_qdrant导出能力见 server_fastmcp.py 工具清单。四种方式按场景取舍单机持久化选 systemd需要隔离与分发选 Docker多实例/弹性伸缩选 Kubernetes本地完整复刻含向量库选 Docker Compose。六、监控与可观测性6.1 健康检查MCP 服务在 HTTP 模式下内置/health端点注册逻辑见 server_fastmcp.pycurl http://localhost:8765/health预期返回 JSON字段以实际部署版本为准仓库实现固定返回status/server/version/transport/endpoints五组信息{ status: healthy, version: 2.9.0, uptime: 3600, tools: 25 }该端点同时被 DockerHEALTHCHECK与 Compose healthcheck 复用是容器探活的事实标准。6.2 结构化日志将LOG_LEVEL、LOG_FILE环境变量与 Python logging 配置结合可输出 JSON 结构化日志# config/logging.yaml version: 1 formatters: json: format: {time:%(asctime)s,level:%(levelname)s,msg:%(message)s} handlers: file: class: logging.handlers.RotatingFileHandler filename: /var/log/skillseekers/app.log maxBytes: 10485760 # 10MB backupCount: 5 formatter: json loggers: skill_seekers: level: INFO handlers: [file]RotatingFileHandler以 10MB 为阈值滚动、保留 5 份历史避免日志无限增长。聚合方案按基础设施选型ELK StackElasticsearch Logstash Kibana、Grafana Loki轻量、AWS CloudWatch Logs、GCP Stackdriver。6.3 指标采集MCP 服务可借助prometheus_client暴露指标示例如下需自行接入到实际服务进程中from prometheus_client import start_http_server, Counter, Histogram # 指标定义 scraping_requests Counter(scraping_requests_total, Total scraping requests) scraping_duration Histogram(scraping_duration_seconds, Scraping duration) # 启动指标服务 start_http_server(9090)建议重点盯防的指标请求速率Request rate响应时间分位p50 / p95 / p99错误率Error rate内存 / CPU 使用率磁盘 I/OGitHub API 剩余限流额度github_rate_limit_remainingClaude API Token 消耗量6.4 告警规则示例groups: - name: skillseekers rules: - alert: HighErrorRate expr: rate(http_requests_total{status~5..}[5m]) 0.05 for: 5m annotations: summary: High error rate detected - alert: HighMemoryUsage expr: process_resident_memory_bytes 2e9 # 2GB for: 10m annotations: summary: Memory usage above 2GB - alert: GitHubRateLimitLow expr: github_rate_limit_remaining 100 for: 1m annotations: summary: GitHub rate limit low七、安全加固7.1 API Key 管理最佳实践✅ 应当密钥存放于环境变量或 Secret Manager开发 / 预发 / 生产使用不同的密钥定期轮换密钥建议至少每季度一次云服务使用最小权限 IAM 角色监控密钥使用异常。❌ 禁止将密钥提交进版本控制通过邮件 / Slack 等明文渠道分享密钥在开发环境使用生产密钥授予过宽权限。推荐的 Secret ManagerKubernetes SecretsK8s 部署AWS Secrets ManagerGoogle Secret ManagerAzure Key VaultHashiCorp Vault跨云通用7.2 网络安全与防火墙# 仅放行必要端口 sudo ufw enable sudo ufw allow 22/tcp # SSH sudo ufw allow 8765/tcp # MCP server如需公网暴露 sudo ufw deny incoming sudo ufw allow outgoing7.3 Nginx 反向代理 TLS# /etc/nginx/sites-available/skillseekers server { listen 80; server_name api.skillseekers.example.com; # 重定向到 HTTPS return 301 https://$server_name$request_uri; } server { listen 443 ssl http2; server_name api.skillseekers.example.com; ssl_certificate /etc/letsencrypt/live/api.skillseekers.example.com/fullchain.pem; ssl_certificate_key /etc/letsencrypt/live/api.skillseekers.example.com/privkey.pem; # 安全响应头 add_header Strict-Transport-Security max-age31536000 always; add_header X-Frame-Options SAMEORIGIN always; add_header X-Content-Type-Options nosniff always; # 限流每 IP 10 r/s突发 20 limit_req_zone $binary_remote_addr zoneapi:10m rate10r/s; limit_req zoneapi burst20 nodelay; location / { proxy_pass http://localhost:8765; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 超时控制 proxy_connect_timeout 60s; proxy_send_timeout 60s; proxy_read_timeout 60s; } }Lets Encrypt 免费证书# 安装 certbot sudo apt install certbot python3-certbot-nginx # 签发证书 sudo certbot --nginx -d api.skillseekers.example.com # 自动续期cron 0 12 * * * /usr/bin/certbot renew --quiet7.4 API Key 认证可选若服务公网暴露且希望增加一层访问控制可在网关侧校验Authorization: Bearer头中的密钥示例基于 FastAPI Security 依赖注入接入时需要落到实际 HTTP 服务中from fastapi import Security, HTTPException from fastapi.security import HTTPBearer, HTTPAuthorizationCredentials security HTTPBearer() async def verify_token(credentials: HTTPAuthorizationCredentials Security(security)): token credentials.credentials if token ! os.getenv(API_SECRET_KEY): raise HTTPException(status_code401, detailInvalid token) return token八、扩容与性能调优8.1 垂直扩容单实例资源上限直接决定抓取并发度与内存占用# Kubernetes 资源限制 resources: requests: cpu: 2 memory: 4Gi limits: cpu: 4 memory: 8Gi8.2 水平扩容与负载均衡# Kubernetes HPACPU 达到 70% 时在 2~10 副本间伸缩 kubectl autoscale deployment skillseekers-mcp \ --cpu-percent70 \ --min2 \ --max10Nginx 负载均衡least_conn优先调度连接数最少的后端upstream skillseekers { least_conn; server 10.0.0.1:8765; server 10.0.0.2:8765; server 10.0.0.3:8765; } server { listen 80; location / { proxy_pass http://skillseekers; } }8.3 存储扩展分布式缓存可引入 Redis 缓解抓取热数据的重复请求对象存储技能包skill packages建议放 S3 / GCS / Azure Blob静态资源启用 CDN数据库为向量库 / 元数据库配置只读副本。8.4 限流管理多 GitHub Token# 配置多个 profile自动实现 Token 轮换 skill-seekers config --github多 Token 自动轮换由 rate_limit_handler.py 承担——该模块在请求被限流时给出「打开 Token 配置」「继续/中止」等交互选择并在无 Token 场景输出 60 次/小时的匿名限额提示。这是批量抓取 GitHub 仓库时规避 403 的关键机制。8.5 抓取与嵌入性能参数# 异步抓取 并发度 缓存 async_scraping: true, concurrency: 20, # 按资源酌情调整 selectors: { main_content: article, # 选择器越具体解析越快 code_blocks: pre code }, use_cache: true, cache_ttl: 86400 # 24 小时缓存有效期嵌入生成如本机有 GPUpip install sentence-transformers[gpu] export CUDA_VISIBLE_DEVICES0批处理嵌入可显著提升吞吐generator.generate_batch(texts, batch_size32)存储介质规划SQLite 数据库、缓存目录、日志文件放 SSD技能包、备份归档、大数据集放对象存储。九、备份与灾难恢复9.1 备份内容与脚本需要备份的资产配置文件~/.config/skill-seekers/生成的技能output/数据库 / 缓存如适用日志用于事后审计#!/bin/bash # /opt/skillseekers/scripts/backup.sh BACKUP_DIR/backups/skillseekers TIMESTAMP$(date %Y%m%d_%H%M%S) # 打包备份 tar -czf $BACKUP_DIR/backup_$TIMESTAMP.tar.gz \ ~/.config/skill-seekers \ /opt/skillseekers/output \ /opt/skillseekers/.env # 仅保留最近 30 天 find $BACKUP_DIR -name backup_*.tar.gz -mtime 30 -delete # 可选上传至 S3 aws s3 cp $BACKUP_DIR/backup_$TIMESTAMP.tar.gz \ s3://backups/skillseekers/定时执行# crontab每天凌晨 2 点 0 2 * * * /opt/skillseekers/scripts/backup.sh9.2 灾难恢复流程重建基础设施terraform apply恢复配置tar -xzf backup_20250207.tar.gz -C /校验服务skill-seekers config --test systemctl status skillseekers-mcp功能回归skill-seekers create --config configs/test.json --max-pages 10恢复目标建议RTO恢复时间目标 2 小时RPO恢复点目标 24 小时十、常见故障排查与 Debug 模式10.1 内存占用过高症状OOM Kill、性能缓慢、系统 swap。处置# 定位高内存进程 ps aux --sort-%mem | head -10 # 降低并行 worker 数 skill-seekers create --config config.json --workers 2 # 容器场景直接限制内存 docker run --memory4g yusyuss/skill-seekers:latest10.2 GitHub 限流403症状403 Forbidden或 API rate limit exceeded。处置# 查询当前限流剩余 curl -H Authorization: token $GITHUB_TOKEN \ https://api.github.com/rate_limit # 追加 Token多 profile 自动轮换 skill-seekers config --github10.3 抓取缓慢 / 超时症状单次抓取耗时长、请求超时。处置# 开启异步抓取仓库核心依赖含 httpx0.28.1见 pyproject.toml skill-seekers create --config config.json --async # 调整并发度 # 配置文件中设置 concurrency: 10 # 重跑默认复用缓存需要全新抓取时加 --fresh 丢弃缓存 skill-seekers create --config config.json以上参数与 create_command.py 中ctx.scraping的字段一一对应max_pages、workers、async_mode、fresh、resume等均会写入任务上下文说明缓存复用与异步模式是 CLI 层原生能力而非外部脚本。10.4 API 报错401 / 429症状401 Unauthorized、429 Too Many Requests。处置# 统一校验全部密钥连通性 skill-seekers config --test # 密钥若泄露立即轮换10.5 服务无法启动症状systemd 服务启动失败、容器秒退。处置# systemd 场景查 journal journalctl -u skillseekers-mcp -n 100 # Docker 场景查容器日志 docker logs skillseekers-mcp # 常见根因 # - 环境变量缺失EnvironmentFile / -e 未注入 # - 端口被占用 # - 权限问题配置目录 700、env 文件 600 # 核对当前配置 skill-seekers config --show10.6 Debug 模式# 提升日志级别 export LOG_LEVELDEBUG # CLI 详细输出对应 create_command 中 args.verbose - logging.DEBUG 的映射见 create_command.py#L716-L719 skill-seekers create --config config.json --verbose10.7 诊断信息收集tar -czf skillseekers-debug.tar.gz \ /var/log/skillseekers/ \ ~/.config/skill-seekers/configs/ \ /opt/skillseekers/.env十一、落地清单与后续动作按以下顺序完成生产化收尾选定部署形态单机选 systemd隔离分发选 Docker弹性伸缩选 Kubernetes本地复刻选 Compose配置监控与告警接通/health探活、结构化日志、Prometheus 指标与告警规则落实备份与灾备备份脚本 30 天保留 S3 异地副本明确 RTO/RPO演练故障切换定期演练多 Token 轮换、副本伸缩与恢复流程沉淀运维文档记录本团队特有的部署拓扑、密钥责任人、变更流程团队培训让运维与研发都熟悉config --test、config --show、doctor等日常巡检命令。遇到更深层问题时可继续阅读仓库中的 Docker 部署指南、Kubernetes 部署指南 与 故障排查手册MCP 传输细节可参考 HTTP 传输指南向量库对接可参考 Chroma、Qdrant、Weaviate 等集成文档。赞分享人工智能AI 应用AI 技能RAGMCP 服务网页爬虫【免费下载链接】Skill_SeekersConvert documentation websites, GitHub repositories, and PDFs into Claude AI skills with automatic conflict detection项目地址https://gitcode.com/gh_mirrors/sk/Skill_Seekers点击查看免费下载相关推荐Litestream 生产部署完整指南从 systemd、Docker 到 KubernetesLitestream 生产部署完整指南从 systemd、Docker 到 Kubernetes Litestream 是一款面向 SQLite 的轻量级流式数据库数据同步灾备高可用从零到部署FlightPHP微框架的完整运维指南从零到部署FlightPHP微框架的完整运维指南 FlightPHP作为一款轻量级且可扩展的PHP微框架以其简洁的API和灵活的架构深受开发者喜爱。本文将为后端RecBole部署与运维从开发到生产环境的完整指南RecBole部署与运维从开发到生产环境的完整指南 RecBole是一个基于Python和PyTorch开发的推荐系统框架专为研究和开发推荐算法而设计。本指机器学习深度学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考