xiaoya_emd_go

Note

小雅元数据爬虫Golang版

功能列表

• Web UI 配置界面
• 预存 16 个爬虫服务器
• 默认自动同步路径为每日更新 纪录片（已刮削），12H 运行一次
• 网络限速和并发数配置
• DOH 配置，更好的 CF 网络连接

Docker 运行

docker run -d \
    --name=xiaoya-emd-go \
    --restart=always \
    -p 8080:8080 \
    -v 媒体库目录:/media \
    ddsderek/xiaoya-emd-go:latest

工作流程

1. 启动加载配置,检查DNS解析是否正常.
2. 并发检查爬虫服务器,只读取最新数据时间,且响应最快3个服务器,1主2备.
3. 下载最新数据生成数据库,并生成本地媒体目录数据库.
4. 按照勾选的目录(如果没任何勾选,默认全部目录)进行时间戳对比误差10分钟内不处理,下载最新或缺少的文件,多余文件移动到回收站,防止误删.