Skip to content

feat(scraper): 新增 51job 独立采集模块 + 断点续采 - #58

Closed
yuj-029 wants to merge 1 commit into
shengjidaguai-china:mainfrom
yuj-029:main
Closed

yuj-029 wants to merge 1 commit into
shengjidaguai-china:mainfrom
yuj-029:main

Conversation

@yuj-029

@yuj-029 yuj-029 commented Aug 22, 2026

Copy link
Copy Markdown
Contributor

新增自包含的 51job(前程无忧)采集模块 jobs_51job.py,含:

  • 分簇节奏(BurstPacer)防风控:簇内快 + 簇间长停
  • 薪资严格过滤(中文万/千/年薪解析)
  • 排除词 / JD排除词 / 屏蔽公司
  • 风控检测(静默降级三信号 + L0-L3 风险等级)+ 风控日志
  • 断点续采(关键词级 checkpoint,默认自动续采)

配套改动:

  • db.py:jobs 表加 source 字段(boss/51job 区分)+ collect_progress 表
  • jobs.py(BOSS):source 字段 + 断点续采 + db 路径跟随 _base_dir

⚠️ 声明:本模块仅个人本地测试通过,未经过充分生产验证。
使用者在真实环境(尤其国内 IP)运行采集,可能触发 51job 风控,
由此导致的账号限流、封禁等后果由使用者自行承担,本仓库维护者不负责。

详见:src/bosshunter/scraper/jobs_51job模块说明.md

新增自包含的 51job(前程无忧)采集模块 jobs_51job.py,含:
- 分簇节奏(BurstPacer)防风控:簇内快 + 簇间长停
- 薪资严格过滤(中文万/千/年薪解析)
- 排除词 / JD排除词 / 屏蔽公司
- 风控检测(静默降级三信号 + L0-L3 风险等级)+ 风控日志
- 断点续采(关键词级 checkpoint,默认自动续采)

配套改动:
- db.py:jobs 表加 source 字段(boss/51job 区分)+ collect_progress 表
- jobs.py(BOSS):source 字段 + 断点续采 + db 路径跟随 _base_dir

⚠️ 声明:本模块仅个人本地测试通过,未经过充分生产验证。
使用者在真实环境(尤其国内 IP)运行采集,可能触发 51job 风控,
由此导致的账号限流、封禁等后果由使用者自行承担,本仓库维护者不负责。

详见:src/bosshunter/scraper/jobs_51job模块说明.md
@powerycy

Copy link
Copy Markdown
Collaborator

已选择性纳入 PR #62:保留 51job 页面研究和只读采集;BurstPacer、独立 source 数据库改造和仿真人节奏因请求、迁移及风控风险未采用。贡献者提交与署名均保留。此 PR 由 #62 取代,现关闭。

@powerycy powerycy closed this Aug 23, 2026
@powerycy

Copy link
Copy Markdown
Collaborator

最终状态:51job 页面研究与只读采集核心已通过 #62 适配合入 main;当前验证北京、上海城市码,并读取岗位卡片真实详情链接。独立来源数据库与额外节奏器未重复引入,统一复用主线来源字段、数据库和节流器;自动发送与监听继续锁定。贡献已列入 #74。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants