公开管线

每批扫多少、产出多少、失败原因是什么 | 数据时点 | ← 站点列表
已跑批次
3
每次扫描记一行台账
扫描站点
503
一站点一次调用(第①层探活)
抓取成功
330
HTTP 2xx 且有响应体(第②层)
有非空正文
307
占 330 站的 93.0%;另 23 站响应体非零、正文 0 字符(第③层)
失败
173
原因见下表分型

这三层数怎么读 三层分母不同,不许合并成一个数

① 已探活
503
个独立站拿到过连通性探测结果
② 其中抓取成功
330
HTTP 200 且有响应体;不等于拿到正文
③ 其中有非空正文
307
占 503 站的 61.0%;另 23 站响应体非零、正文 0 字符

包含关系:① 503 ⊃ ② 330 ⊃ ③ 307,逐层收窄,不互相替代。

这一轮是怎么取的 两个标签不是一回事

维度取值含义
出口(从哪出去)worker1 请求经真机采集代理发出,不是我方服务器直连;两者成功率不同,数据不可混算
证据等级(拿到什么)worker_text_only 抽取正文(弱证据):本轮取数经真机 worker1 的 /fetch,返回的是抽取后的正文与哈希,不是原始 HTML;因此可用于「页面是否可读、正文规模、标题」,不可用于页面结构/技术栈一类判断。
耗时分布p50 3192 ms / p90 10615 ms / 最大 40031 ms 样本 503 次;慢的多为对方站点响应慢,不是本方排队

失败原因分型 11 类

分型条数含义
bot_challenge_or_forbidden105疑似人机校验或明确禁止(403)
tls_fail14未归类
error_other13其他错误
error_client11目标站返回 4xx:页面不存在或需授权,不是我方被拦
empty_content10未归类
timeout9请求超时
rate_limited5被限流(429),应退避后重试
error_protocol2协议层错误(意外状态码)
dns_fail2域名解析失败(不重试、不降级)
upstream_error1对方服务器 5xx
legal_block1依法不可访问(451)

分型规则见 site_daily/PROBE_CLASS_POLICY.md: 403/429 一律先疑人机校验或限流,不与「对方明确拒绝」混同;DNS 失败不重试、不降级、不计入成功。

逐批台账 3 批

表格可左右滑动查看全部 7 列

批次开始扫描产出失败状态失败摘要
PRUN-20261021201334-99c68b2026-10-21 20:13:34233105128partialbot_challenge_or_forbidden=91; tls_fail=9; timeout=8; error_other=7; error_client=3; rate_limited=3; empty_content=2; dns_fail=2; upstream_error=1; legal_block=1; error_protocol=1
PRUN-20261021200256-0b642b2026-10-21 20:02:5625020743partialbot_challenge_or_forbidden=14; ok=8; error_client=6; error_other=6; tls_fail=5; rate_limited=2; error_protocol=1; timeout=1
PRUN-20261021191731-fa94bc2026-10-21 19:17:3120182partialerror_client=2

状态词只用封闭集合:succeeded(零失败)/partial(部分失败)/failed(零产出)。 台账原文在库内 pipeline_run 与 sm_fetch_attempt。

这份管线数据的边界