网站死链检查工具,怎样取得可复查的状态证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /91822b1fa1e1.html
📄
网站死链检查工具,怎样取得可复查的状态证据
可复查的状态证据，指的是任何一位协作者拿到记录后，都能用同样的输入、同样的判断标准重新跑一遍，并得到可以对照的结果。对网站死链检查工具来说，证据不是一句“有 12 个死链”，而是“在什么时间、从哪个入口、用什么请求方式、对哪个 URL 得到什么状态、由谁判定为死链”。缺少其中任何一项，复查时都只能靠猜，多人协作就会返工。
先固定观察口径，再谈结果
死链检查的输入项决定了结果能否被复现。开始跑之前，把下面几项写进交付说明：
- 入口清单：从站点地图、导航、内链导出还是全站爬取，来源不同，覆盖面不同。
- 请求方式：HEAD 还是 GET。部分服务器对 HEAD 返回异常，而 GET 正常，两者结论可能不一致。
- 判定标准：哪些状态码算死链，404、410、5xx 是否分开记录，超时和 DNS 失败是否单列。
- 执行时间与环境：同一 URL 在不同时间、不同网络出口可能返回不同结果。
- 工具与版本：不同工具的爬取深度、并发数、重试策略不同，结果不可直接混用。
把这些写在报告开头，复查者才知道该比什么。否则两份结果不一致时，无法判断是站点变了还是口径变了。
状态证据要落到单条 URL
汇总数字只能用于汇报，不能用于复查。可复查的最小单位是一条 URL 记录，建议每条至少包含：
- 完整 URL，保留协议、大小写和查询参数。
- 发现位置：来自哪个页面、哪条内链或哪份站点地图。
- 请求方法与返回状态码，例如
GET 404。 - 重定向链：如果经过 301/302，记录完整跳转路径和最终落点。
- 判定结论：死链、软 404、正常、待人工确认。
- 证据来源：截图、日志片段或工具导出的原始文件。
状态码本身也有歧义。403 可能是权限限制，也可能是反爬拦截；返回 200 的页面如果正文是“页面不存在”，属于软 404，需要人工确认。因此判定结论一栏要区分“机器判定”和“人工复核”，不要把两者混在一起。
用假设例子走一遍判断
假设某工具导出三条记录：/old-page 返回 301 并最终落到 /new-page 且为 200；/promo-2021 返回 404；/api/list 返回 403。判断方式如下：
- 第一条不算死链，但属于需要更新的旧链接，应记录跳转链，确认最终落点是否与内容相关。
- 第二条是明确死链，可直接进入处理清单，同时记录它在哪些页面被引用。
- 第三条不能直接判死。先用 GET 复测，再检查是否被 robots.txt 限制或需要登录。如果确认只是权限问题，应标注“非死链，权限受限”。
这个例子的意义在于：状态码是观察值，死链是判断结论，两者之间需要判定规则。规则写清楚，不同人跑同一份清单才会得到一致结论。
处理与复查要留下前后对照
处理动作本身也要成为证据的一部分。修改内链、设置重定向或删除页面后，记录：
- 处理方式：改链、加 301、恢复页面还是保留 404。
- 处理人、处理时间、关联的原始记录编号。
- 复查方式：用相同请求方法重新访问，记录新状态码和最终落点。
复查时重点看三件事：原 URL 是否不再返回死链状态；重定向是否指向内容相关的页面，而不是统一跳首页；原先引用该 URL 的页面是否已更新。只改服务器不改内链，问题会在下一轮爬取中再次出现。
多人协作的交付检查项
交付前逐项核对：报告是否包含执行时间、工具与版本、请求方法、判定标准；每条死链是否有唯一编号和原始证据；处理记录是否与原始编号对应；复查结果是否用同一口径重新采集。任何一项缺失，接收方都无法独立验证，只能重新跑一遍，返工就发生在这里。
下一步建议先选一个页面数量有限的小范围，例如某个栏目，按上述口径完整跑一遍观察、判断、处理、复查四步，确认记录格式能被同事直接复用，再扩大到全站。
