网站一直不被收录？我把整条「收录管道」拆开查了一遍（挂马/robots/sitemap/误杀爬虫）

网站内容写得不差，服务器也没挂，可搜索引擎就是不收录你——

我花了几个月才搞明白：收录不是一个开关，是一条管道。管道上任何一段堵了，你都看不到结果，而且报错不会告诉你堵在哪。

这篇是我把自己网站的整条「收录管道」拆开逐段排查的实录：从防火墙误杀搜索引擎、被挂马给爬虫喂垃圾，到 sitemap 格式百度不认、死链拖累配额——每一段都是真实踩坑，附自查方法。如果你的站也「不知道为什么就是不收录」，照这条管道逐段查，大概率能找到堵点。

一、先建立这个认知：收录是一条五段管道

很多人把「不收录」当成一个问题去搜答案，其实它是五个环节串联的结果，坏一环全白搭：

图1：收录管道五段——症状都叫”不收录”，病根却在不同段

为了防爬虫洪水（上一篇讲过），我在 nginx 加了「带多个筛选参数的请求直接拒绝」的规则。结果复盘日志时发现：27 小时里，这条规则把真 Bingbot 拦了 7000 多次。Bing 一边在站长后台提示抓取异常，一边是我自己把它挡在门外。

教训两条：

上反爬规则后，必须回头查误杀。日志里按状态码筛出被拒的请求，看看里面有没有搜索引擎的 IP 段。
辨别真假爬虫，UA 不可信，用「正反向 DNS 双向验证」。先反查 IP 得到主机名（真 Bing 是 *.search.msn.com），再把主机名正向解析回去——必须解析回原 IP 才算真。只看反查会被伪造骗过；正向那一步伪造者做不到，因为域名在微软手里。

这是我踩过最阴的一个：网站被挂马（nginx 层注入），专挑搜索引擎和手机 UA 下发被注入垃圾脚本的页面，真人访客看到的一切正常——所以我自己怎么看都没问题，搜索引擎却连续几周抓到的是垃圾，收录自然完蛋。完整排查过程在这篇。

自查方法（一分钟）：用搜索引擎的「抓取诊断」（百度站长/必应站长都有）真抓一次你的首页，逐字看返回的 HTML 里有没有你不认识的脚本、域名。别用自己浏览器看——挂马就是利用「你看到的和爬虫看到的不一样」。我修复后就是靠百度抓取诊断确认页面干净的：返回 200、内容全对、无注入。

两个真实的坑：

百度不认嵌套的 sitemap 索引。我原来用的是「sitemap 索引指向多个子 sitemap」的两层结构（Google 没问题），百度那边基本无效。后来专门生成了一份扁平的单文件 sitemap（所有 URL 平铺一层）喂给百度，才通。给百度的 sitemap，能扁平就扁平。
「提交了」不等于「格式对了」。去站长后台看 sitemap 的抓取状态和「发现的 URL 数」，数字对不上就是格式或范围出了问题，别默认它工作正常。

爬虫给每个站的抓取量是有限的（俗称配额）。小站配额本来就少，如果大量被浪费在死链和重复 URL 上，新内容就轮不到抓：

删掉的页面返回 410，比 404 掉得快。404 = “暂时找不到”，爬虫还会反复回来试；410 = “永久删除，别来了”。我有约 6000 个已删除的标签页，从 404 改成 410 后，爬虫消化它们明显加快，省下的配额去抓真内容。
同一内容的两个 URL，用 301 收口成一个。光写 canonical 对国内引擎不保险（百度对 canonical 时灵时不灵），能 301 就 301。
无限筛选组合页（?a=&b=&c=）要么拦、要么 noindex，否则配额全被这种垃圾组合吃掉——这也是上一篇爬虫洪水的根源。