robots.txt文件：文件路径大小写差异引发问题时怎样统一映射，先分清两种解释：内容层归一化，还是规则层漏配
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /37cc1456b2f4.html
📄
robots.txt文件：文件路径大小写差异引发问题时怎样统一映射，先分清两种解释：内容层归一化，还是规则层漏配
当同一批 URL 在 robots.txt 的规则里时而命中、时而漏掉，先不要急着改规则内容。更常见的矛盾是路径大小写不一致：服务器或应用把大小写不同的路径当成同一份内容，而 robots.txt 的 Disallow 与 Allow 按字节比较，只认字面路径。要统一映射，核心动作是先确定“哪一层负责归一化”，再让规则与那一层保持一致；如果反过来让规则去兼容所有大小写变体，规则会迅速膨胀且难以复查。
先分清两种解释：内容层归一化，还是规则层漏配
现象通常是这样：旧系统或旧合作关系留下的路径里混有 /Old/Path、/old/path，爬虫抓取时有的被拦、有的没被拦。此时有两种成立条件完全不同的解释。
解释一：内容层已经归一化。服务器或应用把大小写不同的路径都指向同一份内容，返回相同响应。这种情况下，robots.txt 只拦住其中一种写法，另一种写法仍可被抓取，规则形同虚设。判断条件是：对大小写变体发起请求，响应状态码与最终内容一致。
解释二：内容层并未归一化，只是规则漏配。不同大小写对应不同资源或不同响应，robots.txt 只覆盖了其中一部分。这种情况下问题不在映射，而在规则覆盖面本身。判断条件是：大小写变体返回不同状态码或不同内容。
能区分这两种解释的证据，是同一路径大小写变体的响应状态码、最终 URL 和内容是否一致。如果一致，说明归一化发生在内容层，规则必须跟着内容层走；如果不一致，说明它们是不同资源，需要分别决定是否退出。
统一映射的落点：让规则跟随实际归一化层
确定归一化层之后，动作才有方向。假设内容层把 /Legacy/Page 和 /legacy/page 视为同一份内容，而你需要让旧内容退出，那么规则应写成与实际对外暴露路径一致的形式，而不是凭记忆补一个大小写变体。一个可复查的做法是：
- 先列出需要退出的路径，保留仍然有价值的部分单独标注。
- 对每个路径请求其大小写变体，记录状态码与最终 URL。
- 把归一化后实际生效的路径写入规则，删除仅为猜测而加的变体。
这个动作的结果会直接影响下一步：如果归一化后仍有多条变体被索引，说明退出动作没有覆盖全部入口，需要回到内容层确认重定向或规范化是否到位，而不是继续在 robots.txt 里堆规则。
假设例子：旧路径退出时如何验证映射
假设一个旧系统留下的路径是 /Campaign/2020，需要退出，但同目录下 /campaign/guide 仍有价值，要保留。假设内容层把大小写视为同一路径，那么只写一条针对 /Campaign/2020 的 Disallow 可能同时影响保留目标，或反过来漏掉变体。验证方法是分别请求 /Campaign/2020 与 /campaign/2020，看两者是否返回相同内容与状态码。如果相同，退出规则应覆盖归一化后的实际路径；如果不同，则只处理需要退出的那一个。这个例子的数字仅用于说明比较方法，不代表任何真实站点数据。
需要提醒的是，robots.txt 的抓取限制不等于可靠的索引移除。即使规则写对，已经进入索引的 URL 仍可能以摘要形式出现，移除需要配合其他手段。站点地图也不保证收录，不能用它来反向验证规则是否生效。
保留部分与退出部分共用目录时，先分再合
旧内容退出时，保留仍然有价值的部分往往与退出部分共用目录。此时不要用一条宽泛规则覆盖整个目录，否则保留部分也会受影响。更稳的做法是先按归一化后的实际路径分组：需要退出的路径逐条列出，需要保留的路径确认不被规则误伤。判断依据是保留路径在规则下是否仍可被抓取，以及退出路径是否在所有大小写变体下都被覆盖。
如果分组后规则数量过多，说明归一化层没有承担应有的职责。这时应回到内容层推动路径规范化，而不是让 robots.txt 成为唯一兜底。规则越少、越贴近实际生效路径，后续复查越容易。
复查时看什么，不看什么
复查时，请求量或抓取量下降不能单独证明处理正确，因为下降也可能来自其他抓取调整或内容变化。应看的是：同一路径大小写变体的响应是否一致、退出路径是否在所有变体下都被覆盖、保留路径是否仍可被抓取。不同搜索引擎对 robots.txt 的支持情况须分别核查，不能假设行为一致。只有把归一化层、规则和实际响应三者对齐，大小写差异引发的映射问题才算真正统一。
