📍 WDQWDWQD987AAAAA:216.73.217.62
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cd24a56aa040.html
📄

robots txt怎么写，多个域名承载相似内容时怎样说明各自用途

当同一套内容被多个域名承载时，robots.txt 能做的不是“选出一个主域名”，而是先把每个域名允许谁抓、抓什么、哪些路径不必抓写清楚；如果目标是让搜索引擎理解各域名的用途，还需要配合 canonical、站点地图和页面级说明。robots.txt 本身不表达“这是主站还是镜像站”，也不能替代索引移除。

先判断两种条件：内容是否一致、域名角色是否已经确定

多个域名承载相似内容，常见有两种条件，处理方式不同。

• 条件一：内容几乎一致，且已经确定一个主域名。此时 robots.txt 应让主域名保持可抓取，让次要域名不抓取无独立价值的重复路径，并避免把次要域名整体封禁后仍期待它被当作主站被收录。
• 条件二：内容相似但各域名承担不同用途。例如一个面向公开访客，一个用于内部预览，一个用于区域市场。此时不能只靠 robots.txt 说明用途，还要在页面头部用 canonical 或在页面正文中明确指向对应的正式版本。

判断依据不是“有几个域名”，而是每个域名是否提供独立价值：如果某个域名只是同一内容的另一入口，且没有独立品牌、独立用户群或独立法律要求，一般应把它当作次要入口处理；如果它面向不同语言、不同区域或不同产品线，则应保留可抓取，并用页面级信号说明其用途。

robots.txt 里可以写什么，不能写什么

robots.txt 是抓取指令文件，不是内容说明文件。它只能告诉爬虫哪些路径可以抓、哪些路径不要抓，不能声明“这个域名是主站”“这个域名只是备用”。

一个常见的写法是：在主域名放行主要路径，在次要域名只放行必要的静态资源，不抓取重复内容页。假设主域名为 example.com，次要域名为 example.net，且 example.net 只是同一内容的备用入口，可以写成：

User-agent: *<br>Allow: /assets/<br>Disallow: /

这个写法的作用是：允许抓取资源文件，但不抓取页面。它会影响下一步：如果次要域名仍需被用户直接访问，那么它不应被搜索引擎当作可收录页面；如果它本身有独立价值，就不该用这种写法。

需要明确的是，robots.txt 的抓取限制不等于可靠的索引移除。一个页面即使被 Disallow，仍可能因为外部链接或历史记录而出现在搜索结果中，只是没有摘要或摘要来自其他来源。若目标是移除索引，应使用页面级 noindex 或搜索平台提供的移除工具，而不是只改 robots.txt。

把“各自用途”转成可核对的项目

多个角色对同一事实有不同理解时，分歧往往不在 robots.txt 语法，而在“这个域名到底算什么”。把分歧转成可核对的项目，比反复争论更有效。

1. 列出每个域名的角色：公开主站、区域站、预览站、旧域名、活动站。角色不同，robots.txt 的放行范围不同。
2. 核对每个域名上的页面是否有独立内容：如果页面标题、正文、产品信息完全一致，只换域名，通常应归为重复内容；如果有独立语言、货币、联系方式或库存，则可能具备独立用途。
3. 检查 canonical 指向：每个重复页面应指向它对应的正式版本。canonical 是页面级信号，robots.txt 不能替代它。
4. 检查站点地图：站点地图应只列出希望被收录的正式 URL。站点地图不保证收录，但把次要域名 URL 放进站点地图，会与“次要域名不参与收录”的目标冲突。
5. 记录例外：如果某个次要域名必须保留可抓取，例如区域用户直接搜索该域名，则应在 robots.txt 中放行该区域路径，并在页面中说明其用途。

执行后，下一步不是立刻看排名，而是核对抓取日志和索引状态：如果次要域名仍被大量抓取，说明 robots.txt 规则未覆盖或未生效；如果正式域名未被抓取，说明规则可能过严。请求量或抓取量归零不能单独证明处理正确，也可能是爬虫暂时降低频率、规则被缓存或站点地图未更新。

一个假设例子：两种选择的分界

假设某团队有三个域名：brand.com、brand.cn、brand-preview.com。brand.com 是英文主站，brand.cn 是中文站，brand-preview.com 是内部预览站。

如果 brand.cn 有独立中文内容、独立联系方式和独立用户群，它不应被 robots.txt 封禁，而应保留可抓取，并用 hreflang 或页面说明表明它与 brand.com 的关系。brand-preview.com 若只是预览，且不希望被搜索用户看到，可以用 robots.txt 限制抓取，但更稳妥的是同时加 noindex，因为 robots.txt 不保证不出现索引。

如果团队误把 brand.cn 也写成 Disallow: /，结果是中文用户搜索时可能找不到正式中文站，而预览站反而可能因为外部链接被索引。这个假设说明：robots.txt 的写法取决于域名角色，而不是域名数量。

例外与核查顺序

有些例外需要单独处理。若多个域名属于同一品牌但面向不同国家，且内容因法律或物流信息不同而必须区分，应优先保留各站可抓取，并在页面级说明用途。若某个旧域名已经不再维护，但仍有外部链接，可以把它 301 到正式域名，而不是只靠 robots.txt 封禁。

核查顺序建议是：先确认每个域名的角色，再检查页面 canonical，再检查站点地图，最后才调整 robots.txt。不同搜索引擎对 robots.txt 的支持情况须分别核查，尤其是指令大小写、路径匹配和通配符行为。HTTPS 不保证安全无漏洞或排名，它只是传输层协议，与域名用途说明无关。

最终，robots.txt 只能回答“谁可以抓什么”，不能单独回答“这个域名是做什么的”。把用途写进页面级信号和站点结构，才是多域名相似内容下更可核对的下一步。