robots.txt 与 sitemap.xml:让搜索引擎正确收录

新站最常见的问题不是「排名差」,而是「根本没收录」。收录三件套先配齐。

robots.txt

User-agent: *
Disallow: /admin
Allow: /
Sitemap: https://example.com/sitemap.xml

sitemap.xml

  • 主流建站程序都有自动生成插件或内置功能
  • 包含栏目、文章与标签页,更新后保持 lastmod 准确

提交与验证

  1. 百度搜索资源平台、Bing 站长工具分别提交 sitemap
  2. 重点 URL 用「普通收录/快速推送」主动提交
  3. 每周看一次收录量与抓取异常报告

相关文章