robots.txt 与 sitemap.xml:让搜索引擎正确收录
新站最常见的问题不是「排名差」,而是「根本没收录」。收录三件套先配齐。
robots.txt
User-agent: *
Disallow: /admin
Allow: /
Sitemap: https://example.com/sitemap.xmlsitemap.xml
- 主流建站程序都有自动生成插件或内置功能
- 包含栏目、文章与标签页,更新后保持 lastmod 准确
提交与验证
- 百度搜索资源平台、Bing 站长工具分别提交 sitemap
- 重点 URL 用「普通收录/快速推送」主动提交
- 每周看一次收录量与抓取异常报告