Shopify robots.txt 的目标不是“把所有爬虫都挡住”，而是减少明显无价值的抓取路径，同时保证商品、集合、文章和多语言重要页面可被发现。robots.txt 不能阻止页面已经被引用后的索引，也不能代替 noindex、canonical、登录权限或删除操作。修改前要保留现状、目标和回滚方案。
先按页面意图分类
列出首页、商品、集合、文章、搜索、筛选参数、购物车、结账、账户、内部 API 和测试路径。对每类记录是否需要抓取、是否需要索引、是否有真实搜索意图、是否进入 sitemap。不要因为 URL 看起来复杂就一律 Disallow，也不要阻止 CSS/JS 导致渲染失败。
用 Search Console 和日志验证
上线前检查 robots 文本、Sitemap 声明、状态码、canonical 和实际 HTML。上线后对照服务器日志与 Search Console 的抓取统计，确认重要市场/语言页面仍被访问，低价值参数没有吞噬抓取。robots 规则变更应分批发布，记录日期、负责人、影响 URL 和撤回条件。
FAQ
robots.txt 能让页面不被索引吗？
不能保证。要控制索引还需 noindex、认证、删除或 canonical 等手段。
能屏蔽所有带参数的 URL 吗？
不能直接一刀切。先确认参数是否承载排序、筛选或市场意图，再决定规则和 canonical。
为什么不能屏蔽 CSS 和 JS？
搜索引擎需要资源理解页面渲染；屏蔽后可能影响内容判断。
修改后看哪些数据？
看日志、Search Console 抓取、重要页面索引、渲染、404 和 sitemap 覆盖。