在用户友好体验和seo中，我们难免会遇到两难的境地，一个页面的质量，总是存在着搜索引擎和用户评价的一定差异。也许我们有一个页面是用户友好的，但不是搜索引擎友好的，我们可以适当地阻止这些网页，使搜索引擎不能收录在内。举一个简单的例子，我们可以发现许多论坛开始有广告区。本节的目的是方便用户发布广告和获取广告信息。但是我们要避免这样的问题，这部分内容的质量可能很低，很多内容是直接复制和复制的，或者文章中充满了外部链接等等，虽然这些页面的用户看起来并不反感，但是在搜索引擎中，这些都是一些质量很低的页面，而这些网页中的链接可能是一些被处罚网站的链接。如果我们把这些网页收录到搜索引擎里，对网站的seo无异于一个很大的打击。因此，我们可以在权衡用户体验和seo的情况下保留这些页面，但要屏蔽搜索引擎对这些不友好的低质量页面的影响。
对于网站的后端页面或者用户的个人中心页面来说，这些都是一些低质量的页面，如果这些页面被收录，会导致网站的一些敏感信息泄露，所以我们也需要尽量避免这些后端页面被搜索引擎接受。我们也可以用robots文件来筛选这些页面。
如果你仔细阅读了百度的优化指南，你应该记住有一条关于重复页面的信息，这表明如果我们网站上有两个不同的网址指向同一个页面，那么搜索引擎只会知道其中一个。首先，搜索引擎无法区分要包含哪个页面，它会包含所有重复的页面。虽然我们的收藏翻了一番，但最终会被搜索引擎淘汰。这就导致了我们的收藏数量大幅波动。如果有大量的重复页面，搜索引擎可能会直接认为它是作弊的手段。当然，我们不能避免重复页面被收录在内。我们只需要通过机器人阻止这些链接，或者使用重定向将这些页面重定向到我们希望搜索引擎包含的标准页面。
一个网站的运营中，死链接的出现是不可避免的。当我们删除一列或删除一段内容时，无论这些页面是否包含在内，我们都需要阻止它们。有人可能会有疑问，为什么不收录的页面也应该被屏蔽，其实原因很简单，搜索引擎收录有时候不是马上发布的，而是发布后的一个阶段。虽然这些还没有发布，但是已经收录的页面我们不能忽视。我们可以通过404错误页面或机器人文件进行筛选。
