建议使用以下方法: 将 X-Robots-Tag 添加到 HTTP 标头页。与元标记不同,网站上任何文档(包括 PDF 文件和图片)的索引都是有限的。 通过更改 robots.txt 文件来限制索引。该方法仅适用于 Yandex 搜索引擎,因此该网站上的私人数据将从搜索结果中删除。 Google 将 robots.txt 视为推荐,因此如果页面包含来自第三方网站的超链接,则该信息可能会包含在索引中(但会向机器人添加注释,说明该内容已锁定在文件中)。
资源的密码这将不允许搜索机器人进入
站点扫描信息。此外,没有必要完全关闭网站;为各个页面或子部分设置密码就足够了。此方法的缺点是必须自行删除搜索结果中已有的数据,因为仅 俄罗斯号码 对尚未添加到数据库中的地址进行索引是有限的。 指定链接 rel=”canonical” 标签,这样就可以将重复项与站点的规范页面合并。然而,尽管这种方法已经被证明,但并不能保证 100%,因为搜索算法并不将其视为规则,而仅将其视为推荐,因此机器人独立决定是否对内容建立索引。
设置重定向到其他地址
因此,如果信息已被索引,则用户重定向到的网站页面将出现在搜索结果中。此外,服务器必须提供重定向代码 301,而不是 302。此外,您可以指 拉脱维亚 电话号码 定参数 404、410,这是远程地址的典型参数,但也适用于工作内容,因为机器人将从搜索中排除信息。 在特定页面上的元标记之间放置一行,这将允许您在机器人抓取网站后快速从结果中排除所选内容。无论何种搜索引擎,此方法都适用,并且仅适用于 Yandex ( ) 和 Google ( )。 网站索引是定期进行的,Google 会持续更新数据库,而 Yandex 大约每 3 天更新一次数据库。