中文搜索引擎指南网

标题: 为什么我的网站中的一些私密网页也会被百度收录？ [打印本页]

作者: sowang 时间: 2021-2-11 00:48
标题: 为什么我的网站中的一些私密网页也会被百度收录？
Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。

网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。

百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：

　　A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化

　　B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容

如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。

欢迎光临中文搜索引擎指南网 (http://sowang.com/bbs/)