有价值的内容被意外隐藏,不会出现在搜索引擎中。搜索引擎有时会发现隐藏的内容并将其视为垃圾,无论是否有意。
识别搜索引擎看不到的内容
如何检查无意中隐藏的内容?例如,如果您有一个高流量网站,流量如果开发人员不小心在每个页面上插入了noindex,则下降可能是致命的。这很可能会引发恐慌调查,这段时间你可以很快发现问题在noindex。
这真的会发生吗?不幸的是它实际上是。有例子作为证据。假设您正在临时服务器上更新网页。避免在临时服务器上索引页面,因为您不希望搜索引擎找到这些副本。一般在将网站从临时服务器迁移到真实服务器时,也会迁移noindex标签。不幸的是,许多站点管理员忘记了这样做。
这种问题在其他情况下也会出现。一些网站管理员使用robots.txt 文件来防止抓取临时服务器网站。当您将网站从临时服务器迁移到真实服务器时,这些文件会被复制并出现上述情况。避免这种情况的最好方法是在真实服务器上执行更新后立即执行一系列安全检查。
但是,有些问题更难以测试。首先,新上线的网站没有流量,所以流量级别的下降不是问题。另一种情况是当您不小心做了一些事情时隐藏了现有网站的某些页面,因此问题并不明显。
无论发生什么,网络分析都可以在测试期间提供帮助。使用分析软件查找对搜索引擎流量的非网页访问本身并不能得出任何结论,但它提供了许多关于从哪里开始的线索。请注意,有时反过来很有趣。 —— 显示了一些带有搜索建议的页面,但如果它们不是您想要的或您期望的,您可以隐藏它们。
您可以测试的另一个数据点是搜索引擎将网站页面的数量报告为索引页面。您可以检查搜索引擎是否会抓取您新网站的内容。例如,如果您的网站有1000 页并且您的内部链接文件很好,则在3 个月后仅索引10 页内容表明您的网站存在技术问题。使用多个地图文件时,这对诊断这些问题有很大帮助,因为只有一个地图文件用于包含URL 特定字段的网站内容区域。
搜索引擎报告的数字略有波动是很自然的,所以不要对索引的页面数量反应过度。但是,如果您知道网站通常报告的数字,并且这些数字下降到异常低的水平并保持在这些水平(或继续下降),那么您可能遇到了真正的问题。