最近新建了个网站,可以正常访问,提交网站到Google近一天了都没有收录。
要知道Google收录网站是出了名的快,一天都没收录一定是网站有问题。
排除问题:
1.专门提交网站到bing,发现bing完全可以抓取,那么网站对搜索引擎是可用的,没有rebots和noindex问题(因为我确实没写这些东西,只是为了确认)。
2.到Google Search Console控制台,提交网站其中的一个网址,请求索引。得到的错误信息是软404,在测试实际版本的过程中,系统检测到该网址存在索引编制问题。
什么是软404?
简单来说就是Google发出请求,网站相应为200,但实际内容为page not found。
3.这个时候就能知道三点:
Google发出了请求;
网站可以正常相应;
程序返回了page not found;
4.前面说了,网站可以正常访问,并且bing搜索引擎可以正常抓取网页,那么网站程序应该是没问题的,最大的可能就是过滤了Google。
5.开始排查程序过滤器代码,最后发现果然是拦截返回了。
6.将Google加入白名单,不再拦截,问题解决。