由于国内贸易市场越来越卷,许多公司开始尝试出海贸易。国外的购物习惯与国内有较大的差别,首先国内如果想要购买一件商品往往会使用某宝、拼蛋蛋等电商平台进行搜索和选购,而国外第一时间会选择使用谷歌、必应等搜索引擎搜索商品,并且使用邮件进行沟通。了解了国外的购买习惯,那么也就理解为何做出海贸易必须要有独立站了,然而独立站又主要依托于谷歌搜索引擎的排名带来流量,因此对于想要做出海贸易的企业而言,谷歌排名尤为重要。
早在2010年4月份谷歌就针对网站打开速度的要求进行了阐述,明确表明网站的打开速度将列为搜索排名的重要因素,并建议网站所有者尽可能的提高自己网站的速度,以维护网站现有的排名状态。
You may have heard that here at Google we're obsessed with speed, in our products and on the web. As part of that effort, today we're including a new signal in our search ranking algorithms: site speed. Site speed reflects how quickly a website responds to web requests. — 《Using site speed in web search ranking》
在2024年谷歌又对CDN这一新名词进行了讲解,建议所有网站接入CDN从而提升网站打开速度,由此可见谷歌对网站打开速度的重视程度。目前,Cloudflare 作为全球最大的CDN服务商,拥有较多的加速节点,由于其慷慨的免费计划吸引了众多网站接入Cloudflare使用其提供的CDN服务。但最近安阳SEO接到许多用户咨询,纷纷表示接入Cloudflare后网站出现了收录量下滑以及排名下降的情况,根据分析后发现Cloudflare对谷歌的收录和排名确实有着非常严重的影响,可以说是一把双刃剑,为了解决这个问题,安阳SEO也通过查询相关资料并对接入Cloudflare CDN的网站进行了深入的分析,最终找到了修复方法,并对此方法进行了详细记录。
简单的讲,Cloudflare对谷歌的影响主要可分为两种,分别为“硬屏蔽”和“软屏蔽”,这两种影响均体现在Cloudflare的防火墙层面。Cloudflare的WAF可以轻松应对如CC或者DDOS类型的攻击,但搜索引擎自动抓取程序很容易被误判,因此会造成搜索引擎抓取失败或者被阻挡的情况发生,谷歌对这两种类型的影响进行了详细的介绍。
硬屏蔽
硬屏蔽是指 CDN 向抓取请求发送的响应是某种形式的错误。这些错误可以是:
HTTP 503/429 状态代码:发送这些状态代码是表示暂时性屏蔽的首选方式。这样您就有时间对 CDN 的意外屏蔽做出反应。
网络超时:CDN 的网络超时会导致受影响的网址从 Google 的搜索索引中移除,因为这些网络错误被视为终端“硬”错误。 此外,它们还可能会显著影响您网站的抓取速度,因为它们会向我们的抓取基础架构发出网站过载的信号。
带有 HTTP 200 状态代码的随机错误消息:也称为软错误,这种情况尤其严重。如果 Google 端将错误消息视为“严重”错误(例如 HTTP 500),Google 会将该网址从 Google 搜索中移除。如果 Google 无法将错误消息检测为“硬性”错误,则可能会将所有包含相同错误消息的网页视作重复网页,并从 Google 搜索索引中移除。由于 Google 索引编制系统没有太多动力请求重新抓取重复网址,因此从这种情况中恢复可能需要更长时间。
软屏蔽
当 CDN 显示“您确定您是人类”插页式内容时,可能会“弹出”(双关)类似的问题。谷歌的抓取工具实际上确信自己不是人类,也不会假装是人类。 他们只想爬行网络。不过,当出现插页式内容时,抓取工具看到的只有插页式内容,而非您的精彩网站。对于这些机器人验证插页式内容,我们强烈建议您以 503 HTTP 状态代码的形式向自动化客户端(例如抓取工具)发送明确信号,表明内容暂时不可查看。这样可以确保系统不会自动从 Google 索引中移除内容。
了解了Cloudflare CDN对谷歌的影响,那么我们只需要对Cloudflare的防火墙进行设置,并将搜索引擎抓取程序列入防火墙“白名单”,便可以尽可能的降低CDN对谷歌收录和排名的影响。
首先我们进入Cloudflare网站控制台,并以此点击安全性-自动程序,并将自动程序攻击模式和阻止AI自动程序的状态改为关闭,新接入的站点或许是Cloudflare也发现了此选项对谷歌等搜索引擎的影响,改为了默认为关闭状态。
下面我们来建立使搜索引擎自动抓取程序,也被称为“蜘蛛”的防火墙规则,点击安全性-WAF-自定义规则选项卡-创建规则-填写规则名称-编辑表达式
,并将下面的表达式粘贴到文本框中,之后在然后采取措施
这里下拉,选择跳过,并将出现“要跳过的WAF组建”全部勾选,点击部署后完成操作,需要注意的是尽量打开”记录匹配的请求“这个状态,可以获得更多有关谷歌抓取网站的相关信息,相当于获得了更为详细的网站日志,非常实用。
(cf.client.bot) or (http.user_agent contains "Google") or (http.user_agent contains "bing") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "360Spider") or (http.user_agent contains "Sogou") or (http.user_agent contains "YisouSpider") or (http.user_agent contains "YoudaoBot") or (http.user_agent contains "YodaoBot") or (http.user_agent contains "msnbot") or (http.user_agent contains "Yahoo") or (http.user_agent contains "DNSPod") or (http.user_agent contains "duckduckgo") or (http.user_agent contains "Yandex") or (http.user_agent contains "Yeti")
设置完后的截图:
至此,已经完成了Cloudflare对谷歌影响的修复,观察一段时间之后,发现网站收录量与排名均恢复正常,同时也提升了网站在不同地区的加载速度,一举三得。