高权重的域名, 指的是那些长期经营的老域名以及具有高Authority评分的域名, 在接入CDN之后, 最核心的风险点是域名权重会被CDN的边缘节点给稀释掉或者转移走。

所以在部署的过程里, 大家必须去遵循一个基本原则, 这个原则的意思就是CDN仅仅是充当加速层的作用, 绝对不能替代原始域名变成搜索引擎收录的唯一入口。下面这些内容是核心的部署建议:

主域名与CDN域名的关系处理

对于具有高权重的 * 主域名, 比如 example.com * 这种类型的内容, 需要把它保留起来当作源站解析来用。然后 CDN 只需要挂载在 * cdn.example.com * 、 * static.example.com * 这样的子域名下面去就可以了。

当用户直接访问这个 * 主域名的时候, 它仍然是由源站来进行响应的。这样做就可以把权重归属的事情保持好, 不会被那些*CDN服务商给截流了。

如果业务情况是必须让主域名去走CDN, 也就是说进入了全站加速这样一种场景的话, 那么就需要在CDN的管理面板里面去操作, 把回源地址设置为指向那个源站IP,与此同时还需要对源站IP进行隐藏高权重域名的CDN部署建议, 这样才能做到防止搜索引擎直接去抓取源站, 进而避免产生重复内容的问题。

HTTPS与证书配置

高权重域名CDN部署注意事项,权重不被稀释的核心方法(图1)

高权重域名必须是启用全站HTTPS的那种形式。CDN这一侧的证书里的域名, 是和源站的完全一模一样的状况去做的这个设置。这样做的目的, 是为了避免出现那种因为混合内容警告而导致被搜索引擎降低权重的麻烦情况。

对于这个证书来说,比较建议的选择是那种属于通配符类型的格式高权重域名的CDN部署建议, 也就是写成类似*.example.com这样的样子。这样做可以把它覆盖的范围扩展到属于CDN的子域名层面。这么做还可以防止出现多个节点上证书的匹配状况不一致的问题发生。

缓存策略与回源规则

HTML网页(包括首页和核心内容页), 其CDN缓存策略需要设为60到300秒, 或者干脆设置为“不缓存”, 这样能确保搜索引擎爬虫在抓取时始终能看到最新的内容。

静态资源, 图片、CSS、JS可以这样处理, 把缓存的时间设置成7到30天, 这样做能够降低回到服务器源头的频率。

高权重域名CDN部署注意事项,权重不被稀释的核心方法(图2)

在对后端进行请求的时候, 务必要把原始的那个Host头给保留好。这样做的目的是为了要防止, 当CDN向源站发起回源动作的时候, 那个Host被随意地变了, 从而导致源站返回出现异常的情况发生。

搜索引擎爬虫白名单

在CDN安全策略里面, 要把Googlebot、Bingbot、Baiduspider这些主流爬虫的IP段加到白名单里, 以此来保证爬虫的请求不会被WAF或者限流规则给拦截掉。

如果CDN服务本身提供了像“爬虫直通”或者是“绕过缓存”这类的功能, 那就得在对爬虫的UA开启这个选项的时候, 把这个功能也给打开。

常见错误与规避

1. 高权重的顶级域名是直接通过CNAME记录绑定到CDN服务上的, 同时源站IP地址也是允许用户直接访问的, 这种情况会导致搜索引擎发现有两个入口点存在, 从而产生重复的内容问题, 并且权重会被分散。

高权重域名CDN部署注意事项,权重不被稀释的核心方法(图3)

2. 当 CDN 在进行回源操作的时候, 原始请求头里的 Host 和 Referer 这些头部信息会被丢掉, 然后源站就会返回一个 403 响应, 或者会返回一个默认的页面, 这个情况会被搜索引擎记录下来, 当成是错误响应。

3. 因为没有配置HTTPS, 或者证书的域名和实际情况不匹配, 所以浏览器会显示一个不安全的警告信息。用户看到警告以后跳出率就上升了, 这就间接影响了排名。

部署后验证

使用 curl 来模拟爬虫进行访问, 然后去检查 CDN 返回的状态码, 还要查看响应头里的 Server 字段, 同时也得看看缓存命中的情况。

持续地监控 CDN 日志里爬虫请求的响应时间, 确认没有异常的 4xx 或者 5xx 错误代码出现。要是 CDN 服务商支持的话, 开启针对爬虫 UA 的实时日志告警功能。