进行大规模域名收录数据的导出操作, 其核心路径是把批量域名清单和自动化查询接口以及结构化表格输出这三者结合起来。当域名的数量到达数千级别或者数十万级别这种程度的时候, 采取手动的方式来一个一个地查询就不具备实际的可行了。
所以必须依赖像API接口这样的工具或者是用自动化脚本来完成对批量数据的获取工作。最后在结束之时要把获得到的数据整理成为那种像是Excel或者是CSV格式的数据表文件。接下来就是整个操作的完整流程的内容了。
步骤一:准备标准化域名清单
把需要查询的那个域名整理成纯文本列表, 每个域名单独写在一行里面。 格式是写成双引号为开头的"example.com" 或者"www.example.com" 这样子的形式。 要把里面的空格全部去掉, 特殊的字符也要处理掉, 重复出现的地方的内容要去重。
建议大家可以使用 Python 这个工具里面的 set() 来做去重的操作, 也可以是使用 Excel 这个软件里面的"删除重复项" 这个功能来处理前面的准备工作。
最终的文件会被保存成为.txt这种格式, 或者也会保存成.csv这种格式, 这样做是为了让这些数据可以作为一种输入源, 提供给后续要进行的批量查询使用的。
步骤二:选择批量查询通道
我们要根据不同情况来挑选合适的接口。
搜索引擎官方API, 这就包括了百度站长平台API以及Bing Web Master API这些工具, 它们是支持按域名进行批量查询收录页数的功能的。
用户在使用前需要先提前申请好开发者密钥, 同时还要注意到各个平台针对单日请求量的配额限制是存在的, 像是Bing API的免费层, 它允许每日进行的调用次数上限为一万, 也就是10,000次调用。
第三方数据服务, 像是Ahrefs API、SEMrash API这样的情况, 它们会提供域名索引量(Index Count)这个字段, 用户可以选择按次付费订阅, 也可以选择按月付费订阅来进行接口调用, 这样的做法非常适合那种需要一下子同时拿到外链数量、关键词排名这些关联指标的场景。
开源爬虫方案: 对于那些没有应用程序接口能够覆盖到的中小型搜索引擎, 人们可以使用编程语言 Python 来编写脚本程序, 并且利用 Scrapy 库以及 Requests 库,去模拟搜索 site:domain.com 这个指令的操作大规模域名收录数据导出, 然后再对结果页面返回的文本内容进行解析, 最后从中提取出类似约 X 条结果这样的一段文字信息。
步骤三:执行批量查询与数据写入
编写一个自动化的脚本程序, 按照顺序一行一行地读取域名清单里面的内容, 然后针对每一个读取到的域名去调用相对应的接口程序, 之后将获取回来的收录数量和当前的查询时间戳这两个信息, 分别写入到指定的数据表里面保存起来, 这里需要注意的关键参数设置如下。
请求间隔建议设定为2到5秒一次, 这样是为了避免触发频率限制或者导致IP被封禁。
设置失败重试机制的时候, 要规定总共有3次重试的机会, 在单次操作因为各种原因失败之后, 需要暂停10秒钟的时间用于等待, 然后再接着开始下一次尝试。
把输出的格式弄成是每一行都含有“域名”、“收录数量”、“数据来源”以及“查询时间”, 这四个部分, 然后呢, 要把这些数据保存成为UTF-8编码的一种CSV文件。
步骤四:数据清洗与校验
将文件导出之后, 再执行下面的这些校验步骤。
1. 把那些收录的数量是零的行, 或者像是负数、还有特别特别大的数值这种异常的数的行, 从数据里拿掉, 然后把这些行单独放在档案里, 并且做好注明说明。
2. 如果需要对同一个域名进行多次查询的话, 得到的结果可能会不一致;在这种情况下, 大家就应当以最近一次查询所得到的值为准。
3. 你需要在Excel软件里面, 把那个收录数量所在的列拿出来, 然后用降序的规则去排个队, 这么做是方便大家能够非常快地看出来哪些域名的收录量是很高的。
注意事项与合规提示
在使用搜索引擎的接口时候,必须得照着对应平台那边规定的开发者服务协议来办事大规模域名收录数据导出, 千万不能把这些数据拿去卖钱, 或者是用来搭一个跟人家对着干的数据基地。
爬虫的方案必须去遵守目标网站的robots.txt协议, 并且控制并发的数量, 使其保持在合理的范围之内。
收录的数据是有时间限制的, 所以需要标明查询的具体时间, 凡是周期超过三十天的数据都只是拿来参考用的。
常见问题
Q:单个API配额不够覆盖全部域名怎么办? 需要把域名清单进行分片处理, 然后去跨多个账户或者搭配多种数据源来交叉查询, 最后汇总结果并去除重复项。
问题:导出的数据能不能直接用来做域名投资的决策呢? 收录的数量仅仅是一个单独的维度的指标, 建议大家还要结合像Alexa的排名、对流量的估算、还有域名的年龄这样的字段, 来做一个综合的判断。
