域名收录查询结果去重的核心逻辑仅仅只有一条, 那就是先把格式统一起来, 然后再来确定规则, 之后再去执行去重操作, 最后输出一份结构化的清单, 如果跳过统一格式这一步而直接去做去重, 这就是大多数从业者效率低下的最根本原因。
下面的这个流程, 是适用于百度、搜狗、360、必应这些主流的搜索引擎的批量域名收录查询结果的。
第一步:统一数据源格式
现在用的那些查东西的不同的工具, 把结果导出来的时候, 那个字段的叫法, 还有编码的那个方式, 对不上号。要想把所有原始的数据都放到一起, 那是不行的, 非得先整成一个模样的。这个统一后的样子, 就按照下面说的这几个标准来操作:
把域名写成统一的小写格式, 并且去掉前面的协议头部分, 比如说 example.com 这样的情况。
去查询平台进行相关的操作, 这些平台包括百度、搜狗、360和必应等等。
收录的具体数量, 该数量是由纯数字组成的。
查询日期(YYYY-MM-DD)
原始URL, 即用于进行溯源操作的网络地址。
当你在操作Excel或者是CSV这些文件的时候, 首先你需要去执行查找和替换这样的操作, 以此来清理掉那些空格、全角字符还有多余的换行符, 虽然这一步花掉的时间不能超过原始数据量所对应时间的三分之一, 可是这一步却能够做到避免在后续工作里出现九成左右的误判情况。
第二步:定义重复判定规则
这里需要重复这个词, 把它分成两个层面进行解释和判断:
1. 完全重复这个情况, 是指同一个域名, 加上同一个平台, 再配上同一个查询日期, 这样的情况, 保留一条就足够了。
2. 疑似重复这种情况指的是同一个域名在不同的平台上头收录的数量差异是非常非常小的, 比如说是百度搜索收录了三千条, 而搜狗搜索收录了两千九百八十多, 这个并不是数据出了什么大错误, 而是因为每个平台的索引机制都是不同的一个结果, 所以对于这样的现象是完全不应当去把它进行删除操作的, 反而是需要去在数据里面标注上一句话叫做多平台收录以方便后续的处理。
我们建议采用这样的公式来进行标记操作, 当出现域名加上平台这个组合的次数大于一的时候,就把该标识高亮并且标红, 如果仅仅是域名的部分是相同的, 但是平台的这部分是不同的情况下, 就用浅来进行标注并且将其保留下来。
第三步:执行去重操作
请按照下面这个先后顺序来分批处理。
对于完全重复的行, 需要执行的操作是直接进行删除, 同时保留最早出现的那一行, 这里的标准是依据查询日期来确定哪一行是最早的。
在同域名多平台的情况下, 要把全部保留下来。然后在平台这一列进行合并书写, 写成百度/搜狗这种形式, 至于收录数量, 要取各平台的数值来并列展示。
对于包含有端口、路径或者带上了 http 前缀的脏数据, 使用正则表达式 ^https?://(\w+:\d+)?/?(.?)(/\S)?$, 来提取出纯粹的域名部分, 然后再进行重新归并。
Excel用户可以在“数据”里面找到一个叫作“删除重复项”的功能, 然后点击一下它进去以后, 在设置里面的勾选项那里, 把表示域名的那一列和表示平台的那一列都选择上这样来当作判定依据。
超过5万行数据建议用Python pandas:df.drop_duplicates(subset=['domain','platform'], keep='first')。
第四步:输出可用清单
先把重复的部分去掉, 然后根据业务方面的具体需求进行排序, 最后再把它输出出来:
按照收录的总数从多到少进行排列, 从中筛选出那些收录比较高的域名, 以便于用来做竞品分析。
按照“多平台覆盖数”这个指标来进行降序排列;然后就去识别那些在全网范围内被广泛收录的品牌域名。
把它弄成CSV或者Excel的格式, 里面的列的顺序得固定不变, 头一个要放的是域名, 第二个接着就是覆盖平台数, 然后依次是各平台的收录数, 下一个位置是最近一次查到的日期, 最后一个栏目叫做备注信息。
常见疑难
对于Example.COM与example.com这种情况, 虽然域名的大小写是混合在一起的。但是我们在去重的时候。需要把它们全部转换成为小写形式之后再进行操作。不然的话。系统就会误以为这是两个完全不相同的记录。
因为子域名和主域名容易搞混, 也就是blog.example.com 跟 example.com 这一块, 所以当业务上需要分开统计的时候, 就保留独立的行, 当需要合并统计的时候, 就要手动把它们归并到主域名下面去。
查询工具返回的结果如果是"0"或者是"未收录"的话, 那么我们就应该保留这一行数据, 并且给它打上"未收录"的标记, 在这种情况下绝对不可以把它当成是空的值来进行删除操作。
在按照上面提到的四个步骤来执行操作的时候, 通常的情况下, 初始的一十万条的查询结果能够在十五分钟的时间里面被压缩减少到一万条里面的一个更加干净的清单列表, 并且在这个过程中不会出现任何数据的丢失现象。
