广告斗篷的核心能力在于准确识别谁是机器人、谁是真人。如果识别不准,要么真实用户被拦截导致转化率下降,要么机器人被放行导致广告账户被封。这篇文章由无相盾技术团队撰写,深入解析机器人检测的三层技术体系。
为什么机器人检测比你想象的更难
很多人以为机器人检测就是「把 Facebook 的 IP 拉个黑名单」这么简单。实际上,现代的审核机器人已经非常高级(基础概念可参考广告斗篷入门指南中的介绍):
- 它们会使用住宅代理,IP 地址看起来和普通家庭用户一模一样
- 它们使用真实的 Chrome 内核来渲染页面
- 它们可以模拟鼠标移动和滚动行为
- 它们会执行 JavaScript 并处理动态内容
面对这样的对手,单一维度的检测方案是远远不够的。这就是无相盾采用三层叠加验证的原因。
第一层:IP 地址情报系统
IP 情报是最基础也是最快速的检测层。无相盾的 IP 情报系统包含以下维度:
数据中心 IP 检测
绝大多数审核机器人运行在云服务器上(AWS、Google Cloud、Azure、Oracle Cloud 等)。这些 IP 段是公开可查的。如果一个访客的 IP 来自数据中心而不是住宅网络,它大概率不是真实用户。
已知 Bot IP 数据库
无相盾维护着一个超过 2000 条记录的 Bot IP/IP段数据库,覆盖 Facebook、Google、TikTok、Bing 等所有主流平台的已知爬虫 IP。这个数据库由专人每天人工更新——而不是依赖自动化脚本,因为自动化脚本容易把正常 IP 误标为 Bot。
VPN/代理/Tor 检测
一些审核系统会通过 VPN 或代理服务器来访问你的落地页。无相盾拥有自研的 IP 威胁情报引擎,能够精准识别主流 VPN 服务商、公共代理、以及 Tor 网络的出口节点。这套引擎经过多年的数据积累和算法迭代,识别精度远超普通的开源 IP 库。
网络环境深度画像
无相盾会对每个访客的网络环境进行多维度的深度画像分析,综合判断访客的网络来源属性。这套分析模型是无相盾的核心技术壁垒之一,具体细节属于商业机密。
第二层:浏览器指纹检测
即使机器人使用了住宅 IP,它的浏览器指纹往往会暴露身份。
User-Agent 分析
虽然 User-Agent 可以被伪造,但很多机器人要么使用过时的 UA 字符串,要么 UA 中包含矛盾的信息(比如声称是 Windows 但 JavaScript 检测到的平台是 Linux)。
JavaScript 环境检测
真实的浏览器和无头浏览器在 JavaScript 运行环境上有许多微妙的差异。无相盾的指纹检测引擎会从数十个维度对浏览器环境进行深度扫描,全面检测自动化工具和无头浏览器的痕迹。
这套检测维度是无相盾研发团队经过大量实战对抗总结出来的,涵盖了浏览器内核特征、运行环境一致性、API 完整性等多个层面。具体的检测点属于核心技术,不便公开。
设备环境指纹
无相盾会对访客的设备环境生成综合指纹,通过多种浏览器渲染和计算能力的差异来区分真实物理设备和虚拟/模拟环境。这套指纹算法能有效识别在云端运行的自动化爬虫。
第三层:行为特征分析
这是最高级也是最难伪造的检测层。
鼠标轨迹分析
真实用户的鼠标移动轨迹是曲线的、不规则的、有加速和减速的。机器人的模拟移动往往是直线的、匀速的、或者呈现出规律性的模式。
页面交互模式
真实用户会滚动页面、停留阅读、点击链接。审核机器人通常只是加载页面、等待渲染完成、然后离开——不会产生有意义的交互行为。
访问时序分析
真实用户的访问时间分布是符合人类行为模式的。而审核机器人可能在凌晨3点集中发起大量请求,或者以精确的时间间隔反复访问。
三层叠加的威力
单独任何一层都有可能被绕过,但三层叠加起来,误判率就可以降到极低。无相盾的综合识别准确率达到 99.7%,这意味着每1000个访客中,最多只有3个可能被误判。
而且这三层的检测是并行执行的,总耗时在50毫秒以内,用户完全感知不到。
持续对抗:为什么更新频率很重要
机器人检测本质上是一个持续对抗的过程。审核平台在不断升级它们的爬虫,斗篷系统也需要不断更新识别规则。
无相盾坚持每天人工更新 Bot 特征库,而不是每周或每月更新。在这个领域,一周不更新可能就意味着大量的漏网之鱼。这也是无相盾区别于很多竞品的核心优势之一。