[原文] Fraud-day With RTB Asia: The China Perspective October, 2014
By Allison Schiff, AdExchanger.com
这是“广告真伪之辨”系列的第十期,是对战斗在反对广告作弊行为第一线公司的采访专题。后续采访的公司还包括Moat和Sizmek。此前数期的采访包括comScore, DoubleVerify, Dstillery, Forensiq, Integral Ad Science, PubChecker, Telemetry, Videology和White Ops。
两年前,当范秋华在上海创立RTBAsia时,并没有想到检测网络广告虚假成份是一个重要的业务。今天,RTBAsia是中国唯一家广告竞价前置反作弊解决方案提供商。
“起初,我们主要是研发广告受众细分工具,但我们很快就意识到程序化购买在中国面临的挑战,我们发现”非人类”是广告展示总量中的一个规模不小的”观众”群体,这当然也是机会。”范秋华说。
解决这个问题的机会源自于中国所有的程序化广告交易平台、供应方合作伙伴(SSP)和私有交易市场都为每个竞价请求提供完整的IP地址信息。(这与其它一些全球的交易平台不一样,如谷歌,只提供IP地址中的一部分信息。)
基于完整的IP地址信息,范秋华和他的12人团队根据技术特征和行为模式对每个IP地址进行场景分类和“真人度”概率评估。基于数据分析,他们为每个地址的“真人度”从0到99进行评分。当IP地址得分在0至49分,与之相关联的行为特征与真人的行为有较大差别,RTBAsia会建议调整竞价价格或放弃竞价。如果得分在50到99,则该IP流量被认为是接近正常的真实人类行为,值得参与竞价。
截至目前,RTBAsia已拥有强大的数据覆盖范围 — 中国IP地址的99.98%都能够被RTBAsia数据服务识别,并且在不断更新。RTBAsia目前的客户包括,广告IaaS平台技术公司易传媒,以及亚洲领先的数字营销服务公司iClick等正在与RTBAsia系统进行对接。中国领先的DSP公司悠易互通,以及筷子科技(一家专注于利用大数据来驱动程序化创意的公司)等公司都正在对RTBAsia的解决方案进行评估中。
“排查虚假流量的服务在中国刚刚出现,”范秋华说。 “我们的工作甚至还得包括在理念上引导广告主和DSP,不要只是做投放后分析,程序化购买带来的技术进步已经使他们可以实时排查并且拒绝购买虚假和非人类的广告展示。”
AdExchanger.com就此话题与范秋华进行了交流。
AdExchanger:虚假广告流量在中国是多大一个问题?
范秋华:很多公开研究报告都指出,全球垃圾邮件和网络恶意软件行为的来源地(IP地址)很大一部分是中国。在中国,虚假广告流量是一个非常值得重视的问题,比其他地区面临的挑战更大。
在中国程序化媒体交易每天大约有100亿次广告展示量。根据我们的数据和分析,其中约15%至20%可能为非人类及虚假。
AdExchanger:你看到什么样类型的造假行为最多?
范秋华:我们发现,非人类流量不一定都来自位于数据中心的机器人程序。相当大一部分其实是来自于个人用户的计算机上运行的旧版本Windows XP。这类计算机操作系统被作为恶意软件的主机运行了很长一段时间,但这很难根除,因为在中国很大一部分网民仍在使用Windows XP,尽管微软已停止支持服务。
恶意软件发送垃圾邮件和自动访问网站。当一台个人电脑开启时,机器人就在背后操纵。它们将真实人类活动与非人类的活动在同一时间混合交错。这些受感染的计算机只要被使用,就成为了广告造假网络的一部分。
AdExchanger:在中国防止广告欺诈行为特别的挑战有哪些?
范秋华:首先,行业还没有主动采取行动来抵御欺诈行为的习惯——不是指技术挑战,而是指商业习惯或觉悟。
也有很多非人类的流量(注:事实效果上的虚假流量)不是为了制造展示。其中相当大的一部分是公开声明和未公开的爬虫。中国有比美国更多的各类搜索引擎,行业集中度更为分散。同时爬虫正在进化得越来越复杂(能够用接近于人类正常使用浏览器的形态来加载网页内容),广告交易平台上各种媒体网页几乎都是爬虫的必爬任务。
此外,有数量不小的个人用户自愿在他们的计算机上安装某种“流量软件”,以自动刷新网页让他们的社交网络主页和自己的网站群看上去上更热门。但是,一旦他们自己的电脑上安装了这种软件,这些软件也执行他们不知道的其它活动,比如成为僵尸网络的一部分。在中国,这类软件的安装超过一百万台,这成为了广告界的一大挑战,因为它会在一台计算机上产生人类和非人类流量的令人迷惑的组合交错。在这些假流量甚至还会混入一些很不错的真正的转换行为。
真实人类使用的计算机在不知不觉中不断参与虚假广告流量的制造。
AdExchanger:你们的技术是如何发挥作用的?
范秋华:我们主要的服务是为DSP提供竞价前置解决方案来排查虚假流量,协助DSP过滤包括非人类流量的竞价。我们提供在RTB环境下竞价程序可以及时检索的实时数据库。
我们给DSP提供两种方案选择。一种是在DSP自己的竞价系统的局域网环境中部署RTBAsia的实时数据服务器,处理来自竞价程序的查询请求,实时数据服务器会返回给竞价程序每一竞价是好是坏的参数。还有另一种选择,我们给他们提供API,DSP可以批量获取RTBAsia的数据,用这些数据搭建自己的数据库来以配合其竞价格调整或者拒绝竞价。
AdExchanger:你们是如何给IP地址评分的?
范秋华:我们为竞价程序的每次竞价请求返回两个维度的信息。一个是IP地址“场景类别”,这是我们独创分析方法的一个构成部分。另一个信息,我们称其为人类活动水平,即“真人度”。如果分数是0,其含义是这是一个明显的机器人或爬虫。如果是60或70,那么它至少接近于一个真实的人。最高得分是99。
AdExchanger:什么是IP地址“场景类型”?
范秋华:中国的程序化广告交易平台为每个程序化购买的展示提供完整的IP地址。由于有完整的IP地址,我们的技术能够准确地分类,他们来自哪种场景,以此为DSP提供关于他们的受众来源的更多信息。
我们目前能够区分的IP地址“场景类型”是,来自家庭的宽带连接,数据中心以及类似企业专线的固定线路连接。例如,如果广告受众来自数据中心的地址,这很明显是可疑的。
AdExchanger:这些信息看起来也能用于广告的跨屏定向?
范秋华:在这些数据的基础上我们将衍生出一个副产品,这些信息也可以用于广告的跨屏定向。 我们有能力识别家庭ADSL宽带IP地址,当电话从移动数据网络转换到家庭网络,例如当你回家切换到家庭Wi-Fi时,我们可以协助DSP识别这些家庭场景。在家用ADSL环境中,如果家庭内部PC、iPad和手机在几小时的一段时间内都在共享同一个IP地址,则该数据有助于跨屏定向。
AdExchanger:中国的APP商店生态系统非常分散,这是否也对虚假广告产生了影响?
范秋华:在中国,Android占了主导。有数量众多的Android市场,质量差异很大。几乎可以说,没有严谨执行的Android应用程序广告运行规则,也没有机构来规范广告在APP中如何运行。 APP中的广告中主要来源是推广其他应用程序,开发者使用各种方法来促成安装,其中的极致做法已经接近于点击欺诈。移动广告的另一个主要问题是,真正的安装与付费任务等各种灰色安装流量相混合,开发商不能清晰区分灰色转换和真正的转换。这其实也反映,开发商对应用安装成本有不切实际的期望导致了目前各种问题的存在。
AdExchanger:你是否注意到更多的移动广告虚假流量出现?
范秋华:移动端的虚假广告流量是一个新兴的问题,也是一个特殊的挑战。例如我们注意到一些“激进的”应用程序“推广方法”是使用一大堆伪造的Android ID和代理服务器来进行应用程序安装。这些代理服务器的IP地址也来自于Windows XP计算机上的恶意软件。
但要解决虚假流量问题,需要全局地查看在移动和PC端的整体情况才能了解问题的全貌和应对方法。就程序化媒体交易而言,我们现在看到的是PC上虚假流量较为活活跃,移动端手机程序化购买本身在中国还是新兴的。