闲扯Robots协议第一案

“拖了”近一年的百度起诉360不正当竞争案终于尘埃落定。

百度起诉360违反ROBOTS协议抓取和复制知道、百科等百度自有数据,索赔1亿元人民币的官司在去年10月开庭审理,因为ROBOTS协议的复杂性导致此案一直悬而未决。今日一审判决结果为,360违反《反不正当竞争法》相关规定,赔偿百度70万元。这为中国互联网日后的“数据”竞争划了一条红线:ROBOTS协议以及UGC的用户数据受法律保护。

ROBOTS协议被执法者认可

这场官司历时一年才得以宣判,在于其存在两大症结:ROBOTS协议是否受到法律保护和UGC(用户创造内容)的数据所有权的争议。

Robots协议是网站站长与搜索引擎之间共同讨论后形成,通过Robots.txt落地。网站站长用它决定对搜索引擎的开放程度,引导爬虫如何更有效地爬取自己,通常网站可以在服务器根目录下的“Robots.txt”中指明哪些内容可以被搜索引擎抓取,哪些不可以;也可以指明对那个搜索引擎开放,或者对哪个不开放。

限制某个搜索引擎,Robots初衷是限制“BadRob”,即坏爬虫。所谓坏,是指存在安全或隐私问题,抑或太高频率爬取导致服务器压力。随着互联网竞争的加剧,ROBOTS俨然成为互联网竞争的工具。拥有数据的网站可以选择对竞争对手不开放数据,对合作伙伴则洞开大门。此前便曾发生淘宝限制百度ROBOTS、苏宁和京东限制淘宝一淘,以及最近的百度限制360搜索爬虫。在UC推出神马搜索之后,百度ROBOTS同样“例行性”地对其进行了屏蔽。

网站利用ROBOTS协议的出发点并不重要。尽管ROBOTS有违互联网开放和共享的精神,但一家商业公司利用行业公认的协议保护数据和利益,限制竞争对手,是正常不过的商业行为。问题在于,ROBOTS协议是行业规约,违反它只是道德问题,并没有明确的法律依据,执法部门在这一点上有着不少弹性。全球范围看,几例ROBOTS纠纷诉讼也有完全不同的判决结果。

百度与360官司的尘埃落定,也表明了中国执法者对待ROBOTS的态度:它是一个重要的参考,如果违反将有不正当竞争之嫌。法院认为,该协议虽然名为协议,但仅是一种技术规范,准许哪些爬虫机器人访问,但这并非法院所规定的内容,由搜索引擎自行编写,而非网站与搜索引擎达成的协议。无论爬虫是否遵守,都不会引起强制的行为。当上述人形成该行为,已成为共识,它已经成为国内外互联网普遍遵守的协议,引起的纠纷少见,法律对于互联网robots协议形成的自律公约表示尊重。

UGC数据所有权归属明确

这场官司还有一个症结在于,360抓取和复制的是百度的UGC数据,是用户创造的内容,而不是百度创造的。

百度在04年做出一个重要决策,即构建自己的内容频道,先后推出了贴吧、知道和百科,现在还有文库、地图和百家等更多自有内容频道,这些频道产生的流量在整个中国互联网占据着相当可观的比例,是搜索引擎结果中不可或缺的内容。在Google、百度等搜索引擎结果中知道的问题、百科的词条出现的比例都非常之高。在搜索引擎纷纷进入知识图谱时代之后,自有内容更加重要,因为它们是图谱构建的核心数据。

因此搜狗、360纷纷推出自己的问答、百科这样的UGC内容频道。数据的积累需要时间,为了能够快速提升搜索体验和原始数据积累,360选择打“擦边球”违反ROBOTS协议对百度数据进行抓取和复制,这样做风险很小的原因是:网民创造的内容放在百度服务器上,擅自抓取的是网民的数据,而不是百度创造的。

本次官司意味着UGC内容的创建者是谁并不重要,搭建平台网站投入运营、技术和人力成本,拥有对数据的使用权和分发权。如果第三方网站违背意愿进行抓取依然可被判为不正当竞争。中国互联网在进入WEB2.0时代之后,利用众包力量产生内容已经成为主流。视频、文章、帖子、问答、百科、攻略……每个行业都有UGC巨头,它们的用户创造内容的权益保护有了前例可以遵循。

互联网行业尚在“规矩”时代

ROBOTS协议利用有违互联网的开放要义,将UGC数据据为己有,则违背了互联网的分享精神,互联网巨头则有裹挟用户和数据割据之嫌。360正是不服百度数据对所有搜索引擎都开放,却偏偏不对360爬虫开放的“制裁”,踩着灰色地带去破坏规矩——尚称不上法律。

在任何社会领域,如果既定规则并不合理,合适的处理方式有两种:要么循规蹈矩遵守它,要么推动规则改变。理论上来说没有完美的制度,从政治到商业到游戏均是如此。相关角色只有在遵循现有制度的情况之下,推动制度不断完善,才能确保整个系统正常运转。

10多年来,互联网行业高速发展,配套制度建设很难跟上来。电商的税收和假货问题,视频的版权问题,网络内容的著作权,用户的隐私保护……都还处于亟待完善的阶段。互联网从业者只有遵守既定的行业规则,才可避免恶性竞争,避免拖慢互联网的发展进程。

ROBOTS官司只是个案,它给互联网的数据归属和保护规则带来借鉴意义。随着互联网加速接管实体世界,配套制度正在、也必须尽快完善,因为规矩解决不了所有问题。