奇虎360败诉Robots协议案背后的馒头经济学

　　我一向极力反对360这种企业没有其他原因，因为周和360的这种成功是依靠不断打破行业底限来完成的，好比馒头行业以前没有法律规定不能用增白剂滑石粉，但是大家约定俗成行业底限大家都不用，有一天360突然杀出来了又用增白剂又用滑石粉来降低成本并且对外打着打破行业暴利的旗号降价销售，大家的馒头卖不出去了，于是大家纷纷效仿纷纷打破这个约定俗成打破行业的底限加入各种化学制剂，于是我们再也吃不上正常的馒头了，不明所以的我们甚至还在感谢着360带来了便宜的馒头。

　　一、违反Robots协议好比添加化学制剂

　　何为Robots协议?

　　Robots协议，又称机器人协议或爬虫协议，这项协议明确规定了搜索引擎抓取网站内容的范围，包括网站哪些页面允许被搜索引擎抓取，哪些内容不允许被抓取，网络爬虫据此“自觉地”抓取或者不抓取该网页内容，自1994年推出以来Robots协议已成为网站保护自有敏感数据和网民隐私的国际惯例。如果不遵守Robots协议，肆意抓取网站的内容，网站的信息被任意泄漏，将对互联网的良性发展产生巨大的破坏作用。

　　美国案例：

　　2000年2月，美国联邦地方法院就在著名的eBay VS. Bidder's Edge案中引用Robots协议对案件进行裁定。受理此案的美国联邦法官认定BE侵权成立，禁止了BE的违规行为。在法官看来：“eBay 的网站内容属于私有财产，eBay有权通过Robots协议对其进行限制。”违规抓取的行为无异于“对于动产的非法侵入。”

　　二、中国馒头添加剂故事的上演：

　　360搜索在2012年8月推出后，在百度Robots文本中还未允许360爬虫的情况下，360违反Robots协议内容，强制对“百度知道”、“百度百科”、“百度贴吧”等百度网站内容进行了非法抓取，导致不少网民对360页面与百度页面高达99%相似度表示迷惑，同时对百度正常商业利益造成损害，已经构成不正当竞争行为。

　　360综合搜索不仅在搜索结果上直接剽窃、篡改百度、Google等搜索引擎，还不顾国际通行的Robots协议，抓取百度、google等搜索引擎的内容，以至于很多商业网站和个人信息的私密内容也被抓取泄密，这已经完全超出Robots协议的底线。

　　2014年8月7日，围绕360搜索引擎是否违反Robots协议引发的不正当竞争纠纷案，北京一中院作出一审判决，认为被告北京奇虎科技有限公司的行为违反了《反不正当竞争法》相关规定，应赔偿百度公司经济损失及合理支出共计70万元，同时驳回百度公司其他诉讼请求。

　　宣判书背后，奇虎360的行为造成了3大影响：

　　1)破坏了行业底线robots协议，行业影响极其恶劣;

　　2)对百度构成不正当竞争;

　　3)大量用户隐私的泄露;

　　有数据显示，百度旗下百度百科、百度知道、百度文库和百度贴吧所拥有的中文量已经达到了全球互联网中文内容总量的22.67%，这里所有内容的版权归属百度，也就是说，360只要做中文搜索就离不开百度现有内容的支撑，但百度不允许360这种“不劳而获”的行为影响自己，而360一意孤行，之后才上演了360的强取豪夺以及双方对薄公堂事件。

　　大家都明眼看着奇虎360在严重违反robots协议，但问题在于，Robots协议只是一份“协议”，并不直接具有法律效力，由于法律滞后于互联网发展速度，并不能强制360对百度进行巨额赔偿。

　　正是由于国内法律效力的薄弱，侵权结果不能量化、赔偿额度低、网民对商业道德的感知度不强等等原因导致我国目前对互联网不正当竞争的判罚过轻，这也是一些奇虎360敢于屡屡打破行业公认底线进行竞争的原因所在。在法律缺失的前提下，法院审理和判定搜索引擎的侵权行为，行业规则便是最有力的司法依据。

　　三、其他同伴是如何遵守Robots协议的

　　2008年9月8日，淘宝宣布封杀百度爬虫，而百度则严格遵守robots协议，停止抓取淘宝网内容，并没有以淘宝不正当竞争为借口违反robots协议，因为一旦破坏协议，用户的隐私和利益就无法得到保障，搜索网站就谈不到人性关怀。

　　Facebook、Twitter、Alexa、 LinkedIn均采用白名单制设置robots，即只允许robots.txt文件中声明的搜索引擎抓取，禁止其他搜索引擎抓取，例如Facebook网站允许baiduspider、Googlebot、msnbot、naverbot等搜索引擎爬虫收录使用网站特定内容，禁止包含360等在内的其他搜索引擎抓取。

　　我不能想象没有Robots协议的互联网，就像我不能想象每天都吃着参杂化学添加剂的馒头。

　　360一直通过馒头经济学野蛮生长，慢慢地转化成对整个行业的破坏。这种沉迷，利用的是法律的漏洞和“小我”的满足，这是对更高层面的“互联网精神”是没有滋养的。物极必反，360如果继续这样破坏规则，就很有可能会遇到它的瓶颈。