网民利益面前没有例外 违反robots协议是自取灭亡

　　对普通网民来说，可能对robots协议并不熟悉，但是提起为什么当年在百度里突然搜不到淘宝店铺和宝贝信息这档子事，可能大家就能明白了。当时，淘宝就是根据robots协议在淘宝网站根目录的robots文件里屏蔽了百度抓取，百度出于遵守robots协议，就当真不再收录淘宝的网页内容。虽然淘宝屏蔽百度让网民很不适应，但是作为国际互联网界的通行道德规范，既然人家淘宝明确用robots协议禁止百度抓取，百度也只能尊重淘宝的决定。

　　这并不是个案，互联网行业里，还有很多类似的通过robots协议来保护网站利益的利益。比如，大名鼎鼎的默多克的新闻集团，曾一度讨伐Google，认为Google是新闻集团的寄生虫，损害了新闻集团的利益。为此，Google直接回应说，默多克完全可以让新闻集团的程序猿在网站根目录上传一个禁止Google抓取的robots文件。默多克照做后，Google再也不去抓取新闻集团的内容，井水不犯河水，双方自此相安无事和平共处。

　　在国内，视频网站优酷也曾经为了减轻服务器压力和降低由此产生的带宽成本，根据robots协议合情合理的禁止搜索引擎抓取爬行，从而有效缓解了当时处于资金紧张阶段的优酷的服务器压力，甚至有业内人士认为此举对优酷能生存下来起到了很大的作用。

　　在淘宝推出一淘后，淘宝的死对头京东继屏蔽阿里的支付宝之后，也迅即做出反应，第一时间用robots协议屏蔽了一淘的抓取。

　　类似的例子还有很多，而这些例子中，我们能看到的共同一点就是，当网站用robots协议禁止一个或多个搜索引擎抓取后，这些正规的搜索引擎无不“言听计从”，当即照办。

　　其实，robots协议并无多少技术含量，凭借百度、Google乃至一淘等搜索引擎的技术，都可以换个马甲轻松绕过屏蔽，继续抓取这些网站的内容。然而，他们没有这样做的原因只有一个，那就是尊重游戏规则，尊重行业惯例，遵守这个国际互联网界通行的道德规范。

　　作为国际互联网界通行的道德规范，robots协议自从由荷兰籍网络工程师Martijn Koster 于1994年首次提出后，一直以保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯为目的，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。只要搜索引擎都能自觉遵守这个协议，互联网行业就能保持理性健康可持续发展，网民的利益就不会受到侵犯。

　　网民利益面前没有例外，对于Google、雅虎、微软、百度等正规搜索引擎来说，他们无不深知这个道理。也正是因为他们一直在认真遵守robots协议，在共同构建了和谐发展的互联网信息搜索服务生态，与各大网站和网民实现了利益共赢，自身获得了迅猛的发展，赢得了网民的口碑。

　　看到这里，不由得对360公司的做法感到“恶心”。2012年8月，奇虎360无视国际通行的Robots协议，未经授权的情况下，通过360搜索和浏览器强行抓取百度等搜索引擎内容，不仅对百度等网站的产品和服务造成了侵害，也导致大量用户数据库、账号、密码等隐私信息内网信息被泄露，引发社会恐慌。而即便是在互联网协会出面协调、360也与各大搜索引擎共同签署了自律公约后，仍然明知故犯，一味违反robots协议去抓取不允许抓取的内容。随即百度以不正当竞争为由将360诉上法庭。目前，这个案件已经在北京市第一中级人民法院做出一审判决。法院认为，360公司违反Robots协议侵犯百度权益证据确凿，有违商业道德，属不正当竞争行为，责令360累计赔偿百度相关损失70万元。

　　显然，违反robots协议也是为法律所不能容忍的，而在网民利益大于天的互联网时代，不尊重网民利益，不遵守robots协议的公司，无异于“自取灭亡”。

上一篇：台湾一母亲迷信灵修 强迫11岁女儿当性奴

下一篇：遵守robots协议是保护网民利益不可逾越的底线

相关文章:

最新阅读

热点推荐

精彩图文