robots协议20周年 为有360这样的公司感到可悲

　　不多不少，今年正好是robots协议提出20周年。20年前，荷兰籍网络工程师Martijn Koster首次提出了这个协议。作为国际互联网界通行的道德规范，网站按照robots协议上传相应的robots文件，告知搜索引擎哪些页面可以抓取，哪些页面不能抓取。

　　robots协议的目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。20年来，这个协议已经成为行业惯例，无论是Google、Yahoo、微软还是百度、搜狗，都自觉遵守，确保了互联网行业的有序环境和网民的切身利益不受侵犯。

　　然而，这一切都在两年前，随着360公司推出自己的搜索引擎被打破了。2012年8月，奇虎360无视国际通行的Robots协议，未经授权的情况下，通过360搜索和浏览器强行抓取百度等搜索引擎内容，不仅对百度等网站的产品和服务造成了侵害，也导致大量用户数据库、账号、密码等隐私信息内网信息被泄露，引发社会恐慌。 随即百度以不正当竞争为由将360诉上法庭。

　　有文章指出，自360搜索推出以来，其违反robots协议，窥探用户隐私的问题便屡屡遭到各方的质疑和反感。之前微博网友zeracker指出360抓取用户账户、密码及订单、优惠码等信息，并晒出图片，让360浏览器抓取很多国内知名网游的后台订单、优惠码等敏感记录的行为尽显无遗。而360的抓取不仅让用户账户信息存在风险，邮件等信息也难逃厄运。细心的网友发现在使用360搜索时，360搜索居然会抓取IBM lotus domino 邮件系统后台和个人邮件文件存储地址。360违反robots(拒绝抓取)协议的抓取行为，将使用户邮件信息的内容，可以被搜索引擎抓取，更可以被网民搜索。

　　今年8月7日，百度诉奇虎360公司违反Robots协议案今日在北京市第一中级人民法院做出一审判决。法院认为，360公司违反Robots协议侵犯百度权益证据确凿，有违商业道德，属不正当竞争行为，责令360累计赔偿百度相关损失70万元。

　　两年过去了，robots协议也正好提出20周年，被称为robots第一案的这个360公司违反Robots协议案，在此时宣判确实别有一番意味。尤其是作为一个互联网从业者，作为一个网站内容老兵，心中多少有些不是滋味。因为，通过这次宣判，终于看到邪不压正，违反robots协议必然要付出代价。然而，区区70万元的赔偿，总觉得与360违反robots协议的恶劣性质太不般配，违法成本如此之低，很可能让违反robots协议更加肆无忌惮。其实，作为互联网老兵，更觉得悲哀的是，连本来就是一个可以用来化解纠纷、解决问题的robots协议，却由于协议本身而非得闹上法庭才能解决。这让我想到了生活中的一些“老赖”“无赖”，脸皮厚到即便法院做出了强制，仍然不知悔改变本加厉，实在让人为其感到可悲。