搜索引擎爬蟲協(xié)議的競爭法分析.pdf

1、爬蟲協(xié)議也稱Robots協(xié)議、爬蟲規(guī)則等,是指網絡服務商可設立特定的電子文件來向搜索引擎示明自身哪些內容可以抓取,而搜索引擎則可以讀取該文件來識別所在頁面是否允許被抓取。然而，由于爬蟲協(xié)議本身存在著非強制性，搜索引擎的網絡爬蟲很容易就能夠繞過此文件來實現(xiàn)信息抓取的目的。2012年，百度基于爬蟲協(xié)議訴奇虎（360搜索）不正當競爭一案將爬蟲協(xié)議及其一系列相關的互聯(lián)網法律問題帶入了公眾的視野，自此以后相關案件層出不窮。由于我國現(xiàn)有法律對于爬蟲

2、協(xié)議缺乏直接、明確的適用規(guī)定，對于司法實踐的結果學者們亦存在一定的爭論與分歧，對于此問題的法律規(guī)制亟待解決。
　　本文認為，Robots協(xié)議雖然表面具備技術手段的特征，但其法律性質同樣不容忽視。特別是我國《互聯(lián)網搜索引擎服務自律公約》的簽訂，使Robots協(xié)議在業(yè)界已經上升為重要的行業(yè)慣例之一。作為互聯(lián)網用戶、搜索引擎服務商、網絡內容服務商三角關系的核心，Robots協(xié)議及相關規(guī)范應當受到每一位互聯(lián)網參與者的支持與遵守。
　

3、　從反不正當競爭的角度來看，以行業(yè)規(guī)范為代表的商業(yè)道德通常會作為認定不正當競爭行為的重要考量因素。而搜索引擎能夠在抓取其他網站信息的過程中遵守所遇到的Robots協(xié)議事實上也屬于一種行業(yè)內的普遍商業(yè)倫理，一旦與之悖逆，就可能會形成不正當競爭行為。同時，網絡內容服務商雖然擁有自由設立Robots協(xié)議相關內容的權利，但依然應當受到互聯(lián)網“互聯(lián)互通”原則的約束。此外，在我國《反不正當競爭法》面臨新舊交替、更新?lián)Q代的當下，立法者們也應當立足現(xiàn)實