當(dāng)前位置:首頁 > 芯聞號(hào) > 充電吧
[導(dǎo)讀]Robots背后的潛規(guī)則最近,Robot協(xié)議又被拿來說事兒,有人說360違反Robot協(xié)議抓取搜索引擎搜索結(jié)果,還有人說著會(huì)引起行業(yè)大亂,隨后似乎又有幾個(gè)不知名的小網(wǎng)站隨聲附和。不過反駁之說,似乎只見諸文字,真對(duì)360搜索

Robots背后的潛規(guī)則

最近,Robot協(xié)議又被拿來說事兒,有人說360違反Robot協(xié)議抓取搜索引擎搜索結(jié)果,還有人說著會(huì)引起行業(yè)大亂,隨后似乎又有幾個(gè)不知名的小網(wǎng)站隨聲附和。不過反駁之說,似乎只見諸文字,真對(duì)360搜索反感的網(wǎng)站倒還真沒見到。

Robots協(xié)議是什么?在百科網(wǎng)站里的定義,robot協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等)也就是robots.txt,網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。

當(dāng)搜索蜘蛛訪問站點(diǎn)時(shí),它會(huì)首先檢查網(wǎng)站根目錄下是否存在Robots.txt。如果存在,搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

Robot協(xié)議對(duì)于小白用戶并不重要,之前也并不廣為人知。最近和Robots相關(guān)的新聞都發(fā)生在電子商務(wù)網(wǎng)站,之前有兩個(gè):一個(gè)是京東屏蔽一淘的蜘蛛,另一個(gè)是淘寶屏蔽百度的蜘蛛?,F(xiàn)在,3B大戰(zhàn)鬧得很兇,很多人把Robot協(xié)議拿出來說事兒。

而在我看來,Robot充其量是互聯(lián)網(wǎng)江湖規(guī)矩、“潛規(guī)則”而已。

Robot協(xié)議不是行業(yè)標(biāo)準(zhǔn),只是“搜索引擎的家規(guī)”。

Google是互聯(lián)網(wǎng)江湖的大佬,Robots的發(fā)展恰恰與Google的發(fā)展密不可分。

當(dāng)年,谷歌憑借搜索引擎飛速發(fā)展,可很多大型網(wǎng)站原有的商業(yè)模式遭到了嚴(yán)重的破壞。為了維護(hù)自身的利益,一些歐美大網(wǎng)站聯(lián)合起來與Google談判,要求Google必須做到“有所為有所不為”,于是就有了“Robots協(xié)議”。

對(duì)于這份所謂的Robots協(xié)議,很多企業(yè)并不買賬。畢竟,這只是谷歌自己制定的規(guī)范,并不是各大搜索廠商的共識(shí)或統(tǒng)一的協(xié)議,也從來沒有任何一家國內(nèi)搜索引擎服務(wù)商公開承諾遵守Robots協(xié)議或簽署類似協(xié)議或聲明。 所以,在很多人眼里,充其量是谷歌的“家規(guī)”。

而事實(shí)上,這個(gè)由搜索引擎制定的協(xié)議,只會(huì)規(guī)定如何與網(wǎng)址分享內(nèi)容,絕對(duì)不會(huì)對(duì)于搜索引擎不利的條款。伴隨搜索引擎的發(fā)展,Robots協(xié)議朝著相反的法相發(fā)展:

Robots協(xié)議目的是為了限制谷歌,但最終卻幫助Google和百度這樣的壟斷企業(yè)遏制了后起的競爭者。因?yàn)?,Google當(dāng)年在制定這個(gè)協(xié)議時(shí),特意留下了后門,即:協(xié)議中不僅包括是否允許搜索引擎進(jìn)行搜索的內(nèi)容,還包括允許誰和不允許誰進(jìn)行搜索內(nèi)容。Google和百度在實(shí)現(xiàn)了壟斷地位之后,就利用這些排斥性規(guī)則擋住了后來的進(jìn)入者。

這樣看來,Robots協(xié)議是互聯(lián)網(wǎng)的一份“不平等條約”“壟斷條款”。

值得一提的是,盡管Robot造成了搜索引擎的霸權(quán)與壟斷,但當(dāng)年制定條款的初衷卻非常值得我們尊重。Robot制定的兩個(gè)原則是:

1、搜索技術(shù)應(yīng)服務(wù)于人類,尊重信息提供者的意愿,并維護(hù)其隱私權(quán);

2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。

現(xiàn)在,我們由Robot最初的兩個(gè)初衷,卻得到得到兩個(gè)與眾不同的答案:

抓取搜索頁面無罪

既然,Robot協(xié)議的初衷是為了保護(hù)“信息提供的隱私”“最終信息提供者的意愿”,那么對(duì)于在搜索引擎結(jié)果中,再次抓取的行為則無罪可言:

搜索引擎的結(jié)果被抓取,實(shí)質(zhì)上是經(jīng)過了兩次Robot。那么,如果第一次Robot是完全符合協(xié)議,保護(hù)了信息者的隱私,那么在已經(jīng)保護(hù)了隱私的搜索結(jié)果里,再次檢索,又怎能破壞隱私呢?

愿意把信息提供給百度的站長們,無非是希望訪問用戶增加、網(wǎng)站流量增加。那么,增加一個(gè)新的搜索引擎,檢索其內(nèi)容,為其帶來更多流量和用戶的時(shí)候,難道不是最大程度地滿足信息提供者的意愿嗎和需求?

所以,那些擔(dān)心百度搜索結(jié)果被抓取的人們,或許你們是對(duì)百度太沒信心了,你們太過于擔(dān)心百度搜索結(jié)果中有“隱私”了!

搜索引擎有資格獨(dú)占搜索結(jié)果么?

那么,百度能否以站長自居也使用Robot協(xié)議,拒絕其他搜索引擎的檢索呢?顯然不能。

對(duì)于Robot有人打了個(gè)比方:

如果將網(wǎng)站視為酒店里的一個(gè)房間,robots.txt就是主人在房間門口懸掛的“請(qǐng)勿打擾”或“歡迎打掃”的提示牌。這個(gè)文件告訴來訪的搜索引擎哪些房間可以進(jìn)入和參觀,哪些房間因?yàn)榇娣刨F重物品,或可能涉及住戶及訪客的隱私而不對(duì)搜索引擎開放。

如果房間代表是每個(gè)站長的權(quán)利,百度所抓取的內(nèi)容就是整個(gè)酒店,事實(shí)上它并也沒這個(gè)資格,因?yàn)樗阉饕媸遣簧a(chǎn)內(nèi)容的,所以,充其量百度是小區(qū)的物業(yè)。那么,物業(yè)有沒有資格在大門口放一塊“請(qǐng)勿打擾”的牌子呢?顯然不能!因?yàn)?,它代表不了站長,就像小區(qū)物業(yè)沒法干涉你的好朋友去你家串門一樣。

而且,搜索引擎不是制造內(nèi)容和生產(chǎn)內(nèi)容的網(wǎng)站,它不是內(nèi)容的生產(chǎn)者(百度社區(qū)產(chǎn)品不在此討論范圍),就像物業(yè)一樣,它只是一個(gè)托管者而已,它無權(quán)干擾和干涉它所檢索的網(wǎng)站被更多的搜索引擎檢索,更無權(quán)干涉搜索領(lǐng)域的后起之秀為中小網(wǎng)站帶來更多的用戶和流量。

所以,那些拿Robot協(xié)議說事兒的人們,請(qǐng)想想Robots的初衷是什么?是為了保護(hù)站長、內(nèi)容的生產(chǎn)者,而不是保護(hù)搜索引擎。而現(xiàn)在,Robots已經(jīng)變成“搜索引擎家規(guī)”和行業(yè)壟斷的潛規(guī)則,這些搜索壟斷巨頭可對(duì)流量的壟斷和控制力,正讓讓中小網(wǎng)站岌岌可危。

所以,筆者認(rèn)為Robots最缺的,不是違反設(shè)立初衷去保護(hù)日益強(qiáng)悍的搜索引擎,而是對(duì)搜索引擎自身的制約。而要想最好最大程度地保護(hù)站長,只有讓更多搜索引擎充分競爭,打破搜索引擎壟斷,才能最大程度讓利給站長,也是最快和最可行互聯(lián)網(wǎng)和諧之路。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉