感謝您使用360搜索。為了實(shí)現(xiàn)對網(wǎng)站更好的收錄,我們在此公布360搜索對Robots協(xié)議的支持和擴(kuò)展說明,以便站長們了解,實(shí)現(xiàn)對網(wǎng)站內(nèi)容更高效、智能的收錄。
簡介
360搜索對Robots協(xié)議的支持
360搜索支持Robots協(xié)議的主要命令,以下為具體說明:
1. user-agent360搜索各產(chǎn)品的爬蟲user-agent為:
- 網(wǎng)頁搜索 360Spider
- 圖片搜索 360Spider-Image
- 視頻搜索 360Spider-Video
站長可通過Allow命令指定建議收錄的文件、目錄 。
3. Disallow站長可通過Disallow命令指定不建議收錄的文件、目錄。
360搜索對Robots協(xié)議的擴(kuò)展
360搜索根據(jù)站長們的反饋,會(huì)陸續(xù)推出擴(kuò)展的Robots協(xié)議命令。這些命令將能幫助站長們提高和360搜索爬蟲溝通的效率,減少站長們維護(hù)Robots協(xié)議文件的技術(shù)成本。
360搜索首個(gè)擴(kuò)展命令是:indexpage,站長們可以使用此命令告知360搜索哪些網(wǎng)頁經(jīng)常更新。360搜索會(huì)根據(jù)站長的指示以及自己的算法,智能調(diào)整爬蟲抓取頻率,實(shí)現(xiàn)對您網(wǎng)站新內(nèi)容的更高頻率抓取。
在命令中可以使用*、$等通配符。
示例:
使用通配符的
Indexpage: http://bbs.360safe.com/forum-*-1.html$
Indexpage: http://ent.sina.com.cn/*/roll.html
不用通配符的:
Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml
Indexpage: http://roll.tech.sina.com.cn/it/index.shtml
Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml
Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml
Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml
對Robots協(xié)議的善意使用
Robots協(xié)議是一個(gè)搜索引擎和網(wǎng)站之間的善意協(xié)議,我們鼓勵(lì)站長們也以善意的方式使用這一協(xié)議,盡量提供準(zhǔn)確的信息,除非有充足理由,不使用Robots協(xié)議屏蔽某些特定搜索引擎爬蟲。
360搜索愿和站長們一起,共建一個(gè)更健康、公平、透明的搜索引擎生態(tài)系統(tǒng)。