什么是robots.txt文件(robots.txt有什么用)

大家好,小物來(lái)為大家解答以上的問(wèn)題。什么是robots.txt文件(robots.txt有什么用)這個(gè)很多人還不知道,現(xiàn)在讓我們一起來(lái)看看吧！

robots協(xié)議（也稱為爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則、機(jī)器人協(xié)議 等）也就是robots.txt，網(wǎng)站通過(guò)robots協(xié)議告訴搜索 引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不希望被抓取。

1. 有什么作用

2. 一個(gè)網(wǎng)站為什么要寫(xiě)robots.txt

3. 淘寶的robots.txt

4. 淘寶的robots.txt

5. 京東的robots.txt

6. Robots.txt放置位置

7. Robots.txt文件的寫(xiě)法

本文到此分享完畢，希望對(duì)大家有所幫助。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！