<pre id="rtp7t"><del id="rtp7t"></del></pre>

        <p id="rtp7t"></p>

        <pre id="rtp7t"></pre>
        <p id="rtp7t"><mark id="rtp7t"><progress id="rtp7t"></progress></mark></p>

        <pre id="rtp7t"></pre>
        溫州麥道信息科技有限公司
        新聞資訊News Center
        網站開發之SEO論robots.txt文件作用
        2017-09-05

        一.什么是robots.txt文件?

        搜索引擎通過一種程序robot(又稱spider),自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做robots.txt的純文本文件。您可以在您的網站中創建一個純文本文件robots.txt,在文件中聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分。

         

        請注意,robots.txt是一個純文本文件,是搜索引擎蜘蛛爬行網站的時候要訪問的第一個文件,當蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍,相當于網站與搜索引蜘蛛遵循協議,如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被屏蔽的網頁,作為站長,我們就可以通過robots.txt文件屏蔽掉錯誤的頁面和一些不想讓蜘蛛爬取和收錄的頁面。


        二.robots.txt放置位置

        robots.txt文件應該放置在網站根目錄下。舉例來說,當spider訪問一個網站(比如http://www.johnstons-of-elgin.com)時,首先會檢查該網站中是否存在http://www.johnstons-of-elgin.com/robots.txt這個文件,如果Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。

         

        三.robots.txt作用

        第一,Robots.txt文件大大節省服務器寬帶
        我們都知道像email retrievers、image strippers這類搜索引擎都耗用大量寬帶,而且對網站沒有什么太大的意義,而通過Robots.txt就可以制止不必要的爬行工作,如果你的網站是圖片站的話,沒有設置好Robots.txt文件的話,就會浪費大量的服務器寬帶。


        第二、方便搜索引擎爬起工作
        如果你的網站內容豐富,頁面很多,設置Robots.txt文件更為重要,比如你有個網站,整個站有50多個G,打開頁面可能會比較慢,如果不配置好Robots.txt文件的話,蜘蛛爬行工作就會很費力,而且如果太多的蜘蛛爬行,以至會影響你網站的正常訪問。

        第三、聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分,優化蜘蛛訪問效率,蜘蛛抓取更頻繁。

        第四、引導蜘蛛爬網站地圖

         

        介紹:麥道科技,專注于網站建設領域10年,具有成熟的網站制作理念,豐富的網頁設計經驗。

         

        電話:0577-88113499 86767266
        傳真:0577-86767266
        Email:md@mai-dao.cn
        7 × 24小時服務:13957753074 13958904321 郵編:325000
        地址:浙江省溫州火車站(溫瑞大道)站南商貿城 E-407
        麥道公眾號 掃一掃關注我們
        我們的服務:
        • 溫州網站建設
        • 溫州網站制作
        • 溫州網頁制作
        • 溫州網頁設計
        • 瑞安網站建設
        • 瑞安網站制作
        • 平陽網站制作
        • 平陽網站建設
        Copyright © 1999-2019 All Rights Reserved 溫州麥道信息科技有限公司 版權所有   浙ICP備08013787號
        精品国产不卡一区二区三区

              <pre id="rtp7t"><del id="rtp7t"></del></pre>

              <p id="rtp7t"></p>

              <pre id="rtp7t"></pre>
              <p id="rtp7t"><mark id="rtp7t"><progress id="rtp7t"></progress></mark></p>

              <pre id="rtp7t"></pre>