robots.txt文件的重要作用意義

2019-08-06
什么是robots.txt文件?
搜索引擎機器人通過鏈接抵達互聯網上的每個網頁,并抓取網頁信息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄,我們可以通過設置robots.txt文件告知搜索引擎機器人。
如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt文件,或設置為空。
SEO的角度,robots.txt文件是一定要設置的,原因:
網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
一些沒有關鍵詞的頁面,屏蔽掉更好。
一般情況下,站內的搜索結果頁面屏蔽掉更好。





全國服務熱線:0571-87998705  
地址:浙江省杭州市 拱墅區(北部軟件園)祥園路39-1號 5F

Copyright © 2015-2019  杭州壹一信息技術有限公司 版權所有 浙ICP備18009611號-1

壹一信息專注互聯網營銷策劃推廣,SEO優化網站建設萬詞霸屏整合網絡營銷,為廣大企業提供一站式全方位網絡推廣服務!

棒球比分直播球探 新疆18选7开奖公告 河内5分彩开奖走势图 加拿大快乐8开奖连接 四不像一肖中特一点红香港马 澳洲幸运10开奖结果查询视频 黑龙江时时彩计划软件 云南快乐10分开奖直播现场 ds视讯娱乐 买秒速时时彩有规律吗 极速快乐十分软件下载 天音彩票官方网站-Welcome 广西11选5全年开奖历史 今天体育彩p3试机号 AB真人网站 竞彩nba让分胜负 2021百家乐注册送白菜