當前位置:首頁 >> 站長天地 >> SEO優化 >> 內容

模仿 Googlebot 機器人抓取你網頁的代碼

時間:2009-10-16 8:22:00 欄目:SEO優化 點擊: 來源:不詳

 [SEO優化]-本文簡要:Google 網站管理員工具剛剛發布了一個 Labs 功能,其中有個功能叫做 Fetch as Googlebot ,你可以在這里模仿googlebot,查看你自己的網頁代碼。不過這個功能是必須通過管理員驗證的網站才能查看,沒有網站管理權限就沒機會了。而在這個 Labs 功能下面還有一個查看惡意軟件...
D6電腦網 (d6pc.com): 模仿 Googlebot 機器人抓取你網頁的代碼-SEO優化

Google 網站管理員工具剛剛發布了一個 Labs 功能,其中有個功能叫做 Fetch as Googlebot ,你可以在這里模仿googlebot,查看你自己的網頁代碼。不過這個功能是必須通過管理員驗證的網站才能查看,沒有網站管理權限就沒機會了。

而在這個 Labs 功能下面還有一個查看惡意軟件的細節功能,自動偵測。

Fetch as Googlebot

在這個功能下,你可以查看任何你自己站點頁面代碼,通過 Google 機器人的視角,好好的審視自己的站點。操作過程很簡單,只要點擊 Labs 打開功能,點擊 Fetch 按鈕查看,等待google機器人的處理,幾秒鐘后,再刷新一下就可以看到結果了。

有朋友奇怪了,這和我們平時看網頁的源代碼有什么不同呢? 為什么要麻煩蜘蛛再來一次,而且必須在網站管理員工具中查看

  • 首先你坑看到Http的頭信息,這個信息可以通過 Live HTTP Headers 等工具查看到,但是直接查看源代碼是看不到的,見上圖中最頂部,相當于有個小探針,幫你查看更多的服務器信息和其他相關信息。
  • 其次你可以比較蜘蛛看到的信息和人看到的信息有什么不同。這個工具用的是和 Google 抓取網頁的那個Googlebot 及其人一樣的IP,一樣的方式,一樣的 user-agent,如果你在不知情的情況下被人進行了代碼修改,在蜘蛛下和人為下看到的代碼不一樣(英文叫clocking),就可以靠這個工具來檢 查了。
  • 還有你可以用這個工具測試一些變化,比如重定向。

在這個工具中你還能發現一些額外的東西,比如 javascript 能被 googlebot 抓取

我沒有flash站,有的朋友也可以看看flash在googlebot中是什么樣子的。

目前測試發現Google機器人只能抓取前100000字節的內容,有人就會覺得網頁文件最好不要超過這個大小,還有人說做鏈接不要放在底部。其實這個沒關系,這個只是工具的作用,跟真實的Googlebot機器人還是有一定差距,你看看新浪的首頁,肯定不止100KB

小知識:什么是Cloaking?

通常是說在Web服務器上使用一定的手段,對搜索引擎中的巡回機器人顯示出與普通閱覽者不同內容的網頁。

現象1:為了提高在搜索引擎中的名次,不自然地大量向網頁中輸入關鍵字,使其不展現給普通用戶,單是選擇性地發給搜索引擎的一種手法。

現象2:黑鏈,今年就流行黑客了。當然,普通黑客的所謂黑鏈,人可以直接在源代碼里看出來,但若有高手用了cloaking,那就不得了。 (據傳搜索引擎會對cloaking的網站進行嚴懲)

小知識:如何測試我的重定向?

用這個工具測試的話,就不用再去等待 Google 重新收錄你的網站,比如我們給www.002pc.com 做了重定向,自動跳到www.j007.com,你就可以通過這個工具了檢測是否順利了。




D6電腦網|電腦學習,電腦維修,電腦技術網;
設電腦學習,電腦入門,電腦技術,電腦教程,電腦維修,硬件知識,
網頁設計建站,桌面壁紙,主題下載,WIN7下載,常用軟件下載等欄目。感謝您的支持!
欄目:SEO優化 作者:佚名 來源:不詳
共有評論 0相關評論
發表我的評論
  • 大名:
  • 內容:
本類推薦
  • 沒有
本類固頂
  • 沒有
網友推薦
鏈接申請
  • D6電腦網(www.hcocxw.live) © 2019 版權所有 All Rights Reserved.
  • 本站為純技術學習交流型網站,部分資源來源網絡,僅供學習交流,版權歸原作者,本站僅為轉載,如有侵犯您的利益請聯系我們刪除.謝謝!
    關于D6電腦學習網 廣告合作 [email protected] 聯系站長 網站地圖 粵ICP備09035016號
  • 擺脫淺薄和低俗的最好辦法就是學習,我們加油!D6PC! V3.0
  • 吉祥招财猫电子 超级大乐透 雪缘园北单 股牛配资 最好的股票分析软件 广西快3 明日五粮液股票行情 股票指数基金有哪些 雪缘园即时比分 股票涨跌幅度公式 快乐飞艇 甘肃快三 鑫恒盈配资 首席球探 总进球 产业基金配资比例 手机新浪体育网