日志分类:SEO

关键字选取工具

2007-07-29   |  分类:SEO

中文关键词选取工具:

百度搜索词频: 之前,百度曾列出关键词每日搜索量所在的数量区段,后来改为只列出相对比例。
SOHU搜索词频:列出该关键词在SOHU上的搜索次数区段
GOOGLE关键词工具:输入关键词可以生成大量相关关键词作为参考,并且可以查询相关关键词受欢迎程度(即搜索热度)、在Google上获得相应排名所需的费用以及搜索量趋势

英文关键词选取工具:

OVERTRUE提供的搜索词频工具(已经被YAHOO收购):GOOGLE关键词工具也同样可以用于英文关键词选取

(二).分析关键词的竞争程度

我们的目标是找出搜索次数相对较多同时竞争还小的关键词,以达到最高的效能;关键词竞争程度有以下两个衡量指标:

1.搜索结果右上角列出某个关键词返回的总相关网页数
这个数字大致反映了与这个关键词相关的网页数,而这些网页都是你的竞争对手。
2.该关键词在某些搜索引擎提供的竞价排名广告中排名前三位所需花费的费用。

我们可以使用雅虎的View Bids Tool查询某个关键词需要付的价钱。Yahoo这套PPC查询工具支持中文
或者
Google提供的关键词扩展工具
或者
百度的关键词价格查询工具
或者
SOHU的关键词价格查询工具

图片的SEO优化

2007-07-29   |  分类:SEO

图片搜索占很大的比率,但是要想在图片搜索中,有好的排名,还需要一翻分析.

经过分析几组关键词,得出(概括):

百度图片搜索认为是否和关键词有关联的依据是alt
百度图片分析图片新闻和关键词的相似程度的依据是 title + alt
百度图片搜索认为有较高价值的图片新闻的依据是 title+alt+keywords
图片新闻(20页以后)的特点:

1.alt=搜索关键次或基本相同 (75%)
2.alt<=tilte (意思是,title里可能保护了alt,即搜索关键词,也可能没有alt. (75%)
3.keywords基本与alt无关 (80%)

经过分析:很明显的可以看出alt在图片搜索中发挥了非常重要的作用,虽然表面上看似很容易被理解,title+alt+keywords 三者越相似,越容易被收录,越靠前。事实上是这样的,但是还有一些细节问题,比如两个关键词的组合搜索的结果,又比如堆砌关键词,这些暂且不考虑,到后期我可能会进一步的分析。在网页SEO中,google搜索考虑了RP和衔接站点的RP,等等其他。根据我一直以来针对baidu所做一些努力和一些数据的观察,我觉得baidu更重视一个站点的专业性,就比如A站被收录1000页面,而60%页面包含关键词girl,而B站被收录10万页面,1万含关键词girl,就是10%,那在搜索girl的时候A站有很大可能性的在B站之前。

所以在图片搜索时候也有这个现象。排先前面的图片新闻,基本都是图片站,或是关键词的专题。

——————————————————————————–
联想:
CMS在添加新闻的时候,可以添加一个条件
如果新闻中包含图片,那图片的 alt 为所设置的关键词
如果没有设置关键词,则用title替代
并且 keywords 尽量使用 alt
BBS也可以加上这个功能。

相关说明
alt — alt=”这里的信息”
title — 文章标题
keywords — 有可能是description,也可能是 keywords,每组数据有20项,只提供出一组数据的图片

该文为转载,源地址丢失;文章谈及的思路不错,推荐大家阅读

SEO有三极:用户、网站与搜索引擎:  任何一个网站,不管其网站类型如何,是提供产品、服务还是单纯的信息,不管冠以怎样的头衔Web 2.0还是3.0,不管其SEO策略多么高深及是否能头头是道地以一连串“专业的”SEO理论阐述论证,其制订的网站建设目标最终总是要落实到用户上,搜索引擎只是也只不过是一个中间载体,让网站与用户能够互相找到对方。

长期以来,关于如何看待SEO(搜索引擎优化)在网站推广与优化中的地位以及如何明确SEOers与网站设计者、内容提供者之间的责、权、利,一直存在着很大的争议。有人认为,SEO就是网站建设中的“世界观与人生观” ,是指引网站走向成功的北斗星;也有人认为应该简单地看待SEO,所谓SEO不过是让网站与搜索引擎间达成某种程度的和谐——最近“和谐”一词看得太多了,惭愧——从而让搜索引擎为网站提供具有针对性并尽可能多的访问量而矣。

   这两种说法各有各的道理。从个人角度,我倾向于第二种观点,即不要把SEO弄得那么复杂,那种根据自己的需要随意调整SEO的内涵与外延,或者把稍微粘上点边的都划到SEO范畴的作法,只会让SEO实施的可操作性进一步下降,事实上,经某些人有意无意的努力,SEO这个概念如今已经变得有些含糊不清,甚至有点云天雾罩的感觉,不厚道地说,几堪可与“国学”相媲美:如果您曾不幸遇到一位“国学大师”,恐怕有过类似的“体验”,不经半天旁敲侧击的试探,也许您根本就搞不清楚他到底是干嘛的,是搞中文的还是研究中国历史,是能医白骨治百病的老中医,还是干脆就是一个摸骨算命跳大神的。

   而对于第二种观点,目前流行的一个趋势是将其绝对化,把SEO仅仅视作网站与搜索引擎间的互动,比如说认为SEO只是根据搜索引擎算法的喜好而调整网站/网页,或者在网站优化时更多地考虑搜索引擎,同样有失偏颇,也会带来一些问题。

   SEO的三极:用户、网站与搜索引擎

   任何一个网站,不管其网站类型如何,是提供产品、服务还是单纯的信息,不管冠以怎样的头衔Web 2.0还是3.0,不管其SEO策略多么高深及是否能头头是道地以一连串“专业的”SEO理论阐述论证,其制订的网站建设目标最终总是要落实到用户上,搜索引擎只是也只不过是一个中间载体,让网站与用户能够互相找到对方。

   SEO面对的是活生生的人而不是搜索引擎与呆板的搜索算法,SEO的最终效果如何也需要从用户的角度来判断,从这个角度看,SEO绝非网站与搜索引擎的两极世界,而是要让用户、网站以及搜索引擎间达到一种良好的互动与协调,要恰当地处理这种诡异的三角关系并不是一件易事,其中,用户则是这个三角关系的核心。

   链接伙伴存在于访问用户之中

   上面所说的可能有些过于务虚,让我们简单地来探讨一下。

   即使最简单化的SEO实施方式,仅仅针对搜索引擎的算法规则及算法中可能存在的漏洞而谋求获得高排名的作法,也离不开链接,那么,链接如何取得?仅仅通过某些自动化的链接工具?显然是远远不够的。

   事实上,对绝大多数网站来说,访问用户才是获得链接的最大“金矿”,或者说,网站的潜在链接伙伴存在于访问用户中,只有当这些潜在的链接伙伴认可您的网站后,链接行为才能成为现实——尽管根据网站类型的不同,访问者中拥有网站或具有网站管理权限也即具有转化为链接伙伴的用户所占比例有所不同,但即使是最原始的交换链接,相信如今也很少自动完成的,对方网站总是会到您的网站上来“实地考察”。

   而要打动这些潜在的链接伙伴,不仅仅要引起其兴趣,不仅仅要靠网站的内容、质量作保障,还取决于很多因素。试想一下,一个页面设计及布局不佳,或者内容的展现方式不够理想,哪怕仅仅因为分段及标题设置不当的原因,都会影响用户的访问体验,都会可能造成其直接放弃对网站的访问,想要得到他们的链接往往就成了彻底的Mission Impossible 。

这种情况下,就算对搜索引擎的算法细节了如指掌,又将如何?

   SEO的最终效果取决于用户

   尽管搜索引擎的排名算法目前来说仍存在很多不尽如人意的地方,但是,从根本上来说,每家搜索引擎都希望其算法结果能够更具针对性、与搜索项更相关,希望达到或接近用户喜好用户习惯的效果,搜索引擎算法的每一次改进几乎都是着力于这一点。

   或者说,搜索引擎也在尽力分析用户对网站的判断并以此来调整搜索结果中的排名,当然,这个过程是循序渐进的,目前也均未至理想化的程度,但趋势则是存在的,不独仅仅存在于Google的个人化搜索之中。

   也不能否认,在现阶段,即使在SEO中只考虑搜索引擎、搜索引擎算法,仍然可以在某个阶段暂时获得不错的排名,但是,其排名往往是不稳定的。没有用户对网站的真正喜好作保证,一味地奢求搜索引擎的“偏爱”只能是一厢情愿。

新民网房产频道SEO方案

2007-07-29   |  分类:SEO方案

针对GOOGLE   百度的搜索引擎优化

 MSN的排名系统和雅虎有些类似,基本上也是侧重于页面因素。因而在针对MSN进行SEO时,重头戏应放在页面因素上。主要的页面排名因素包括:页面内容、网站的URL、网页标题及网站描述。
 MSN排名系统会仔细查看页面内容,因而在页面SEO中,网站的页面内容尤其成为优化的重中之重
 一个很重要的办法就是增加关键词的密度。因为MSN比较重视关键词密度,凭借关键词密度更容易博得MSN的好感。所谓的关键词密度就是关键词密度是指你的网页中关键词出现的次数在你的网页文本中所占的比率,简单的说就是罗列的关键词在页面中重复的出现几次。
 新民网房产频道重点在于如何引导消费者对房产信息,注重信息的详实和可读性上增加用户的互动。(比如采用房产BLOG,或者专职评论员参与评论的形式来制定栏目)
主要竞争对手:新浪房产频道
              搜房网     www.soufang.com           定位到房产搜索引擎上
              和迅房产   http://house.news.hexun.co… 定位到金融理财
              搜狐房产      http://house.sohu.com/       定位到房产信息2手房
              上海热线房产频道 http://house.online.sh.cn/  特点是本地搜索作的很好。
             
房产频道:单独设置二级导航栏 营销策略应该定位到高端用户,提供外来用户查询与交流的发布信息。增加分类信息。房产分类信息的话,应该加强起来,比如增加2手房发布,房屋出租等等方便用户查询的信息。而不能仅仅提供新闻信息供其它媒体转载,增加频道粘性,用户体验度提高。
 SEO分析
1 meta  与关键字优化
<meta name=”Description” content=”新民晚报旗下上海房地产专业频道,依托新民晚报强大的采编队伍,提供最全面最权威最及时的房地产新闻资讯内容” />
修改 为用户提供最全面最权威及时地房地产新闻资讯内容和详细的房产理财信息
<meta name=”Keywords” content=”房价,建设部,发改委,二手房,开发商,家居,售楼小姐,上海房地产,房产新闻,写字楼,商铺,别墅,物业,房地产新闻,业内精英” />
 分析关键字
用户往往是通过搜索引擎来搜索房产信息,用户的搜索习惯一般是:
1.通用词:2手房 租房、房产 、房价、2手房交易、家居、装饰
2.区域词:上海房价、上海2手房交易、上海房地产信息 ……
3.需求词:最新房型、房产保养、房产转让、…..
     经过分析:

网页
关键字
密度
http://house.xmnext.com/
 
3%
 
http://house.xmnext.com/
 
3%
http://house.xmnext.com/
发改委
0%
http://house.xmnext.com/
建设部
0%
http://house.xmnext.com/
二手房
6%
http://house.xmnext.com/
开发商
1%
http://house.xmnext.com/
 
0%
http://house.xmnext.com/
售楼小姐
0%
http://house.xmnext.com/
上海房地产
0%
http://house.xmnext.com/
房产新闻
0%
http://house.xmnext.com/
字楼
0%
http://house.xmnext.com/
  
0%
http://house.xmnext.com/
 
  
0%
http://house.xmnext.com/
  
1%
http://house.xmnext.com/
房地产新闻
0%
http://house.xmnext.com/
业内精英
0%

 现在的关键词设置比较成功的也就是二手房  房产 房价,总体上讲关键词密度是指你的网页中关键词出现的次数在你的网页文本中所占的比率。而关键词密度一般来说在2%~8%之间较为合适,由于中文与英文间的词语结构不同,所以有时候关键词在网站内的重复比率是网站优化相当重要的一项。
 2 标签设置:
 keywords租房、房产 上海房产、房价、2手房交易、家居、装饰 房产网、最新房型、房产保养、房产转让、报价、,房产新闻、写字楼、商铺、别墅、物业、
description新民网房产频道: 新民网旗下网站:专业提供房产,房产降价,新房,房产报价,二手房类信息 售楼美女、房展等信息并拥有中国最全面的、评价最权威的房地产新闻
classification:房产/房产网/2手房产交易/订房
author:上海房产-新民网房产频道-
corpright
Copyright 2004-2008 新民集团 版权所有

  3 图片注释
图片注释:百度图片搜索认为是否和关键词有关联的依据是alt 百度图片分析图片新闻和关键词的相似程度的依据是 title + alt 百度图片搜索认为有较高价值的图片新闻的依据是 title+alt+keywords
所以,针对每一个页面的图片并且对图片进行ALT文字说明是必要的。图片链接指向页面的主要关键词作为ALT内容,另外在图片下搭配一个文字链接作为辅助,注意:在网页设计过程中,最好是将每一处图片+文字的导航区域都作为一个单独的div来处理。
  4 链接优化
A 站内连接:超连接结构、为每一个超级增加注释、超连接路径优化,每个网页应至少可以通过一个静态文本链接打开。
 5 站内内容得链接优化:
 网页中文字尽量突出关键词,以及其他组合词元素如:房产上海查询GOOGLE同样看重两个词汇组合成而成的复合词(而百度更看重搜索的关键词的密度);
 以下是增大关键词密度的策略:
1 首页左侧上部采用FLASH 或者幻灯片图片得形式,鼠标点击新闻得时候出现图片ALT链接文字体现 汽车
2 右侧增加搜索。把车型数据库得内容做到右侧一屏
3 在频道内所有页面添加指向查询页的链接(内页以图片链接形式体现)
  关键性  需要制作的内容是网站地图

学习SEO来赚钱的方法更加重要

2007-07-29   |  分类:SEO

学习SEO技术很重要,学习利用SEO技术来赚钱的方法更加重要!

你会SEO么?

你在使用那种模式让SEO帮助你赚钱呢?

很久没有公开写SEO主题的文章了,今天给大家分享些利用SEO技术赚钱的方法:
学习SEO技术很重要,学习利用SEO技术来赚钱的方法更加重要!

你会SEO么?

你在使用那种模式让SEO帮助你赚钱呢?

很久没有公开写SEO主题的文章了,今天给大家分享些利用SEO技术赚钱的方法:

一、提供搜索引擎排名服务赚钱:

服务对象:中小企业网站
适合对象:SEO新手
收费模式:按照关键词收费
赚钱流程:客户提供网站的FTP管理权限,然后对网站进行整体优化,然后帮助客户的几个核心关键词排在Google、yahoo等搜索引擎的左侧前10名。并且维护一年。
模式特点:成本比较低,上手比较容易,月收入超过万元还是比较容易的,不过相对比较累。

二、利用SEO打造大流量网站:

适合对象:SEO熟练者+网站制作高手
赚钱模式:收取广告费
赚钱流程:从SEO的角度来做一系列网站,然后轻松的搞到非常多的流量。然后加入网络广告联盟,申请广告代码放到网站上,然后赚取广告费。
模式特点:这是很多个人站长的一条路子,这种模式是开始累,然后赚钱越来越轻松。不过想要做好,需要了解非常多的技巧:比如网站主题的选择,域名的选择、网站栏目的规划,内容的采集,广告联盟的选择等等。

三、利用SEO和传统贸易公司合作

适合对象:有传统生意基础的SEO人员
赚钱模式:销售产品
赚钱流程:与传统生产型企业合作,你利用SEO打造一个营销站点,然后通过这个站点带来销售,根据销售拿提成。这种模式相当于做一家传统的贸易公司。
模式特点:成本比较多,可以做的非常大,看看你身边有那些你熟悉的生产型企业,你可以尝试这种模式。

四、SEO+CPA销售联盟

适合对象:SEO人员,英文好的优先
赚钱模式:赚取佣金
赚钱流程:不需要单独搞一个网站,直接使用免费博客、免费主页就可以做。这样的网站流量不需要大,只要流量质量高,就可以赚钱。因为你想赚钱靠的不是点击,而是销售。要做好这种模式,需要具备SEO技术之外,还需要选择好CPA联盟,选择好推广的产品。CPA联盟国外非常多,比如CJ、CB、BF等等。国内的当当、joyo等电子商务网站也都有销售联盟。
模式特点:我的不少学员都在使用这种模式,做的比较成功。这种模式门槛比较低,但是需要眼光准。你逛一逛当当或者joyo,看看他们里面那一种产品卖的比较火,但是这个产品的关键词在搜索引擎中的竞争却不激烈,那么就祝贺你了。如果你的英文好的话,机会会更多,因为国外的这种销售联盟非常的多。

五、SEO顾问服务:

服务对象:大中型网站
适合对象:经验丰富的SEO
赚钱模式:按照时间收取顾问费、按照项目收入费用。
赚钱流程:系统化的对客户网站进行诊断分析、SEO策略制订、优化方案制订、SEO培训、SEO指导。通过此系统化服务帮助客户在SEO项目中节省时间,避免错误,达到最好的SEO效果。
模式特点:这是我公司目前主要的模式一种,不用直接来执行,只是为客户提供SEO咨询服务,不过需要有丰富的经验和非常系统化的服务流程。

六、给别的公司打工:

服务对象:大型网站或者公司
适合对象:不想创业的SEO人员
赚钱模式:按月领取工资
赚钱流程:听从公司安排做对应的工作。
模式特点:连joyo网、雅虎中国和阿里巴巴都在四处高薪挖SEO人才, 其他的公司和网站就更不用说了,现在每天都有不少公司和客户请我推荐SEO人才。所以追求安稳的SEO人才可以选择这种模式。

版权所有,欢迎转摘,转摘请注明作者和出处!

作者:王通
首发:www.seo.org.cn

.htaccess文件使用教程4

2007-07-16   |  分类:SEO

1.密码保护的.htaccess文件

尽管有各种各样的.htaccess用法,但至今最流行的也可能是最有用的做法是将其用于网站目录可靠的密码保护。尽管JavaScrip等也能做到,但只有.htaccess具有完美的安全性(即访问者必须知晓密码才可以访问目录,并且绝无“后门”可走)。

利用.htaccess将一个目录加上密码保护分两个步骤。第一步是在你的.htaccess文档里加上适当的几行代码,再将.htaccess文档放进你要保护的目录下:

AuthName “Section Name”
AuthType Basic
AuthUserFile /full/path/to/.htpasswd
Require valid-user

你可能需要根据你的网站情况修改一下上述内容中的一些部分,如用被保护部分的名字”Members Area”,替换掉“Section Name”。

/full/parth/to/.htpasswd则应该替换为指向.htpasswd文件(后面详述该文档)的完整服务器路径。如果你不知道你网站空间的完整路径,请询问一下你的系统管理员。

2.密码保护的.htpasswd文件

目录的密码保护比.htaccess的其他功能要麻烦些,因为你必须同时创建一个包含用户名和密码的文档,用于访问你的网站,相关信息(默认)位于一个名为.htpasswd的文档里。像.htaccess一样,.htpasswd也是一个没有文件名且具有8位扩展名的文档,可以放置在你网站里的任何地方(此时密码应加密),但建议你将其保存在网站Web根目录外,这样通过网络就无法访问到它了。1516501417

在使用.htaccess来设置目录的密码保护时,它包含了密码文件的路径。从安全考虑,有必要把.htaccess也保护起来,不让别人看到其中的内容。虽然可以用其他方式做到这点,比如文档的权限。不过,.htaccess本身也能做到,只需加入如下的指令:1516501417

order allow,deny
deny from all

3.配置 .htaccess 输入用户名和密码

要利用.htaccess对某个目录下的文档设定访问用户和对应的密码,首先要做的是生成一个.htpasswd的文本文档,例如:

forge:y4E7Ec8e7EwV

这里密码经过加密,用户可以自己找些工具将密码加密成.htaccess支持的编码。该文档最好不要放在www目录下,建议放在www根目录文档之外,这样更为安全些。

有了授权用户文档,可以在.htaccess中加入如下指令了:

AuthUserFile .htpasswd的服务器目录
AuthGroupFile /dev/null (需要授权访问的目录)
AuthName EnterPassword
AuthType Basic (授权类型)

require user wsabstract (允许访问的用户,如果希望表中所有用户都允许,可以使用 require valid-user)

注,括号部分为学习时候自己添加的注释

拒绝来自某个IP的访问

如果我不想某个政府部门访问到我的站点的内容,那可以通过.htaccess中加入该部门的IP而将它们拒绝在外。

例如:
order allow,deny
deny from 210.10.56.32
deny from 219.5.45.
allow from all

第二行拒绝某个IP,第三行拒绝某个IP段,也就是219.5.45.0~219.2.45.255

想要拒绝所有人?用deny from all好了。不止用IP,也可以用域名来设定。

创建好.htpasswd文档后(可以通过文字编辑器创建),下一步是输入用于访问网站的用户名和密码,应为:

username:password

“password”的位置应该是加密过的密码。你可以通过几种方法来得到加密过的密码:一是使用一个网上提供的permade脚本或自己写一个;另一个很不错的username/password加密服务是通过KxS网站,这里允许你输入用户名及密码,然后生成正确格式的密码。

对于多用户,你只需要在.htpasswd文档中新增同样格式的一行即可。另外还有一些免费的脚本程序可以方便地管理.htpasswd文档,可以自动新增/移除用户等。

4.配置.htaccess 直接访问加密网站

当你试图访问被.htaccess密码保护的目录时,你的浏览器会弹出标准的username/password对话窗口。如果你不喜欢这种方式,有些脚本程序可以允许你在页面内嵌入username/password输入框来进行认证,你也可以在浏览器的URL框内以以下方式输入用户名和密码(未加密的):

http://username:password@www.w3sky.com/directory/

5.利用 .htaccess 防止盗链

如果不喜欢别人在他们的网页上连接自己的图片、文档的话,也可以通过htaccess的指令来做到。

所需要的指令如下:

RewriteEngine on
RewriteCond %{ HTTP_REFERER } !^$
RewriteCond %{ HTTP_REFERER } !^http://(www.)?w3sky.com/.*$ [NC]
RewriteRule .(gif &line;jpg)$ - [F]

如果觉得让别人的页面开个天窗不好看,那可以用一张图片来代替:

RewriteEngine on
RewriteCond %{ HTTP_REFERER } !^$
RewriteCond %{ HTTP_REFERER } !^http://(www.)?w3sky.com/.*$ [NC]
RewriteRule .(gif &line;jpg)$ http://www.w3sky.com/替代图片文件名 [R,L

.htaccess使用教程(3)

2007-06-16   |  分类:SEO

1.密码保护的.htaccess文件

尽管有各种各样的.htaccess用法,但至今最流行的也可能是最有用的做法是将其用于网站目录可靠的密码保护。尽管JavaScrip等也能做到,但只有.htaccess具有完美的安全性(即访问者必须知晓密码才可以访问目录,并且绝无“后门”可走)。

利用.htaccess将一个目录加上密码保护分两个步骤。第一步是在你的.htaccess文档里加上适当的几行代码,再将.htaccess文档放进你要保护的目录下:

AuthName “Section Name”
AuthType Basic
AuthUserFile /full/path/to/.htpasswd
Require valid-user

你可能需要根据你的网站情况修改一下上述内容中的一些部分,如用被保护部分的名字”Members Area”,替换掉“Section Name”。

/full/parth/to/.htpasswd则应该替换为指向.htpasswd文件(后面详述该文档)的完整服务器路径。如果你不知道你网站空间的完整路径,请询问一下你的系统管理员。

2.密码保护的.htpasswd文件

目录的密码保护比.htaccess的其他功能要麻烦些,因为你必须同时创建一个包含用户名和密码的文档,用于访问你的网站,相关信息(默认)位于一个名为.htpasswd的文档里。像.htaccess一样,.htpasswd也是一个没有文件名且具有8位扩展名的文档,可以放置在你网站里的任何地方(此时密码应加密),但建议你将其保存在网站Web根目录外,这样通过网络就无法访问到它了。1516501417

在使用.htaccess来设置目录的密码保护时,它包含了密码文件的路径。从安全考虑,有必要把.htaccess也保护起来,不让别人看到其中的内容。虽然可以用其他方式做到这点,比如文档的权限。不过,.htaccess本身也能做到,只需加入如下的指令:1516501417

order allow,deny
deny from all

3.配置 .htaccess 输入用户名和密码

要利用.htaccess对某个目录下的文档设定访问用户和对应的密码,首先要做的是生成一个.htpasswd的文本文档,例如:

forge:y4E7Ec8e7EwV

这里密码经过加密,用户可以自己找些工具将密码加密成.htaccess支持的编码。该文档最好不要放在www目录下,建议放在www根目录文档之外,这样更为安全些。

有了授权用户文档,可以在.htaccess中加入如下指令了:

AuthUserFile .htpasswd的服务器目录
AuthGroupFile /dev/null (需要授权访问的目录)
AuthName EnterPassword
AuthType Basic (授权类型)

require user wsabstract (允许访问的用户,如果希望表中所有用户都允许,可以使用 require valid-user)

注,括号部分为学习时候自己添加的注释

拒绝来自某个IP的访问

如果我不想某个政府部门访问到我的站点的内容,那可以通过.htaccess中加入该部门的IP而将它们拒绝在外。

例如:
order allow,deny
deny from 210.10.56.32
deny from 219.5.45.
allow from all

第二行拒绝某个IP,第三行拒绝某个IP段,也就是219.5.45.0~219.2.45.255

想要拒绝所有人?用deny from all好了。不止用IP,也可以用域名来设定。

创建好.htpasswd文档后(可以通过文字编辑器创建),下一步是输入用于访问网站的用户名和密码,应为:

username:password

“password”的位置应该是加密过的密码。你可以通过几种方法来得到加密过的密码:一是使用一个网上提供的permade脚本或自己写一个;另一个很不错的username/password加密服务是通过KxS网站,这里允许你输入用户名及密码,然后生成正确格式的密码。

对于多用户,你只需要在.htpasswd文档中新增同样格式的一行即可。另外还有一些免费的脚本程序可以方便地管理.htpasswd文档,可以自动新增/移除用户等。

4.配置.htaccess 直接访问加密网站

当你试图访问被.htaccess密码保护的目录时,你的浏览器会弹出标准的username/password对话窗口。如果你不喜欢这种方式,有些脚本程序可以允许你在页面内嵌入username/password输入框来进行认证,你也可以在浏览器的URL框内以以下方式输入用户名和密码(未加密的):

http://username:password@www.w3sky.com/directory/

5.利用 .htaccess 防止盗链

如果不喜欢别人在他们的网页上连接自己的图片、文档的话,也可以通过htaccess的指令来做到。

所需要的指令如下:

RewriteEngine on
RewriteCond %{ HTTP_REFERER } !^$
RewriteCond %{ HTTP_REFERER } !^http://(www.)?w3sky.com/.*$ [NC]
RewriteRule .(gif &line;jpg)$ - [F]

如果觉得让别人的页面开个天窗不好看,那可以用一张图片来代替:

RewriteEngine on
RewriteCond %{ HTTP_REFERER } !^$
RewriteCond %{ HTTP_REFERER } !^http://(www.)?w3sky.com/.*$ [NC]
RewriteRule .(gif &line;jpg)$ http://www.w3sky.com/替代图片文件名 [R,L

搜索引擎爬行抓取蜘蛛名称大全

2007-06-01   |  分类:SEO

搜索引擎爬行抓取蜘蛛(机器人)程序HTTP头用户代理名称列表大全
Search engine spider(bot) id list
:robot/1.0=Neofonie.de
0.1_hseo(at)cs.rutgers.edu=Rutgers.edu
AbachoBOT (Mozilla compatible)=Crawler.de
AbachoBOT=Crawler.de
Abbr=http://www.suoxie.com
abcdatos_botlink=Abcdatos.com
abot/0.1 (abot; http://www.abot.com; abot@abot.com)=Abot.com
abot/0.1=Abot.com
About/0.1libwww-perl/5.47=About.com
accoona=Accoona.com
AcoiRobot=Acoi Picture Robot
Acoon Robot v1.50.001=Acoon.de
Acoon Robot v1.52=Acoon.de
Acoon Robot=Accon.de
ActiveWorlds/3.xx=ActiveWorlds.com
admin@crawler.de=Crawler.de
admin@maxbot.com=maxbot.com
ADSARobot=ADSARobot
AESOP_com_SpiderMan=Aesop.com
agadine/1.x.x=Agada.de
Agent-admin/=Daum.net
ah-ha.com crawler (crawler@ah-ha.com)=Ah-ha.com
ah-ha.com crawler=Ah-ha.com
AIBOT/2.1=21Seek.com
aipbot/1.0 (aipbot; http://www.aipbot.com; aipbot@aipbot.com)=NameProtect.com
aipbot/1.0=NameProtect.com
aipbot=NameProtect.com
Aladin/3.324=Aladin.de
Aleksika Spider/1.0=Aleksika.de
AlkalineBOT/1.3=Vestris.com
AlkalineBOT/1.4=Vestris.com
AlkalineBOT=AlkalineBOT
Allesklar/0.1 libwww-perl/5.46=Allesklar.de
AltaVista-Intranet=Altavista.co.uk
AmfibiBOT=Amfibi.com
Amiga-AWeb/3.4.167SE=AWeb.com
amzn_assoc=Amazon.com
AnswerChase PROve x.0=AnswerChase.com
AnswerChase x.0=AnwserChase.com
AnswerChase=AnswerChase.com
Antibot=AntiSeach.net
antibot-V1.1.5/i586-linux-2.2=AntiSeach.net
AnzwersCrawl/2.0=Anzwers
A-Online Search=Jet2Web.com
Aport=Aport.ru
appie 1.1=Walhello.com
appie=Walhello.com
arachnoidea@euroseek.net=Euroseek.net
Arachnoidea=Euroseek.com
Aranha=Girafa.com
ArchitectSpider=Excite.com
archive.org_bot=Archive.org
archive_org=Archive.org
ask jeeves=Ask Jeeves
ask.24x.info=Ask.24x.info
ASPSeek/1.2.5=ASPSeek.org
ASPseek/1.2.9d=ASPSeek.com
ASPSeek/1.2.x=ASPSeek.org
ASPSeek/1.2.xa=ASPSeek.org
ASPseek/1.2.xx=ASPseek.org
ASPSeek/1.2.xxpre=ASPSeek.org
ASPSeek=ASPSeek.org
asterias/2.0=SingingFish.com
Asterias=SingingFish.com
AtlocalBot/1.1 +(http://www.atlocal.com/local-web-site-owner.html)=Atlocal.com
AtlocalBot=Atlocal.com
Atomz/1.0=Atomz.com
Atomz=Atomz.com
Augurfind=Augurnet.ch
augurnfind V-1.x=Augurnet.ch
autohttp=Elsop.com
AV Fetch 1.0=Altavista.com
AVSearch=Altavista.com
AVSearch-3.0=Altavista.com
AxmoRobot=Axmo.com
Baiduspider+=Baidu.com
BaiDuSpider=Baidu.com
BanBots/1.2=Banbots.com
BarraHomeCrawler=BarraHome.com
bdcindexer_2.6.2=Business.com
BDFetch=Brandimensions.com
BDNcentral Crawler v2.3=Bdncentral.com
beautybot/1.0=Cosmoty.com
BigCliqueBOT/1.03-dev=BigClique.com
Bilbo/2.3b-UNIX=Biblo Bot
BlackWidow=BlackWidow Bot
Blaiz-Bee/1.0 (+http://www.blaiz.net)=Blaiz.net
Blaiz-Bee/1.0=Blaiz.net
BlitzBOT@tricus.net (Mozilla compatible)=Blitzsuche.rp-online.de
BlitzBOT@tricus.net=Blitzsuche.rp-online.de
Blog=http://www.5iya.com/blog
BlogBot/1.x=Blogdex.net
BlogBot=Blogdex.net
Bloglines Title Fetch/1.0 (http://www.bloglines.com)=Bloglines.com
blogWatcher_Spider/0.1=Blogwatcher.pi.titech.ac.jp
BlogzIce/1.0 (+http://icerocket.com; rhodes@icerocket.com)=IceRocket.com
BlogzIce/1.0 +http://www.icerocket.com/=IceRocket.com
BlogzIce/1.0=IceRocket.com
boitho.com-dc/0.xx=Boitho.com
boitho.com-robot/1.x=Boitho.com
BSDSeek/1.0=Inktomi.com
BullsEye=Intelliseek.com
bumblebee@relevare.com=Relevare.com
Buscaplus Robi/1.0=Buscaplus.com
Buscaplus Robi=Buscaplus.com
CanSeek/=Cansee.ca
ChristCRAWLER 2.0=Christcrawler.com
ChristCRAWLER=Christcrawler.com
CipinetBot=Cipinet.com
citenikbot/=Cenik.co.uk
ClariaBot/1.0=Searchscout.com
Claymont.com=Claymont.com
CLIPS-index=Cips-index.imag.fr
Clushbot/3.3-BinaryFury (+http://www.clush.com/bot.html)=Clush.com
Clushbot/3.3-BinaryFury=Clush.com
Combine/x.0=Combine Bot
Computer_and_Automation_Research_Institute_Crawler=Research Bot
contact/jylee@kies.co.kr=Kies.co.kr
Convera Internet Spider V6.x=Convera.com
cosmos/0.8_(robot@xyleme.com)=Xyleme.com
cosmos/0.9_(robot@xyleme.com)=Xyleme.com
cosmos=Xyleme.com
C-PBWF-ip3000.com-crawler=IP3000.com
CrawlConvera0.1=Converna.net
Crawler (cometsearch@cometsystems.com)=Findwhat.com
Crawler admin@crawler.de=Crawler.de
Crawler V 0.2.x admin@crawler.de=Crawler.de
crawler@alexa.com=Alexa.com
crawler@brainbot.com=Brainbot.com
crawler@fast.no=Alltheweb.com
Crawler=Crawler.de
CrawlerBoy Pinpoint.com=Pinpoint.com
CrawlerBoy=Pinpoint.com
CrocCrawler= CrocCrawler.com
Custom Spider www.bisnisseek.com /1.0=Bisnisseek.com
DaAdLe.com ROBOT/=Daadle.com
DataparkSearch/4.xx=DataparkSearch.com
DaviesBot/1.7=Wholeweb.net
DaviesBot=Wholeweb.net
dbDig=Prairielandconsulting.com
DBrowse 1.4b=DBrowse Bot
DBrowse 1.4d=DBrowse Bot
dCSbot/1.1=Openmarket.com
DeepIndex=DeepIndex.com
DeepIndexer.ca=DeepIndex.com
deepweb=Deepweb.com
Demo Bot DOT 16b= Btopenworld.com
DiaGem/=Skyrocket.gr.jp
DiaGem/1.1 (http://www.skyrocket.gr.jp/diagem.html)=Skyrocket.gr.jp
DiaGem/1.1=Skyrocket.gr.jp
Diamond/1.0=Searchscout.com
Digger/1.0 JDK/1.3.0rc3=Diggit.com
Digimarc WebReader=Digimarc.com
DigOut4U=Arisem.com
DIIbot/1.2=Digital-Integrity.com
DIIbot=Digital-Integrity.com
DittoSpyder=Ditto.com
dloader(NaverRobot)/=Naver.com
dtSearchSpider=Dtsearch.com
Dumbot(version 0.1 beta - dumbfind.com)=Dumbfind.com
Dumbot(version 0.1 beta)=Dumbfind.com
dumrobo(NaverRobot)/=Naver.com
EARTHCOM.info/1.4beta=Earthcom.info
EasyDL/3.02=Keywen.com
EasyDL/3.03=Keywen.com
EasyDL/3.04=Keywen.com
EasyDL/3.xx http://keywen.com/Encyclopedia/Bot=Keywen.com
EasyDL/3.xx=Keywen.com
EchO!/2.0=Voila.com
egothor/3.0a (+http://www.xdefine.org/robot.html)=Xdefine.com
egothor/3.0a=Xdefine.com
EgotoBot/4.8=Egoto.com
Enterprise_Search/1.0.xxx=Innerprise.net
Enterprise_Search/1.0=Innerprise.net
erik@malfunction.org=Malfunction.org
EroCrawler=Erocrawler.com
ES.NET_Crawler/2.0=Innerprise.net
eseek-larbin_2.6.2=Exactseek.com
ESISmartSpider=Travel-Finder.com
ExactSeek Crawler/0.1=Exactseek.com
exactseek-crawler-2.63=Exactseek.com
Exalead NG/MimeLive Client=Exabot.com
Excalibur Internet Spider V6.5.4=Excalib.com
ExperimentalHenrytheMiragoRobot=Mirago.co.uk
EyeCatcher (Download-tipp.de)/1.0=Download-tipp.de
EyeCatcher=Download-tipp.de
EZResult=Ezresults.com
Fast Crawler Gold Edition=Alltheweb.com
FAST Data Search Crawler=Alltheweb.com
FAST Enterprise Crawler 6 (Experimental)=Alltheweb.com
FAST Enterprise Crawler 6 used by FAST (FAST)=Alltheweb.com
FAST Enterprise Crawler 6 used by FAST=Alltheweb.com
FAST Enterprise Crawler 6=Alltheweb.com
FAST Enterprise Crawler/6 (www.fastsearch.com)=Alltheweb.com
FAST Enterprise Crawler/6=Alltheweb.com
FAST FirstPage retriever (compatible; MSIE 5.5; Mozilla/4.0)=Alltheweb.com
FAST FirstPage retriever=Alltheweb.com
Fast PartnerSite Crawler=Alltheweb.com
FastCrawler 3.0.1 (crawler@1klik.dk)=Alltheweb.com
FastCrawler 3.0.1=Alltheweb.com
FAST-WebCrawler/2.2.10=Altheweb.com
FAST-WebCrawler/2.2.6=Altheweb.com
FAST-WebCrawler/2.2.7=Altheweb.com
FAST-WebCrawler/2.2.8=Altheweb.com
FAST-WebCrawler/3.2 test=Altheweb.com
FAST-WebCrawler/3.2=Altheweb.com
FAST-WebCrawler/3.3=Altheweb.com
FAST-WebCrawler/3.4/Nirvana=Altheweb.com
FAST-WebCrawler/3.4/PartnerSite=Altheweb.com
FAST-WebCrawler/3.5=Altheweb.com
FAST-WebCrawler/3.6/FirstPage=Altheweb.com
FAST-WebCrawler/3.6=Altheweb.com
FAST-WebCrawler/3.7/FirstPage=Altheweb.com
FAST-WebCrawler/3.7=Altheweb.com
FAST-WebCrawler/3.8/Fresh=Altheweb.com
FAST-WebCrawler/3.8=Altheweb.com
FAST-WebCrawler/3.x Multimedia (mm dash crawler at fast dot no)=Altheweb.com
FAST-WebCrawler/3.x Multimedia=Altheweb.com
FAST-WebCrawler=Alltheweb.com
Faxobot/1.0=FaXo.com
Felix - Mixcat Crawler=Mixcat.com
Felix=Mixcat.com
FFC Trap Door Spider=Frequentfinders.com
fido/1.0 Harvest/1.4.pl2=Planet Search
FileExtension=http://www.kuozhanming.com
FinaleRobot=expressus.com
FindAnISP.com_ISP_Finder_v99a=FindAnISP.com
FineBot=Finesearch.com
Firefly/1.0 (compatible; Mozilla 4.0; MSIE 5.5)=Fireball.de
Firefly/1.0=Fireball.de
FlickBot 2.0 RPT-HTTPClient/0.3-3=DivX.com
Fluffy the spider=SearchHippo.com
Flunky=Metacarta.com
Francis/1.0 (francis@neomo.de http://www.neomo.de/)=Neomo.de
Francis/1.0=Neomo.de
FreeFind.com-SiteSearchEngine/1.0=Freefind.com
FyberSearch=Fybersearch.com
FyberSpider=Fybersearch.com
Gagglebot=Gagglebot
GAIS Robot/1.0B2=Seed.net.tw
Gaisbot/3.0+=Seed.net.tw
Gaisbot/3.0=Seed.net.tw
GalaxyBot/1.0 (http://www.galaxy.com/galaxybot.html)=Galaxy.com
GalaxyBot/1.0=Galaxy.com
GalaxyBot=Galaxy.com
GammaSpider/1.0=Gammasite.com
gazz/1.0=Infobee.ne.jp
gazz@nttrd.com=Infobee.ne.jp
Geckobot=Geckobot.com
geckobot=Geckobot.com
GenCrawler=Gendoor.com
generic_crawler/01.0217/=Cmu.edu
GentleSpider=Research.att.com
GeonaBot=Geona.com
GigaBaz=Brainbot.com
GigaBazVStheWeb=Brainbot.com
GigaBlast=Gigablast.com
Gigabot/1.0=Gigablast.com
Gigabot=Gigablast.com
GigabotSiteSearch/2.0 (sitesearch.gigablast.com)=Gigablast.com
GigabotSiteSearch/2.0=Gigablast.com
Giskard=oralco.com
GNODSPIDER=Gnod.net
Goblin/0.9 (http://www.goguides.org/)=Goguides.org
Goblin/0.9.x (http://www.goguides.org/goblin-info.html)=Goguides.org
Goblin/0.9.x=Goguides.org
Goblin/0.9=Goguides.org
GoForIt.com=Goforit.com
Goofer/0.2=Wanadoo.fr
Google=Google.com
Googlebot/1.0=Google.com
Googlebot/2.1= Google.com
Googlebot/Test=Google.com
googlebot@googlebot.com=Google.com
Googlebot=Google.com
Googlebot-Image/1.0=Google.com Image Bot
GrigorBot 0.8=Grigor.biz
grub crawler(http://www.grub.org)=Grub.com
grub-client=Grub.org
gsa-crawler (Enterprise; GID-01422; jplastiras@google.com)=Google.com
gsa-crawler (Enterprise; GID-01742;gsatesting@rediffmail.com)=Google.com
gsa-crawler=Google.com
Gulliver/1.2=Northernlight.com
Gulliver/1.3=Northernlight.com
Gulliver=Northernlight.com
Gulper Web Bot 0.2.4=Gulper Bot
Gulper Web Bot=Gulper Bot
Hatena Antenna/0.4 (http://a.hatena.ne.jp/help#robot)=a.hatena.ne.jp
Hatena Antenna/0.4=a.hatena.ne.jp
HeinrichderMiragoRobot=Mirago.de
HenrytheMiragoRobot=Mirago.co.uk
HenryTheMiragoRobot=Mirago.co.uk
Hippias/0.9 Beta= Hippias Bot
holmes/x.x=Morfeo.centrum.cz
HomePageSearch(hpsearch.uni-trier.de)=Hpsearch.uni-trier.de
Homerbot: www.homerweb.com=Homerweb.com
Homerbot=Homerweb.com
htdig/3.1.6 (http://computerorgs.com)=Computerorgs.com
htdig/3.1.x (root@localhost)=Htdig.org
htdig/3.1.x=Htdig.org
http://www.abcdatos.com/botlink/=Abcdatos.com
Hubater=Hubat.com
ia_archiver/1.6=Archive.org
ia_archiver=Archive.org
IAArchiver-1.0=Archive.org
icsbot-0.1=Icseoul.org
ideare - SignSite/1.x=Ideare.com
Ideare - SignSite=Ideare.com
IlTrovatore-Setaccio (+http://www.iltrovatore.it)=Iltrovatore.it
Iltrovatore-Setaccio/0.3-dev=Iltrovatore.it
IlTrovatore-Setaccio/1.2=Iltrovatore.it
iltrovatore-setaccio/1.2-dev=Iltrovatore.it
IlTrovatore-Setaccio=Iltrovatore.it
IncyWincy=Incywincy.com
IndexTheWeb.com Crawler7=IndexTheWeb.com
Inet library=Inetlibrary.com
info@searchhippo.com=Searchhippo.com
InfoFly/1.0 (http://www.versions-project.org/)=Versions-project.org
InfoFly/1.0= Versions-project.org
InfoSeek Sidewinder/0.9=Infoseek.com
InfoSeek Sidewinder/1.0A= Infoseek.com
InfoSeek Sidewinder/1.1A= Infoseek.com
Infoseek SideWinder/1.45 (Compatible; MSIE 10.0; UNIX)= Infoseek.com
Infoseek SideWinder/1.45= Infoseek.com
Infoseek SideWinder/2.0B (Linux 2.4 i686)= Infoseek.com
Infoseek SideWinder/2.0B= Infoseek.com
InfoSeek Sidewinder=infoseek.com
Inktomi Search=Yahoo.com
Inktomi=Yahoo.com
InnerpriseBot/1.0 (http://www.innerprise.com/)=Innerprise.net
InnerpriseBot/1.0=Innerprise.net
InsumaScout=InsumaScout
Internet Ninja 6.0=Dti.ne.jp
InternetSeer.com= InternetSeer.com
InternetSeer=InternetSeer
InternetSeer=InternetSeer.com
ip3000.com=ip3000.com
ip3000.com-crawler=ip3000.com
IPiumBot laurion(dot)com=Laurion.com
ipiumBot=Laurion.com
Iron33=Verno.ueda.info.waseda.ac.jp
Jabot/6.x (http://odin.ingrid.org/)=Ingrid.org
Jabot/6.x=Ingrid.org
Jabot/7.x.x (http://odin.ingrid.org/)=Ingrid.org
Jabot/7.x.x=Ingrid.org
Jack=Domanova.co.uk
jan.gelin@av.com=Altavista.co.uk
jeeves=Ask Jeeves
Jetbot/1.0=Jeteye.com
JoocerBot=Joocer.com
Jyxobot/x=Jyxo.cz
Katriona=Katriona
KE_1.0/2.0 libwww/5.2.8=Voila.fr
Kenjin Spider=Kenjin.ne.jp
KIT_Fireball/2.0=Fireball.de
KIT-Fireball/2.0 (compatible; Mozilla 4.0; MSIE 5.5)=Fireball.de
KIT-Fireball/2.0=Fireball.de
KIT-Fireball=Fireball.de
Knowledge.com/0.x=Knowledge.com
Kototoi/0.1=s.u-tokyo.ac.jp
kuloko-bot/0.2=Kuloko.com
kuloko-bot/0.x=Kuloko.com
Kulokobot=Kuloko.com
kulturarw3/0.1=National Library of Sweden
LEIA/3.01pr (LEIAcrawler; [SNIP])=Gseek.com
LEIA=Gseek.com
LexiBot=Lexibot.com
LNSpiderguy=Lexis-nexis.com
Look.com=Look.com
lwp-trivial/1.27=Search4free.com
lwp-trivial/1.34=Search4free.com
Lycos_Spider_(T-Rex)/3.0=Lycos.com
Lycos_Spider_(T-Rex)=Lycos.com
lycos=Lycos.com
Mackster( http://www.ukwizz.com )=Ukwizz.com
Mackster=Ukwizz.com
Mag-Net=Wind.it
mailto:webcraft@bea.com=Beasys.com
mammoth/1.0 (+http://www.sli-systems.com/)=Sli-Systems.com
mammoth/1.0=Sli-Systems.com
MantraAgent=Looksmart.com
mapper@teradex.com=Mapper.teradex.com
Mariner/5.1b [de] (Win95; I ;Kolibri gncwebbot)=Kolibri.de
Mariner/5.1b= Kolibri.de
Martini=Looksmart.com
Marvin v0.3=Marvin Bot
marvin/infoseek=Webseek.de
marvin-team@webseek.de=Webseek.de
Mata Hari/2.00=Lexibot.com
MediaCrawler-1.0 (Experimental)=Mediacrawler.de
MediaCrawler-1.0=Mediacrawler.de
Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)=Google.com Adsense
Mediapartners-Google/2.1=Google.com Adsense
MediaSearch/0.1=Www.fi
MegaSheep v1.0 (www.searchuk.com internet sheep)=SearchUK.com
MegaSheep v1.0=SearchUK.com
Mercator=Altavista.com
Mercator=Altavista.com
Mercator-1.x=Altavista.com
Mercator-2.0=Altavista.com
Mercator-Scrub-1.1=Altavista.com
metabot=Metabot
Metaspinner/0.01=Meta-Spinner.de
MFC_Tear_Sample=Microsoft.com
MicrosoftPrototypeCrawler=Microsoft.com
Minibot=Minibot
MiracleAlphaTest=Nec.co.jp
MnogoSearch/3.2.xx=mNoGoSearch.org
moget/2.0=Goo.ne.jp
moget/2.1 (moget@goo.ne.jp)=Goo.ne.jp
moget/2.1=Goo.ne.jp
moget@goo.ne.jp=Goo.ne.jp
Mole2/1.0=Intags.de
Morris - Mixcat Crawler (+http://mixcat.com)=Mixcat.com
Morris - Mixcat Crawler=Mixcat.com
Morris=Mixcat.com
Mouse-House/7.4=Spidermonkey.ca
mozDex/=Mozdex.com
mozDex/0.04-dev=Mozdex.com
Mozilla (Mozilla@somewhere.com)=Somewhere.com
Mozilla/2.0 (compatible; Ask Jeeves)=Ask Jeeves
Mozilla/2.0 (compatible; EZResult — Internet Search Engine)=DirectHit.com
Mozilla/3.0 (compatible; MuscatFerret/1.5.4; claude@euroferret.com)=Euroferret.com
Mozilla/3.0 (compatible; MuscatFerret/1.5; olly@muscat.co.uk)=Euroferret.com
Mozilla/3.0 (compatible; MuscatFerret/1.6.x; claude@euroferret.com)=Euroferret.com
Mozilla/3.01 (Compatible; Links2Go Similarity Engine)=Links2go.com
Mozilla/4.0 (compatible; FastCrawler3, support-fastcrawler3@fast.no)=AllTheWeb.com
Mozilla/4.0 (compatible; grub-client-2.x)=Grub.org
Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) TrueRobot; 1.5=Echo.com
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT; MS Search 4.0 Robot)=MSN.com
Mozilla/4.0 (compatible; SpeedySpider; www.entireweb.com)=EntireWeb.com
Mozilla/4.0 (compatible; www.galaxy.com)=Galaxy.com
Mozilla/4.0 [en] (Ask Jeeves Corporate Spider)=Ask Jeeves
Mozilla/4.0(compatible; Zealbot 1.0)=LookSmart.com
mozilla/5.0 (compatible; genevabot +http://www.healthdash.com)=HealthDash.com
Mozilla/5.0 (wgao@genieknows.com)=GenieKnows.com
Mozilla/5.0 wgao@genieknows.com=GenieKnows.com
Mozilla/5.0 (compatible; Yahoo! Slurp;)=Yahoo.com
MP3Bot=mp3bot.de
MSN=MSN.com
MSNBOT/0.1=MSN.com
msnbot=MSN.com
MultiText/0.1=MultiText
MultiText=MultiText
MuscatFerret=Webtop.com
NationalDirectoryAddURL/1.0=NationalDirectory.com
NationalDirectory-SuperSpider=Nationaldirectory.com
NationalDirectory-WebSpider/1.3=NationalDirectory.com
Nazilla=Websmostlinked.com
NEC Research Agent=NEC Research Agent
NetCruiser=NetCruiser
NetResearchServer(http://www.look.com)=Look.com
NetResearchServer=Look.com
NetZippy=Netzippy.com
NextopiaBOT=Nextopia.com
NG/1.0=Exabot.com
Noago Spider=Noago.com
NP/0.1 (NP; http://www.nameprotect.com; npbot@nameprotect.com)=NameProtect.com
NP/0.1=NameProtect.com
NPBot=NameProtect.com
NPBot-1/2.0=NameProtect.com
nttdirectory_robot=Navi.ocn.ne.jp
Nutch=Nutch.org
NutchCVS/0.0x-dev=Nutch.org
NutchOrg/0.0x-dev=Nutch.org
NutchOrg=Nutch.org
NZBot=NavigationZone.com
ObjectsSearch/0.01=ObjectsSearch.com
ObjectsSearch/0.0x=ObjectsSearch.com
oBot ((compatible;Win32))=Cobion.com
oBot=Cobion.com
OliverPerry=Claymont.com
OntoSpider/1.0 libwww-perl/5.65=Ontospider.i-n.info
OntoSpider/1.0=Ontospider.i-n.info
OntoSpider=Ontospider.i-n.info
Openbot/=Openfind.com.tw
Openbot/3.0+=Openfind.com.tw
Openbot/3.0=Openfind.com.tw
Opencola=Opencola.com
Openfind piranha=Openfind.com
Openfind Robot/1.1A2=Openfind.com.tw
http://www.5iya.com
OpenTextSiteCrawler/2.9.2=Opentext.net
Oracle Ultra Search=Oracle.com
Oxxbot1=Oxxfordinfo.com
Pansophica=Pansophica
ParaSite/1.0b (http://www.ianett.com/parasite/)=Ianett.com
ParaSite/1.0b=Ianett.com
pd02_1.0.0 pd02_1.0.0@dzimi@post.sk=Post.sk
peerbot=Peerbot.com
Phoaks=Phoaks
phortse@hanmail.net=Daum.net
PICgrabber=PICgrabber
PicoSearch/=PicoSearch.com
PicoSearch/1.0=PicoSearch.com
PictureOfInternet=PictureOfInternet
PintaSpider=PintaSpider
pipeLiner/0.10=Pipeline-Search.com
pipeLiner=Pipeline-Search.com
Pita=Pita Bot
Pizilla++ ver 2.45=He.net
PJspider/3.0 (pjspider@portaljuice.com; http://www.portaljuice.com)=Portaljuice.com
PJspider/3.0=Portaljuice.com
PJspider=Portaljuice.com
polybot 1.0 (http://cis.poly.edu/polybot/)= PolyBot
polybot 1.0=PolyBot
PolyBot=PolyBot
Pompos/1.x http://dir.com/pompos.html=Dir.com
Pompos/1.x pompos@iliad.fr=Iliad.fr
Pompos/1.x=Free.fr
Popdexter/1.0=Popdex.com
PortalBSpider/2.0 (spider@portalb.com)=Portalb.com
PortalBSpider/2.0=Portalb.com
Project XP5 [2.03.07-111203]= XP5 Bot
Project XP5=XP5 Bot
PROve AnswerBot 4.0=Answerchase.com
psbot/0.1 (+http://www.picsearch.com/bot.html)=Picsearch.com
psbot/0.1=Picsearch.com
psbot=Picsearch.com
Qango.com Web Directory (http://www.qango.com/)=Qango.com
Qango.com Web Directory= Qango.com
QPCreep Test Rig ( We are not indexing, just testing ) =Quepasa.com
QPCreep Test Rig=Quepasa.com
QuepasaCreep ( crawler@quepasacorp.com )=Quepasa.com
QuepasaCreep v0.9.1x=Quepasa.com
QuepasaCreep=Quepasa.com
QueryN Metasearch=Queryn.com
rabaz (rabaz at gigabaz dot com)=Brainbot.com
Rabaz=Brainbot.com
RaBot=Daum.net
ramBot xtreme x.x=Intersearch.de
Reaper [2.03.10-031204] (http://www.sitesearch.ca/reaper/)=Sitesearch.ca
Reaper [2.03.10-031204]=Sitesearch.ca
Reaper/2.0x (+http://www.sitesearch.ca/reaper)=Sitesearch.ca
Reaper/2.0x=Sitesearch.ca
Reaper=Sitesearch.ca
roach.smo.av.com-1.0=Altavista.com
roach.smo.av.com-1.0=Altavista.com
RoboCrawl (www.canadiancontent.net)=CanadianContent.net
RoboCrawl=CanadianContent.net
Robot/www.pj-search.com=PJ-Search.com
Robot@SuperSnooper.Com=SuperSnooper.com
robot@xyleme.com=Xyleme.com
robot-master@expressus.com=Expressus.com
robot-response@openfind.com.tw=Openfind.com.tw
Robozilla/1.0=Dmoz.org
Rotondo/3.1 libwww/5.3.1=Qualigo.de
ru-robot=Rutgers.edu
Scooter/1.0 scooter@pa.dec.com=Altavista.com
Scooter/1.0=Altavista.com
Scooter/1.1 (custom)=Altavista.com
Scooter/2.0 G.R.A.B. V1.1.0 =Altavista.com
Scooter/2.0 G.R.A.B. X2.0=Altavista.com
Scooter/3.3.QA.pczukor=Altavista.com
Scooter/3.3.vscooter=Altavista.com
Scooter/3.3_SF=Altavista.com
Scooter/3.3=Altavista.com
Scooter_bh0-3.0.3=Altavista.com
Scooter_trk3-3.0.3=Altavista.com
Scooter=Altavista.com
Scooter2_Mercator_3-1.0=Altavista.com
Scooter2_Mercator_x-x.0=Altavista.com
Scooter-3.0.EU=Altavista.com
Scooter-3.0.FS=Altavista.com
Scooter-3.0.HD=Altavista.com
Scooter-3.0.VNS=Altavista.com
Scooter-3.0QI=Altavista.com
Scooter-3.2.BT=Altavista.com
Scooter-3.2.DIL=Altavista.com
Scooter-3.2.EX=Altavista.com
Scooter-3.2.JT=Altavista.com
Scooter-3.2.NIV=Altavista.com
Scooter-3.2.SF0=Altavista.com
Scooter-3.2.snippet=Altavista.com
Scooter-3.2=Altavista.com
Scooter-3.3dev=Altavista.com
Scooter-ARS-1.1=Altavista.com
Scooter-ARS-1.1-ih=Altavista.com
scooter-venus-3.0.vns=Altavista.com
Scooter-W3.1.2=Altavista.com
Scooter-W3-1.0=Altavista.com
Scrubby/=Scrubtheweb.com
search.at V1.2=Search.at
search.ch V1.4.2=Search.ch
search.ch V1.4=Search.ch
SearchExpress Spider0.99=SearchExpress.com
Searchit-Now Robot/2.2 (+http://www.searchit-now.co.uk)=Searchit-now.co.uk
Searchit-Now Robot/2.2=Searchit-now.co.uk
SearchSpider.com/1.1=Searchspider.com
Searchspider/=Searchspider.com
Searchspider/1.2=Searchspider.com
sebastien.ailleret@inria.fr=Inria.fr
Seeker.lookseek.com=Lookseek.com
SeznamBot/1.0 (+http://fulltext.seznam.cz/)=Seznam.cz
SeznamBot/1.0=Seznam.cz
Shark=Openfind.com
sherlock_spider=Sherlock.com.cn
SightQuestBot/=Sightquest.com
SiteSpider +(http://www.SiteSpider.com/)=Sitespider.com
SiteSpider=Sitespider.com
SiteXpert=Xtreeme.com
Skampy/0.9.x= Skaffe.com
Skimpy/0.x=Skaffe.com
Slarp/0.1=Only.com
Slider_Search_v1-de=Slider.com
Slurp.so/1.0= Yahoo.com
Slurp/2.0j=Yahoo.com
Slurp/2.0-KiteHourly=Yahoo.com
Slurp/2.0-OwlWeekly=Yahoo.com
Slurp/3.0-AU=Yahoo.com
slurp@inktomi.com=Yahoo.com
slurp@inktomi= Yahoo.com
Slurp=Yahoo.com
SlySearch/1.0=Turnitin.com
SlySearch/1.x=Turnitin.com
SlySearch=Turnitin.com
speedfind ramBot xtreme 8.1=Speedfind.de
speedfind ramBot xtreme=Speedfind.de
Speedy Spider (Beta/x.x; speedy@entireweb.com)=EntireWeb.com
Speedy Spider=EntireWeb.com
Speedy_Spider (http://www.entireweb.com)=EntireWeb.com
Speedy_Spider=EntireWeb.com
Spida/0.1=Only.com
Spider TraficDublu=Traficdublu.ro
Spider/maxbot.com admin@maxbot.com=Maxbot.com
Spider/maxbot.com=Maxbot.com
spider@aeneid.com=Yahoo.com
Spider_Monkey/=Spidermonkey.ca
spider_monkey=Spidermonkey.ca
SpiderMonkey/7.x=Spidermonkey.ca
Sqworm/2.9.81-BETA (beta_release; 20011102-760; i686-pc-linux-gnu)=Aol.com
Sqworm=Aol.com
Steeler/1.x (http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)=Steeler Bot
Steeler/1.x=Steeler Bot
Steeler=Steeler Bot
Suchbot=Suchbot.de
Suchknecht.at-Robot=Suchknecht.at
super-robot@super.navi.ocn.ne.jp=Navi.ocn.ne.jp
support@canseek.ca=Canseek.ca
Surfnomore Spider v1.1=Surfnomore.com
SwissSearch V1.2=SwissSearch
SynoBot=Synomia.fr
TaWWWantula=TaWWWantula
teoma_admin@hawkholdings.com=Teoma.com
teoma_agent1=Teoma.com
TeraCrawl=TeraCrawl
Teradex_Mapper=Mapper.teradex.com
The Informant=The Informant
TheSuBot/0.1 (www.thesubot.de)=TheSuBot.de
TheSuBot/0.1=TheSuBot.de
thumbshots-de-Bot (Version: 1.02, powered by www.thumbshots.de)=ThumbShots.de
thumbshots-de-Bot=ThumbShots.de
Toutatis 2.5-2=Hoppa.com
Toutatis 3.3 (hoppa.com)=Hoppa.com
Toutatis 4-19.6 (hoppa.com)=Hoppa.com
TurnitinBot/x.x (http://www.turnitin.com/robot/crawlerinfo.html)=Turnitin.com
TurnitinBot/x.x=Turnitin.com
TurnitinBot=Turnitin.com
Tutorial Crawler=Tutorgig.com
Tv_Merc_resh_26_1_D-1.0=Altavista.com
Tv_Merc_resh_26_1_D-1.0=Altavista.com
TygoBot=Tygo.com
UCmore=Ucmore.com
UdmSearch=Mnogosearch.org
UK Searcher Spider=Uksearcher.co.uk
Ultraseek=Infoseek.com
unlostBot=Unlost.com
updated/0.1beta=Updated.com
URLBlaze=Urlblaze.net
UrlScope=UrlScope
Vagabondo/1.x MT (webagent@wise-guys.nl)=Wise-guys.nl
Vagabondo/2.0 MT (webagent at wise-guys dot nl)=Wise-guys.nl
Vagabondo/2.0 MT (webagent@NOSPAMwise-guys.nl)=Wise-guys.nl
Vagabondo/2.0 MT=Wise-guys.nl
Vagabondo=Wise-guys.nl
vspider=Verity.com
webbandit/4.xx.0=WebBandit
Webbandit=WebBandit
Webclipping.com=WebClipping.com
webcollage/1.xx=WebCollage.com
webcollage=WebCollage.com
WebCompass=WebCompass
WebCrawler/3.0 Robot libwww/5.0a=WebCrawler
WebCrawler-AddURL/2.0=WebCrawler
WebFindBot(http://www.web-find.com)=Web-find.com
WebFindBot=Web-find.com
WebGather=WebGather
WebGenie=WebGenie
webmaster@intags.de=Intags.de
whatUseek_winona/3.0=Whatuseek.com
whatuseek=Whatuseek.com
WhizBang! Lab=Whizbanglabs.com
WIRE WebRefiner=Wire.co.uk
wisenutbot=Looksmart.com
WSCbot=WorldSearchCenter.com
www.inktomisearch.com=Yahoo.com
www.WebWombat.com.au=Webwombat.com.au
YahooSeeker/CafeKelsa=Yahoo.com
Yandex=Yandex.com
Yellopet-Spider=YellowPet.com
YottaShopping_Bot/4.12=YottaShopping.com
Zao/0.1 (http://www.kototoi.org/zao/)=Zao Bot
Zao/0.1=Zao Bot
Zao/0.2=Zao Bot
Zao-Crawler=Zao Bot
zerxbot/Version 0.6 libwww-perl/5.79=Zerx.com
Zippy v2.0 - Zippyfinder.com=Zippyfinder.com
ZyBorg=Wisenut.com

]]>

Pages: Prev 1 2 3 4 5 6 Next