来源:实搜网络 2013-11-02
1.flash
常见的在网页的某一小部分使用flash增加视觉效果是很正常的,但是有的网站整个首页就是一个大的flash文件,这就构成了蜘蛛陷阱。蜘蛛能抓到的html代码只有一个链向flash的链接。
2.Session ID
有些网站使用Session ID跟踪用户访问,每个用户访问网站时都会生成独特唯一的Session ID,加在URL中。蜘蛛来访时会把这种URL当作是不同的链接,因为URL后面带着一个不同的Session ID.
3.各种跳转
蜘蛛除了认同301,其它的跳转都是搜索引擎所反感的。
4.框架结构
如果作为站长的你不知道什么是框架结构,那么恭喜你,你已经避免了这个蜘蛛陷阱了。根本没有必要知道什么是框架结构。
5.动态URL
动态URL指的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般这种动态URL不利于蜘蛛爬行,应该习题避免。
6.JavaScript链接
由于JavaScript链接可以做出许多吸引人的视觉效果,有些站长喜欢使用JavaScript脚本生成导航系统。这也是一种比较严重的蜘蛛陷阱之一。
7.要求登录
有些网站需要用户登录之后才可以看到会员的区域版块,可蜘蛛却不知道如何去填用户名密码哦。
8.强制使用Cookies
有些网站为了实现某种功能,如记住用户登录信息,跟踪用户访问路径等,强制用户使用Cookies,用户浏览器没有启用Cookies的话显示就不正常。蜘蛛访问时就相当于到了一个禁用了Cookies的浏览器,使蜘蛛无法访问。
实搜网络为您提供网络推广,网络营销,网站建设,SEO优化,微信开发,网站托管等服务,服务热线:0311-66697360