设为首页收藏本站 开启辅助访问
搜索
    查看: 11913|回复: 13

    [经验分享] 关于服务器安全狗防护日志显示拦截百度IP等信息的说明

    [复制链接]
    发表于 2013-9-10 08:47:06 | 显示全部楼层 |阅读模式
    本帖最后由 小肖 于 2013-9-12 10:54 编辑

    一些用户在使用服务器安全狗的时候发现安全狗的防护日志中有关于拦截WEB防火墙,检测到http cc攻击的情况出现,查看详细的信息后发现拦截的IP信息为百度的ip 地址等信息,并对此产生了疑问,最直接的怀疑莫过于web防火墙拦截了百度蜘蛛的收录情况。诸如下图所示

    拦截信息

    拦截信息


    在解决这个问题之前,安全狗作一点说明,在安全狗内已经内置了蜘蛛爬虫的白名单,主流的蜘蛛爬虫的Ip信息都包括在内,如 百度蜘蛛:baiduspider、 谷歌蜘蛛:googlebotyahoo中国蜘蛛、163蜘蛛、阿里云蜘蛛、SOSO蜘蛛、搜狗蜘蛛等等主流蜘蛛的IP地址都已经ip白名单的形式内置于安全狗软件内。既然已经内置了主流蜘蛛的IP地址在白名单之内,为什么还会产生拦截的提示信息呢?我们可以这样想一想,IP显示的是百度的地址,但是百度的地址不一定就是爬虫的地址,比如百度的员工通过他们的服务器来访问你,那不能代表是百度的爬虫来爬你网站。
    明白了这个道理,我们继续一个测试 通过系统自带的nslookup工具进行域名反查,就以上图拦截日志拦截的ip地址(220.181.51.36)为例.

    打开系统--运行--输入“cmd ”在弹出的对话画框中输入 nslookup 220.181.51.36 对域名进行查询

    域名反查

    域名反查


    通过查询后我们根据返回的提示信息发现该地址并不属于百度蜘蛛的域名之下,因此判断该ip不是百度的蜘蛛爬虫ip地址,安全狗对其进行拦截,并没有产生对蜘蛛爬虫的误拦截的情况出现。
    同样的我们以常见的百度蜘蛛爬虫域名进行反向查询,以ip地址180.76.5.223为例。

    域名反查

    域名反查

    在查询的结果中,返回的信息很直观的显示出该ip地址在baiduspider的域名之下,而该地址也是百度蜘蛛进行抓取收录的地址,当然该地址也在安全狗内置的ip白名单内。
    相似的,主流的蜘蛛爬虫白名单都被内置在服务器安全狗的IP白名单内,在蜘蛛爬虫进行收录抓取的时候,安全狗会直接放行不会产生拦截情况,不会影响抓取和收录失败的情况发生。
    各位用户在使用服务器安全狗的过程中遇到类似的情况,可以通过nslookup 命令对拦截Ip进行反查询,有疑问请在帖子下方或者官方论坛留言,安全狗会第一时间进行处理。


    回复

    使用道具 举报

     楼主| 发表于 2013-9-12 10:22:33 | 显示全部楼层
    用nslookup进行反查结果如下 捕获.PNG

    回复 支持 反对

    使用道具 举报

    发表于 2013-9-16 14:30:26 | 显示全部楼层
    目前只有google和百度,雅虎,MSN爬虫支持域名反查。部分的需要其他的特殊方法进行验证,比如搜搜有自己的爬虫验证http://www.soso.com/help/vsp/vspip.shtml。若有拦截到搜搜的爬虫可以的登录上去进行反查。
    回复 支持 反对

    使用道具 举报

    发表于 2013-9-24 11:28:51 | 显示全部楼层
    安全狗内置了爬虫白名单IP列表,会定期更新,若用户发现有误拦截的情况,可反馈给官方。
    回复 支持 反对

    使用道具 举报

    发表于 2014-10-20 15:07:58 | 显示全部楼层
    以学习  谢谢分享   
    回复 支持 反对

    使用道具 举报

    发表于 2014-10-25 09:42:02 | 显示全部楼层
    不错不错   顶起来 多多学习
    回复 支持 反对

    使用道具 举报

    发表于 2014-11-1 17:52:16 | 显示全部楼层
    还一种情况就是攻击的人,有可能会冒充假的百度公司IP。也就是伪造IP攻击,这种我都见过了
    回复 支持 反对

    使用道具 举报

    发表于 2014-11-3 09:46:08 | 显示全部楼层
    不错不错   顶起来
    回复 支持 反对

    使用道具 举报

    发表于 2014-11-3 09:50:39 | 显示全部楼层
    伪造IP攻击这种情况  怎么处理?
    回复 支持 反对

    使用道具 举报

    发表于 2014-11-3 11:04:32 | 显示全部楼层
    不错 顶起来  
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|小黑屋|Archiver|手机版|安全狗论坛-汇聚安全的力量 ( 闽ICP备14014139号-1  

    GMT+8, 2019-11-20 07:22 , Processed in 0.094578 second(s), 23 queries .

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表