爬虫中为了躲避反爬虫可以有什么方法
避开反爬的方法：1、模拟正常用户。反爬虫机制还会利用检测用户的行为来判断，例如Cookies来判断是不是有效的用户。
2、动态页面限制。有时候发现抓取的信息内容空白，这是因为这个网站的信息是通过用户的XHR动态返回内容信息。解决这种问题就要爬虫程序对网站进行分析，找到内容信息并抓取，才能获取内容。
3、降低IP访问频率。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。所以绕过反爬虫机制可以降低爬虫的访问频率，还可以用IPIDEA代理IP换IP解决限制。
如何防止重复爬虫
1.基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
2.基于iptables和shell脚本：可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址（例如网易、有道），以下是我的定位方式，不过发现由于ip库不准确造成错误的屏蔽。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。
如何设置让网站禁止被爬虫收录？
网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。
比如，要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。
1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
Ur-agent: Baiduspider
Disallow: /
Ur-agent: Googlebot
Disallow: /
Ur-agent: Googlebot-Mobile
Disallow: /
Ur-agent: Googlebot-Image
Disallow:/
Ur-agent: Mediapartners-Google
Disallow: /
Ur-agent: Adsbot-Google
Disallow: /
Ur-agent:Feedfetcher-Google
Disallow: /
Ur-agent: Yahoo! Slurp
Disallow: /
Ur-agent: Yahoo! Slurp China
Disallow: /
Ur-agent: Yahoo!-AdCrawler
Disallow: /
Ur-agent: YoudaoBot
Disallow: /
Ur-agent: Sosospider
Disallow: /
Ur-agent: Sogou spider
Disallow: /
Ur-agent: Sogou web spider
Disallow: /
Ur-agent: MSNBot
Disallow: /
Ur-agent: ia_archiver
Disallow: /
Ur-agent: Tomato Bot
Disallow: /
Ur-agent: *
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
<meta name="robots" content="noindex, nofollow">
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。
小注：第1招和第2招只对“君子”有效，防止“小人”要用到第3招（“君子”和“小人”分别泛指指遵守与不遵守 robots.txt 协议的 spider/robots），所以网站上线之后要不断跟踪分析日志，筛选出这些 badbot 的ip，然后屏蔽之。
视频网站怎么防止爬虫
分辨爬虫的善恶。
网络爬虫分为两种，一种是善意爬虫，例如百度、Google等搜索引擎的爬虫，另一种是恶意爬虫，它可能会利用网站漏洞，非法窃取网站数据，或者爬取网站内容，占用服务器资源。恶意爬虫的行为是我们所深恶痛觉的，必须想尽办法予以过滤和阻断。网站或者某一些网页不想被诸如百度、Googl等善意爬虫爬取时，我们也希望能采取一些措施。
如何防止网站被爬虫？
针对善意爬虫，几乎所有的搜索引擎爬虫，都会遵守robots协议，只要我们在网站的根目录下存放一个ASCII编码的文本文件，告诉搜索引擎哪些页面不能爬取，搜索引擎的蜘蛛便会遵照协议，不爬取指定页面的内容。
但是robots并不是一个规范，而是一种君子协议，它只对善意爬虫有效，并不能防止恶意爬虫。
针对恶意爬虫，我们可以采取以下措施来识别和阻断它。
夏季防蚊蝇爬虫的有效方法
1、在家庭中可用浓肥皂涂抹可迅速止痒，或用香皂蘸水在红肿处涂抹。 原因是肥皂高级脂肪酸的钠盐。如：C17H35COONa。这种脂肪酸的钠盐水解后显碱性(含OH-)，蚁酸水溶液中含H+ ，因为肥皂水中的OH-与蚁酸的H+中和成H2O因此可迅速消除痛、痒。 2、涂点氨水止痒，原理同上。 3、如果叮咬处很痒，可先用手指弹一弹，再涂上花露水、风油精等。 4、用盐水涂抹或冲泡痒处，这样能使肿块软化，还可以有效止痒。 5、可用芦荟叶中的汁液止痒。被蚊子叮咬后红肿奇痒时，可切一小片芦荟叶，洗干净后掰开，在红肿处涂擦几下，就能消肿止痒。 6、万金油和盐的涂抹，可让局部*并舒缓神经，减轻痒的感觉。10、把一颗蒜瓣掰开，用断面涂抹蚊子咬的包，一会就好，而且止痒。7、维生素B1泡水擦身也会让蚊子不敢近身。 这种水溶性维生素是没有副作用的。多余的分量完全排出体外，不会贮留在人体中。 8、用调味品中的八角、茴 各两枚，泡于温水脸盆中，用其水洗澡，蚊子不敢近身。 9、在室内点燃干桔皮，可代替蚊 ，既能驱蚊，又可消除屋内异味。22、巧用清凉油、风油精.在卧室内放几盒揭开盖的清凉油或风油精。点蚊香，气味呛人;挂蚊帐，空气沉闷。如果能在点蚊前，在整盘蚊上滴洒适量的风油精，则可使蚊香不呛人，而且满室清，驱蚊效果好。如果能在进蚊帐之前，在蚊帐上洒几滴风油精，可以改善蚊帐内的空气状况，而且增加驱蚊效果。 10、摆入驱蚊鲜花 黄昏前，在室内摆1，2盆盛开的茉莉花、米兰或玫瑰，最好是夜来香。因蚊子不能忍受这些花的香气而逃避。 11、室内安装橘红色灯泡，由于蚊子害怕橘红色的光线，所以能产生很好的驱蚊效果。 12、将阴干的艾叶等搓成绳索，点燃后放在室内，其烟味可驱蚊。 13、将晒干后的残茶叶燃烧，可以驱除蚊虫。27、用空酒瓶装35毫升糖水或啤酒放在桌面或室内蚊子较多处，蚊子闻到甜酒味就会注瓶子里钻，被糖水或啤酒粘住致死。 14、关上门窗，在窗前放置一个盆子，盆中加点混合洗衣粉的水，第二天，水盆中就会有一些死去的蚊子。每天持续使用这种方法，几乎可以不用再喷杀虫液去杀蚊子了。而且蚊子也会越来越少。
百度文库是如何做到防止爬虫抓取资源的？
百度文库中的PDF分两种。
一种实际是图片。这种PDF我还没想到如何爬取。
另一种是文字--能用鼠标选中文字的那种。这种PDF我目前虽然能爬取，但一篇代码仅能爬特定的某篇文档，如果换一篇文档，就要改动代码以正确地定位元素。
