免费代理ip使用教程
当我们爬取一些网站信息的时候，如果在一定时间内访问的次数过多，网站会认为是机器在操作或者恶意的攻击，所以我么你会用到代理IP,怎么去获得一些可以使用的免费代理IP呢?
这是一个免费代理IP的网站：http://www.xicidaili.com/
首先定义两个列表，用来装抓取的所有IP，只要改变url中最后的数字就能实现翻页，将你想要抓取的页数的所有连接，放入targets列表中。
查看页面的源代码，我们要抓取的IP来写出相应的正则表达式，还有一个请求的头部信息。
定义一个抓取ip的类，继承threading.Thread来使用多线程，实例化这个类的时候需要传入一个目标网站，然后经过re解析出你想要的代理，加入到未处理的列表中。
这是一个检验你下载下来的代理是否可以使用的类，依然使用多线程，测试的url使用的是唯品会的首页，当然可以根据你的想法来换，如果返回的response的code是200则测试通过，加入检查后的列表。
好我们开起线程抓取前10页的代理ip，后保存。
然后开始检验代理ip
最后将通过的ip保存在proxy_list.txt文本中
这是运行的效果图
上一篇：dns怎么设置？dns优化技巧
相关文章
华硕Zenbook Flip UX360CA超极本怎么样 看看就知道
华硕旗下的Zenbook Flip UX360CA是市面上最优秀的360度翻转超极本之一了，虽然价格不便宜，但的确是非常优秀的产品。 本次评测的是8GB RAM/512GB SSD版本，配备...
2016-08-19 19:01:08阅读全文
4923元电脑配置单： 酷睿i5-4590/技嘉G1.Sniper B6/索泰GTX1060
下面是酷睿i5-4590加技嘉G1.Sniper B6主板+索泰GTX1060显卡的电脑配置的详情，这套电脑主机价格在5000元左右，具体价格请参考本站每月发布的 酷睿i5系列电脑配置清单...
2016-08-16 16:28:14阅读全文
4994元电脑配置单： 酷睿i5-4590/技嘉G1.Sniper B6/蓝宝石RX 480 8G
下面是酷睿i5-4590加技嘉G1.Sniper B6主板+RX480 8G显卡的电脑配置的详情，这套电脑主机价格在5000元左右，具体价格请参考本站每月发布的 酷睿i5系列电脑配置清单及...
2016-08-16 16:05:07阅读全文
华硕新款变形本“ZenBook Flip UX360CA“定位高端
华硕今天正式发布了新款变形本ZenBook Flip UX360CA”，是该公司第一款基于Intel Skylake Core m平台、配备360度铰链的变形笔记本产品，定位高端市场。 ...
2016-07-10 13:45:57阅读全文
在局域网下怎么看自己的ip地址
有的时候大家需要用到自己局域网中的ip，在局域网下怎么看自己的ip地址，我们在百度查看ip地址，所看到的是外网的ip地址，那么你知道局域网怎样找自己的ip吗?下面是...
2016-07-05 17:41:25阅读全文
wifi精灵使用方法，4步教你设置公共wifi
wifi精灵是一款共享免费wifi的软件，它不仅可以在手机中使用，还可以在电脑上使用，你可以将自己的无线宽带设置成公网网络，这样别人在搜索wifi时就能看到你的wifi，增加知名度的有一种方，下面教你4步...
2018-03-14阅读全文
dns怎么设置？dns优化技巧
不知道大家有没有通过设置dns来最大化优化电脑网络速度，设置dns大家都比较陌生，因为一般也很少去提到，下面小编与大家一起分享下dns怎么设置以及优化dns技巧。...
2017-07-04阅读全文
如何设置NETGEAR端口镜像功能
美国netgear公司一直致力于网络技术创新，专注于产品的可靠性以及易用性提升，其生产的路由器设备功能强大，那么你知道如何设置NETGEAR端口镜像功能吗?下面是899电脑网小编整理的一些关于如何设置...
2017-07-02阅读全文
怎么设置NETGEAR无线路由器ARP保护功能
世界领先的企业网络解决方案，和数字家庭网络应用倡导者美国网件公司，网件netgear路由器功能强大，那么你知道怎么设置NETGEAR无线路由器ARP保护功能吗?下面是899电脑网小编整理的一些关于怎么...
2017-07-02阅读全文
netgear路由器怎么重启
netgear网件公司作为美国高科技企业连续八年增长速度最快的50家之一，在企业市场、运营商市场以及数字家庭市场，持续地保持着强大的科技研发和技术创新，那么你知道netgear路由器怎么重启吗?下面是...
2017-07-02阅读全文