本站已运行

攻城狮论坛

xinmeng

作者: laical1
查看: 169|回复: 37

主题标签Tag

more +今日重磅推荐Recommend No.1

所有IT类厂商认证考试题库下载所有IT类厂商认证考试题库下载

more +随机图赏Gallery

重量级~~30多套JAVA就业班全套 视频教程(请尽快下载,链接失效后不补)重量级~~30多套JAVA就业班全套 视频教程(请尽快下载,链接失效后不补)
【超过几百G】EVE 国内和国外镜像 全有了 百度群分享【超过几百G】EVE 国内和国外镜像 全有了 百度群分享
某linux大佬,积累多年的电子书(约300本)某linux大佬,积累多年的电子书(约300本)
乾颐堂现任明教教主Python完整版乾颐堂现任明教教主Python完整版
乾颐堂 教主技术进化论 2018-2019年 最新31-50期合集视频(各种最新技术杂谈视频)乾颐堂 教主技术进化论 2018-2019年 最新31-50期合集视频(各种最新技术杂谈视频)
Python学习视频 0起点视频 入门到项目实战篇 Python3.5.2视频教程 共847集 能学102天Python学习视频 0起点视频 入门到项目实战篇 Python3.5.2视频教程 共847集 能学102天
约21套Python视频合集 核心基础视频教程(共310G,已压缩)约21套Python视频合集 核心基础视频教程(共310G,已压缩)
最新20180811录制 IT爱好者-清风羽毛 - 网络安全IPSec VPN实验指南视频教程最新20180811录制 IT爱好者-清风羽毛 - 网络安全IPSec VPN实验指南视频教程
最新20180807录制EVE开机自启动虚拟路由器并桥接物理网卡充当思科路由器最新20180807录制EVE开机自启动虚拟路由器并桥接物理网卡充当思科路由器
最新2018/07/29录制 IT爱好者清风羽毛-Cisco IOS ZBF防火墙视频最新2018/07/29录制 IT爱好者清风羽毛-Cisco IOS ZBF防火墙视频
乾颐堂 教主技术进化论 2018年 最新1-30期合集视频(各种最新技术杂谈视频)乾颐堂 教主技术进化论 2018年 最新1-30期合集视频(各种最新技术杂谈视频)
Cisco CCW售前销售报价系统使用方法Cisco commerce workspaceCisco CCW售前销售报价系统使用方法Cisco commerce workspace

[电脑技巧] 网络爬虫之关于爬虫http代理的常见使用方式

  [复制链接]
查看: 169|回复: 37
开通VIP 免金币+免回帖+批量下载+无广告
在做爬虫的过程中,如果你爬取的频率过快,不符合人的操作模式。有些网站的反爬虫机制通过监测到你的IP异常,访问频率过高。就会对你进行封IP处理。目前已有比较多的第三方平台专门进行代理IP的服务,那如何使用平台提供的http代理呢,一般好的平台都会提供两种使用方式:
1传统的API提取模式: API链接提取格式如下
API就是url链接,例如:http://ip.16yun.cn:817/************  用户的爬虫程序需要支持API的自动提取代理IP,定期从url中获取代理IP的相关信息,格式如下:
(1)默认支持文本

网络爬虫之关于爬虫http代理的常见使用方式

网络爬虫之关于爬虫http代理的常见使用方式 - 攻城狮论坛 - 网络爬虫之关于爬虫http代理的常见使用方式
(2)json格式(在API链接后面加上&format=json,返回JSON格式)

网络爬虫之关于爬虫http代理的常见使用方式

网络爬虫之关于爬虫http代理的常见使用方式 - 攻城狮论坛 - 网络爬虫之关于爬虫http代理的常见使用方式
(3)在链接后面加上 &part=分隔符 ,分隔符需要使用url转义
而爬虫程序通过获取出来的IP向网站发出请求获取数据。
2自动转发的爬虫代理:通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换,保证了网络稳定性和速度,避免爬虫客户在代理IP策略优化上投入精力。这种方式适用于专做爬虫的用户或者第一次使用http代理的用户,使用方便更加简单。市面上目前也只有几家代理平台有这种使用方式,这种使用方式比较严格,使用者必须是研发,严格按照自己的爬虫语言参考平台调用代理信息的demo修改接口,配置代理信息使用。每个平台配置爬虫代理的代理信息demo都不一样,其含义都差不多。
例如python网络爬虫设置自动转发代理接口的demo
如下:
#! -*- encoding:utf-8 -*-
        import requests
        import random
        # 要访问的目标页面
        targetUrl = "www.baidu.com"
        # 要访问的目标HTTPS页面
        # targetUrl = "www.baidu.com"
        # 代理服务器(产品官网 www.16yun.cn)
        proxyHost = "t.16yun.cn"
        proxyPort = "31111"
        # 代理隧道验证信息
        proxyUser = "username"
        proxyPass = "password"
        proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
            "host" : proxyHost,
            "port" : proxyPort,
            "user" : proxyUser,
            "pass" : proxyPass,
        }
        # 设置 http和https访问都是用HTTP代理
        proxies = {
            "http"  :proxyMeta,
            "https" : proxyMeta,
        }
        #  设置IP切换头
        tunnel = random.randint(1,10000)
        headers = {"Proxy-Tunnel": str(tunnel)}
        resp = requests.get(targetUrl,proxies=proxies, headers=headers)
        print resp.status_code
        print resp.text
这种是比较常见使用自动转发代理的demo,其他爬虫语言使用方式也大同小异。
以上是使用http代理的常见的两种方式,我也是经常使用代理,觉得自动转发的代理更加好用,方便,简单,速度快。避免了我在爬虫使用代理中的很多麻烦。
, [  ?1 Z/ m( H1 r& Y; G
CCNA考试 官方正规报名 仅需1500元
回复 论坛版权

使用道具 举报

zhengchaoit [Lv6 略有所成] 发表于 2020-5-3 18:39:26 | 显示全部楼层
感谢楼主 感谢攻城狮论坛
回复 支持 反对

使用道具 举报

zhengchao [Lv6 略有所成] 发表于 2020-5-4 16:31:04 | 显示全部楼层
好好学习,感谢作者
回复 支持 反对

使用道具 举报

mmhouse2012 [Lv6 略有所成] 发表于 2020-5-4 16:37:16 | 显示全部楼层
好好学习,感谢作者
回复 支持 反对

使用道具 举报

mmhouse2012 [Lv6 略有所成] 发表于 2020-5-4 16:42:19 | 显示全部楼层
好好学习,感谢作者
回复 支持 反对

使用道具 举报

qingshanghan [Lv6 略有所成] 发表于 2020-5-4 17:23:32 | 显示全部楼层
攻城狮论坛 每天更新
回复 支持 反对

使用道具 举报

qingshanghan [Lv6 略有所成] 发表于 2020-5-5 14:42:30 | 显示全部楼层
非常感谢楼主分享资源呀
回复 支持 反对

使用道具 举报

qingshanghan [Lv6 略有所成] 发表于 2020-5-5 14:45:57 | 显示全部楼层
非常感谢楼主分享资源呀
回复 支持 反对

使用道具 举报

zhengchao [Lv6 略有所成] 发表于 2020-5-5 15:02:56 | 显示全部楼层
非常感谢楼主分享资源呀
回复 支持 反对

使用道具 举报

zhengchao [Lv6 略有所成] 发表于 2020-5-5 15:03:07 | 显示全部楼层
非常感谢楼主分享资源呀
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|无图浏览|手机版|网站地图|攻城狮论坛

GMT+8, 2020-5-29 21:29 , Processed in 0.303952 second(s), 22 queries , Gzip On, Memcache On.

Powered by Discuz! X3.2 © 2001-2013 Comsenz Inc.

Designed by ARTERY.cn