本站已运行

攻城狮论坛

xinmeng

作者: laical1
查看: 112|回复: 18

主题标签Tag

more +今日重磅推荐Recommend No.1

所有IT类厂商认证考试题库下载所有IT类厂商认证考试题库下载

more +随机图赏Gallery

重量级~~30多套JAVA就业班全套 视频教程(请尽快下载,链接失效后不补)重量级~~30多套JAVA就业班全套 视频教程(请尽快下载,链接失效后不补)
【超过几百G】EVE 国内和国外镜像 全有了 百度群分享【超过几百G】EVE 国内和国外镜像 全有了 百度群分享
某linux大佬,积累多年的电子书(约300本)某linux大佬,积累多年的电子书(约300本)
乾颐堂现任明教教主Python完整版乾颐堂现任明教教主Python完整版
乾颐堂 教主技术进化论 2018-2019年 最新31-50期合集视频(各种最新技术杂谈视频)乾颐堂 教主技术进化论 2018-2019年 最新31-50期合集视频(各种最新技术杂谈视频)
Python学习视频 0起点视频 入门到项目实战篇 Python3.5.2视频教程 共847集 能学102天Python学习视频 0起点视频 入门到项目实战篇 Python3.5.2视频教程 共847集 能学102天
约21套Python视频合集 核心基础视频教程(共310G,已压缩)约21套Python视频合集 核心基础视频教程(共310G,已压缩)
最新20180811录制 IT爱好者-清风羽毛 - 网络安全IPSec VPN实验指南视频教程最新20180811录制 IT爱好者-清风羽毛 - 网络安全IPSec VPN实验指南视频教程
最新20180807录制EVE开机自启动虚拟路由器并桥接物理网卡充当思科路由器最新20180807录制EVE开机自启动虚拟路由器并桥接物理网卡充当思科路由器
最新2018/07/29录制 IT爱好者清风羽毛-Cisco IOS ZBF防火墙视频最新2018/07/29录制 IT爱好者清风羽毛-Cisco IOS ZBF防火墙视频
乾颐堂 教主技术进化论 2018年 最新1-30期合集视频(各种最新技术杂谈视频)乾颐堂 教主技术进化论 2018年 最新1-30期合集视频(各种最新技术杂谈视频)
Cisco CCW售前销售报价系统使用方法Cisco commerce workspaceCisco CCW售前销售报价系统使用方法Cisco commerce workspace

[电脑技巧] python爬虫接入爬虫代理的源码

[复制链接]
查看: 112|回复: 18
开通VIP 免金币+免回帖+批量下载+无广告
  1.   #! -*- encoding:utf-8 -*-8 w1 A2 T) ]5 s1 P( S' E' D
  2. ( Z. P7 c# }$ B% P% k( B: @
  3.         import requests
    8 A6 M+ @) q# }# f* c# N8 H% y9 F
  4.         import random
    / Y2 b4 p. I: B& D8 M" y6 t& d, W
  5. ! K% x( n: V3 U1 e
  6.         # 要访问的目标页面% L: E0 K8 ]: W1 C0 `% g
  7.         targetUrl = "http://httpbin.org/ip"
    3 C6 ~6 [$ \! M/ t; |8 \" v0 v

  8. + b* ]6 h0 c6 b! p/ `7 g: e+ ~7 G
  9.         # 要访问的目标HTTPS页面
    % I  h4 _. g) ^
  10.         # targetUrl = "https://httpbin.org/ip"
    6 R& F2 ~6 ]6 D7 q- J1 j: f
  11. 5 w8 A, J3 B4 t/ s9 G/ a; I( y
  12.         # 代理服务器(产品官网 www.16yun.cn)
    . f  ?0 X2 o" ?$ p7 `
  13.         proxyHost = "t.16yun.cn"
    0 q) s- {0 @7 \: h4 V
  14.         proxyPort = "31111"
    6 u: _1 }  l. a: G0 {

  15. " c# F0 b* K8 y+ }* ^
  16.         # 代理隧道验证信息
    2 @1 P& T$ V# j# N; v% S
  17.         proxyUser = "username"
    ; |$ n3 k3 q" U# z
  18.         proxyPass = "password"
    9 [4 l  e9 T5 N: e# c: C

  19. ! u) ?+ \% b3 N2 Z. }
  20.         proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    2 K$ D7 D2 R& M$ O& w/ d
  21.             "host" : proxyHost,& y$ Q( `2 ]( o# J0 M& P% z
  22.             "port" : proxyPort,
    / f! S0 ]" t: A2 ^. i
  23.             "user" : proxyUser,
    , a3 i; E* f& Z; ]# a$ k
  24.             "pass" : proxyPass,
    % o! |# g8 _! j4 C( }
  25.         }
    ; F6 a$ V: ]) b+ T) _( n

  26. . k' _% P+ A$ {* I
  27.         # 设置 http和https访问都是用HTTP代理3 i& X( H3 T4 T* Z; N. r
  28.         proxies = {" i; D( z; y" H% ~
  29.             "http"  : proxyMeta,* ^7 u3 Q. Y+ j4 l/ l" a, A
  30.             "https" : proxyMeta,& Y" _7 ~+ Z. Y8 C# L. M, Q
  31.         }5 L6 q6 `- h% h2 \8 s' D: t

  32. # w6 _+ m8 ~  R3 ?& S
  33. & ?2 l/ @8 I/ y* v2 a
  34.         #  设置IP切换头$ Y' }' _, ^1 l- j& Y/ j2 r6 p
  35.         tunnel = random.randint(1,10000)
    % R0 J- n( L2 ~& {% U7 ?
  36.         headers = {"Proxy-Tunnel": str(tunnel)}
    5 G. A6 o) \5 h( ~7 k
  37. + r, M0 p4 c/ v7 ^  {3 u: Q& M3 H
  38. * s- ?, a1 g! X  |4 |
  39. 1 B2 V5 \7 ?, m5 ?
  40.         resp = requests.get(targetUrl, proxies=proxies, headers=headers)
    0 p5 Y8 e/ s1 ~! i+ ]" H" j- t

  41. " E9 {' E  v. q5 l2 b
  42.         print resp.status_code
    ; j& ]1 K7 s, A6 A5 `+ f) ]2 @; C
  43.         print resp.text
复制代码

# q" V# @! t( l/ L5 K5 n
- t  s5 o5 r1 U1 D: I
CCNA考试 官方正规报名 仅需1500元
回复 论坛版权

使用道具 举报

monkeyman [Lv10 举世无双] 发表于 2020-3-6 21:53:31 | 显示全部楼层
非常感谢楼主分享资源
回复 支持 反对

使用道具 举报

monkeyman [Lv10 举世无双] 发表于 2020-3-7 19:09:42 | 显示全部楼层
非常感谢楼主分享资源
回复 支持 反对

使用道具 举报

fjq0215 [Lv10 举世无双] 发表于 2020-3-7 23:21:31 | 显示全部楼层
python爬虫接入爬虫代理的源码 [
回复 支持 反对

使用道具 举报

monkeyman [Lv10 举世无双] 发表于 2020-3-8 11:30:54 | 显示全部楼层
非常感谢楼主分享资源
回复 支持 反对

使用道具 举报

monkeyman [Lv10 举世无双] 发表于 2020-3-9 10:37:16 | 显示全部楼层
非常感谢楼主分享资源呀
回复 支持 反对

使用道具 举报

jsyzchen81 [Lv9 无所不能] 发表于 2020-3-9 11:47:53 | 显示全部楼层
非常感谢楼主分享资源
回复 支持 反对

使用道具 举报

fjq0215 [Lv10 举世无双] 发表于 2020-3-9 12:19:11 | 显示全部楼层
python爬虫接入爬虫代理的源码
回复 支持 反对

使用道具 举报

monkeyman [Lv10 举世无双] 发表于 2020-3-10 22:30:18 | 显示全部楼层
非常感谢楼主分享资源呀
回复 支持 反对

使用道具 举报

ywb_qh [Lv9 无所不能] 发表于 2020-3-11 06:57:53 | 显示全部楼层
非常感谢楼主分享资源呀
/ T; S# L9 |5 D
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|无图浏览|手机版|网站地图|攻城狮论坛

GMT+8, 2020-4-10 20:41 , Processed in 0.364268 second(s), 20 queries , Gzip On, Memcache On.

Powered by Discuz! X3.2 © 2001-2013 Comsenz Inc.

Designed by ARTERY.cn