最近在研究python爬虫,需要用到代理的知识。记录一下使用代理的方法,留着以后用。
1、用urllib2库的方法
在urllib2包中有ProxyHandler类,通过此类可以设置代理访问网页,如下代码片段:
#coding=utf8
import urllib2
proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://feeds2.feedburner.com/MobileOrchard')
print response.read()
2、用requests库的方法
proxy = {"http":"http://127.0.0.1:1080"}
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1'}
def request(url):
response = requests.get(url,headers=headers,proxies=proxy)
return response
如无特殊说明,文章均为本站原创,转载请注明出处
- 转载请注明来源:python使用代理的方法
- 本文永久链接地址:http://www.hongxiaowei.com/xiaowei/407.html
该文章由 xiaowei 发布
这货来去如风,什么鬼都没留下!!!