430. 爬虫单独给浏览器设置代理

我们一般在通过代理采集数据时,会在电脑端设置全局代理,如下所示: 这个方法会导致所有流量都经过 8080 代理端口。现在我想用 mitmproxy采集一个网站的数据,是不希望所有流量都走 mitmproxy 的。这里推荐一个谷歌浏览器的插件来解决这个问题(下载地址在文末)。

一、新建场景

这里的意思是:该场景中,流量都经过代理服务器:127.0.0.1,代理端口:8080

二、配置情景模式:auto switch

这里的意思是:域名匹配时,才使用第一步配置的“本地mitmproxy代理”

三、实际使用

点击扩展插件,点击 Proxy SwitchyOmega 插件

四、选择场景模式

这里点击 auto switch(第二步,配置的)

五、愉快的使用代理采集数据了

谷歌浏览器插件地址:https://chrome.google.com/webstore/detail/proxy-switchyomega/padekgcemlokbadohgkifijomclgjgif


比丘资源网 » 430. 爬虫单独给浏览器设置代理

发表回复

提供最优质的资源集合

立即查看 了解详情