我现在正在为我们的移动部门准备一个自动化测试实验室，主要由 Android 设备组成。
对于第一阶段，我需要 HTTP 设备嗅探，我无法在设备上执行此操作，因为它们并非全部 rooted，并且并非所有设备都是 4.0 及以上版本，因此它们可以使用基于 VPN 的解决方案。
我正在考虑在设备 wifi“高级设置”中定义的代理，并且应该使用请求响应标头 + 正文创建 .txt 文件（因为它没有特殊格式并且是纯文本，所以对我来说应该可以正常工作）。
如果需要的话，我稍后会解决 HTTPS 问题。
我的问题是哪个代理服务器的设置和脚本执行速度最快？我猜一次可以发出请求的设备不会超过 10-15 个，在我的设置中，负载不会成为大问题，但要确保每个设备都有自己的数据打印到文件中。
我知道 squid 存在，tinyproxy 也知道 apache 有一个 proxy_mod 可以解决问题，但不确定它是否能满足我的需求。服务器是 Linux，所以没有 Fiddler 来帮我。
答案1
我能想到两个选择：
- 使用 wireshark 的 Linux HTTP 代理
- 网络捕获
听起来您更喜欢使用 Linux HTTP 代理方法，但我也包括了网络捕获信息。
HTTP 代理捕获
使用python-proxy，我在页面底部添加了源代码修改。默认情况下，python-proxy 仅在 localhost 上监听。对其脚本进行小幅修改后，它便可监听所有端口：
if __name__ == '__main__':
start_server(host='0.0.0.0')
在 Linux 中保存文件后，您可以以非特权用户身份执行，python PythonProxy.py 现在将您的 Android 客户端配置为通过 tcp/8080 上的 Linux 服务器的 IP 进行代理。
python-proxy不支持 HTTPS。还有其他 Python 代理项目，例如mitmproxy它们确实支持 https，但我使用它们并没有取得太大的成功（不过，我通常将所有内容都部署在虚拟环境，它与一些 Python 项目配合得不太好）。
在 Linux 上代理 SSL 流量的另一种方法是查尔斯·普罗西，但我从来没用过。不过它是商业产品……
网络捕获
许多托管交换机（即 Cisco / Juniper / HP / 等）将通过交换机上非常简单的配置将一个以太网端口的流量镜像到另一个以太网端口。
| |
| <-- wifi --> |
+-------+ | | +---------+ Eth +-----------------+
| phone |--+ +--| Wifi AP |---------| Ethernet Switch |
+-------+ +---------+ +-----------------+
^^^^^^ Sniff here
此方法不支持解密 https 捕获。
### PythonProxy.py
# <PythonProxy.py>
#
#Copyright (c) <2009> <Fábio Domingues - fnds3000 in gmail.com>
#
#Permission is hereby granted, free of charge, to any person
#obtaining a copy of this software and associated documentation
#files (the "Software"), to deal in the Software without
#restriction, including without limitation the rights to use,
#copy, modify, merge, publish, distribute, sublicense, and/or sell
#copies of the Software, and to permit persons to whom the
#Software is furnished to do so, subject to the following
#conditions:
#
#The above copyright notice and this permission notice shall be
#included in all copies or substantial portions of the Software.
#
#THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
#EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES
#OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
#NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT
#HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY,
#WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
#FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
#OTHER DEALINGS IN THE SOFTWARE.
"""\
Copyright (c) <2009> <Fábio Domingues - fnds3000 in gmail.com> <MIT Licence>
**************************************
*** Python Proxy - A Fast HTTP proxy ***
**************************************
Neste momento este proxy é um Elie Proxy.
Suporta os métodos HTTP:
- OPTIONS;
- GET;
- HEAD;
- POST;
- PUT;
- DELETE;
- TRACE;
- CONENCT.
Suporta:
- Conexões dos cliente em IPv4 ou IPv6;
- Conexões ao alvo em IPv4 e IPv6;
- Conexões todo o tipo de transmissão de dados TCP (CONNECT tunneling),
p.e. ligações SSL, como é o caso do HTTPS.
A fazer:
- Verificar se o input vindo do cliente está correcto;
- Enviar os devidos HTTP erros se não, ou simplesmente quebrar a ligação;
- Criar um gestor de erros;
- Criar ficheiro log de erros;
- Colocar excepções nos sítios onde é previsível a ocorrência de erros,
p.e.sockets e ficheiros;
- Rever tudo e melhorar a estrutura do programar e colocar nomes adequados nas
variáveis e métodos;
- Comentar o programa decentemente;
- Doc Strings.
Funcionalidades futuras:
- Adiconar a funcionalidade de proxy anónimo e transparente;
- Suportar FTP?.
(!) Atenção o que se segue só tem efeito em conexões não CONNECT, para estas o
proxy é sempre Elite.
Qual a diferença entre um proxy Elite, Anónimo e Transparente?
- Um proxy elite é totalmente anónimo, o servidor que o recebe não consegue ter
conhecimento da existência do proxy e não recebe o endereço IP do cliente;
- Quando é usado um proxy anónimo o servidor sabe que o cliente está a usar um
proxy mas não sabe o endereço IP do cliente;
É enviado o cabeçalho HTTP "Proxy-agent".
- Um proxy transparente fornece ao servidor o IP do cliente e um informação que
se está a usar um proxy.
São enviados os cabeçalhos HTTP "Proxy-agent" e "HTTP_X_FORWARDED_FOR".
"""
import socket, thread, select
__version__ = '0.1.0 Draft 1'
BUFLEN = 8192
VERSION = 'Python Proxy/'+__version__
HTTPVER = 'HTTP/1.1'
class ConnectionHandler:
def __init__(self, connection, address, timeout):
self.client = connection
self.client_buffer = ''
self.timeout = timeout
self.method, self.path, self.protocol = self.get_base_header()
if self.method=='CONNECT':
self.method_CONNECT()
elif self.method in ('OPTIONS', 'GET', 'HEAD', 'POST', 'PUT',
'DELETE', 'TRACE'):
self.method_others()
self.client.close()
self.target.close()
def get_base_header(self):
while 1:
self.client_buffer += self.client.recv(BUFLEN)
end = self.client_buffer.find('\n')
if end!=-1:
break
print '%s'%self.client_buffer[:end]#debug
data = (self.client_buffer[:end+1]).split()
self.client_buffer = self.client_buffer[end+1:]
return data
def method_CONNECT(self):
self._connect_target(self.path)
self.client.send(HTTPVER+' 200 Connection established\n'+
'Proxy-agent: %s\n\n'%VERSION)
self.client_buffer = ''
self._read_write()
def method_others(self):
self.path = self.path[7:]
i = self.path.find('/')
host = self.path[:i]
path = self.path[i:]
self._connect_target(host)
self.target.send('%s %s %s\n'%(self.method, path, self.protocol)+
self.client_buffer)
self.client_buffer = ''
self._read_write()
def _connect_target(self, host):
i = host.find(':')
if i!=-1:
port = int(host[i+1:])
host = host[:i]
else:
port = 80
(soc_family, _, _, _, address) = socket.getaddrinfo(host, port)[0]
self.target = socket.socket(soc_family)
self.target.connect(address)
def _read_write(self):
time_out_max = self.timeout/3
socs = [self.client, self.target]
count = 0
while 1:
count += 1
(recv, _, error) = select.select(socs, [], socs, 3)
if error:
break
if recv:
for in_ in recv:
data = in_.recv(BUFLEN)
if in_ is self.client:
out = self.target
else:
out = self.client
if data:
out.send(data)
count = 0
if count == time_out_max:
break
def start_server(host='localhost', port=8080, IPv6=False, timeout=60,
handler=ConnectionHandler):
if IPv6==True:
soc_type=socket.AF_INET6
else:
soc_type=socket.AF_INET
soc = socket.socket(soc_type)
soc.bind((host, port))
print "Serving on %s:%d."%(host, port)#debug
soc.listen(0)
while 1:
thread.start_new_thread(handler, soc.accept()+(timeout,))
if __name__ == '__main__':
start_server(host='0.0.0.0')