科学上网的方法

  ##知其所以然 本文不是教程向，倾向于分析科学上网的一些原理。知其所以然，才能更好地使用工具，也可以创作出自己的工具。 科学上网的工具很多，八仙过海，各显神通，而且综合了各种技术。尝试从以下四个方面来解析一些其中的原理。大致先原理，再工具的顺序。
  • dns
  • http/https proxy
  • vpn
  • socks proxy
##一个http请求发生了什么？ 这个是个比较流行的面试题，从中可以引出很多的内容。大致分为下面四个步骤：
  • dns解析，得到IP
  • 向目标IP发起TCP请求
  • 发送http request
  • 服务器回应，浏览器解析
还有很多细节，更多参考： http://fex.baidu.com/blog/2014/05/what-happen/ http://stackoverflow.com/questions/2092527/what-happens-when-you-type-in-a-url-in-browser http://div.io/topic/609?page=1 从FE的角度上再看输入url后都发生了什么 ##DNS/域名解析 可以看到dns解析是最初的一步，也是最重要的一步。比如访问亲友，要知道他的正确的住址，才能正确地上门拜访。 dns有两种协议，一种是UDP（默认），一种是TCP。 udp 方式，先回应的数据包被当做有效数据 在linux下可以用dig来检测dns。国内的DNS服务器通常不会返回正常的结果。 下面以google的8.8.8.8 dns服务器来做测试，并用wireshark来抓包，分析结果。   
dig @8.8.8.8 +tcp   www.youtube.com
youtube抓包 从wireshark的结果，可以看出在TCP三次握手成功时，本地发出了一个查询www.youtube.com的dns请求，结果，很快收到了一个RST回应。而RST回应是在TCP连接断开时，才会发出的。所以可以看出，TCP通讯受到了干扰，DNS客户端因为收到RST回应，认为对方断开了连接，因此也无法收到后面正确的回应数据包了。 再来看下解析twitter的结果：   
dig @8.8.8.8 +tcp  www.twitter.com
结果： 
www.twitter.com.        590     IN      CNAME   twitter.com.
twitter.com.            20      IN      A       199.59.150.7 80
twitter.com.            20      IN      A       199.59.150.7
twitter.com.            20      IN      A       199.59.149.230
twitter.com.            20      IN      A       199.59.150.39
这次返回的IP是正确的。但是尝试用telnet 去连接时，会发现连接不上。 
telnet 199.59.150.7 80
但是，在国外服务器去连接时，可以正常连接，完成一个http请求。可见一些IP的访问被禁止了。 
$ telnet 199.59.150.7 80
Trying 199.59.150.7...
Connected to 199.59.150.7.
Escape character is '^]'.
GET / HTTP/1.0
HOST:www.twitter.com
HTTP/1.0 301 Moved Permanently
content-length: 0
date: Sun, 08 Feb 2015 06:28:08 UTC
location: https://www.twitter.com/
server: tsa_a
set-cookie: guest_id=v1%3A142337688883648506; Domain=.twitter.com; Path=/; Expires=Tue, 07-Feb-2017 06:28:08 UTC
x-connection-hash: 0f5eab0ea2d6309109f15447e1da6b13
x-response-time: 2
###黑名单/白名单 想要获取到正确的IP，自然的黑名单/白名单两种思路。 下面列出一些相关的项目： 
https://github.com/holmium/dnsforwarder
https://code.google.com/p/huhamhire-hosts/
https://github.com/felixonmars/dnsmasq-china-list
本地DNS软件
  • 修改hosts文件 相信大家都很熟悉，也有一些工具可以自动更新hosts文件的。
  • 浏览器pac文件 主流浏览器或者其插件，都可以配置pac文件。pac文件实际上是一个JS文件，可以通过编程的方式来控制dns解析结果。其效果类似hosts文件，不过pac文件通常都是由插件控制自动更新的。只能控制浏览器的dns解析。
  • 本地dns服务器，dnsmasq 在linux下，可以自己配置一个dnsmasq服务器，然后自己管理dns。不过比较高级，也比较麻烦。
顺便提一下，实际上，kubuntu的NetworkManager会自己启动一个私有的dnsmasq进程来做dns解析。不过它侦听的是127.0.1.1，所以并不会造成冲突。     
 
/usr/sbin/dnsmasq --no-resolv --keep-in-foreground --no-hosts --bind-interfaces --pid-file=/run/sendsigs.omit.d/network-manager.dnsmasq.pid --listen-address=127.0.1.1 --conf-file=/var/run/NetworkManager/dnsmasq.conf
###路由器智能DNS 基于OpenWRT/Tomoto的路由器可以在上面配置dns server，从而实现在路由器级别智能dns解析。现在国内的一些路由器是基于OpenWRT的，因此支持配置dns服务器。 参考项目： 
 
https://github.com/clowwindy/ChinaDNS

http proxy

http proxy请求和没有proxy的请求的区别

在chrome里没有设置http proxy的请求头信息是这样的：   
GET /nocache/fesplg/s.gif
Host: www.baidu.com
在设置了http proxy之后，发送的请求头是这样的： 
GET http://www.baidu.com//nocache/fesplg/s.gif
Host: www.baidu.com
Proxy-Connection: keep-alive
区别是配置http proxy之后，会在请求里发送完整的url。 client在发送请求时，如果没有proxy，则直接发送path，如果有proxy，则要发送完整的url。 实际上http proxy server可以处理两种情况，即使客户端没有发送完整的url，因为host字段里，已经有host信息了。 为什么请求里要有完整的url？ 历史原因。

目标服务器能否感知到http proxy的存在？

当我们使用http proxy时，有个问题可能会关心的：目标服务器能否感知到http proxy的存在？ 一个配置了proxy的浏览器请求头： 
GET http://55.75.138.79:9999/ HTTP/1.1
Host: 55.75.138.79:9999
Proxy-Connection: keep-alive
实际上目标服务器接收到的信息是这样子的： 
GET / HTTP/1.1
Host: 55.75.138.79:9999
Connection: keep-alive
可见，http proxy服务器并没有把proxy相关信息发送到目标服务器上。 因此，目标服务器是没有办法知道用户是否使用了http proxy。

http proxy keep-alive

实际上Proxy-Connection: keep-alive这个请求头是错误的，不在标准里： 因为http1.1 默认就是Connection: keep-alive 如果client想要http proxy在请求之后关闭connection，可以用Proxy-Connection: close 来指明。 http://homepage.ntlworld.com/jonathan.deboynepollard/FGA/web-proxy-connection-header.html

http proxy authentication

当http proxy需要密码时： 第一次请求没有密码，则会回应 
HTTP/1.1 407 Proxy authentication required
Proxy-Authenticate: Basic realm="Polipo"
浏览器会弹出窗口，要求输入密码。 如果密码错误的话，回应头是： 
HTTP/1.1 407 Proxy authentication incorrect
如果是配置了密码，发送的请求头则是： 
GET http://www.baidu.com/ HTTP/1.1
Host: www.baidu.com
Proxy-Connection: keep-alive
Proxy-Authorization: Basic YWRtaW46YWRtaW4=
Proxy-Authorization实际是Base64编码。 
base64("admin:admin") == "YWRtaW46YWRtaW4="

http proxy对于不认识的header和方法的处理：

http proxy通常会尽量原样发送，因为很多程序都扩展了http method，如果不支持，很多程序都不能正常工作。 客户端用OPTIONS 请求可以探测服务器支持的方法。但是意义不大。 ##https proxy 当访问一个https网站时，https://github.com 先发送connect method，如果支持，会返回200 
CONNECT github.com:443 HTTP/1.1
Host: github.com
Proxy-Connection: keep-alive
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36
 
HTTP/1.1 200 OK
###http tunnel http://en.wikipedia.org/wiki/HTTP_tunnel#HTTP_CONNECT_tunneling 通过connect method，http proxy server实际上充当tcp转发的中间人。 比如，用nc 通过http proxy来连42端口：   
$ nc -x10.2.3.4:8080 -Xconnect host.example.com 42
原理是利用CONNECT方法，让http proxy服务器充当中间人。 ###https proxy的安全性？ proxy server可以拿到什么信息？ 通过一个http proxy去访问支付宝是否安全？
  • 可以知道host，即要访问的是哪个网站
  • 拿不到url信息
  • https协议保证不会泄露通信内容
  • TLS(Transport Layer Security) 在握手时，生成强度足够的随机数
  • TLS 每一个record都要有一个sequence number，每发一个增加一个，并且是不能翻转的。
  • TLS 保证不会出现重放攻击
TLS的内容很多，这里说到关于安全的一些关键点。 注意事项：
  • 确保是https访问
  • 确保访问网站的证书没有问题
是否真的安全了？更强的攻击者！ 流量劫持 —— 浮层登录框的隐患 http://fex.baidu.com/blog/2014/06/danger-behind-popup-login-dialog/ 所以，尽量不要使用来路不明的http/https proxy，使用公开的wifi也要小心。 ##goagent工作原理
  • local http/https proxy
  • 伪造https证书，导入浏览器信任列表里
  • 浏览器配置http/https proxy
  • 解析出http/https request的内容。然后把这些请求内容打包，发给GAE服务器
  • 与GAE通信通过http/https，内容用RC4算法加密
  • GAE服务器，再调用google提供的 urlfetch，来获得请求的回应，然后再把回应打包，返回给客户端。
  • 客户端把回应传给浏览器
  • 自带dns解析服务器
  • 在local/certs/ 目录下可以找到缓存的伪造的证书
fiddler抓取https数据包是同样原理。 goagent会为每一个https网站伪造一个证书，并缓存起来。比如下面这个github的证书：

    
goagent的代码在3.0之后，支持了很多其它功能，变得有点混乱了。 以3.2.0 版本为例： 主要的代码是在server/gae/gae.py 里。 https://github.com/goagent/goagent/blob/v3.2.0/server/gae/gae.py#L107 一些代码实现的细节：
  
@staticmethod
def _get_cert(commonname, sans=()):
###为什么goagent可以看视频？ 因为很多网站都是http协议的。有少部分是rmtp协议的，也有是rmtp over http的。 在youku看视频的一个请求数据： 
http://14.152.72.22/youku/65748B784A636820C5A81B41C7/030002090454919F64A167032DBBC7EE242548-46C9-EB9D-916D-D8BA8D5159D3.flv?&start=158
response：
Connection:close
Content-Length:7883513
Content-Type:video/x-flv
Date:Wed, 17 Dec 2014 17:55:24 GMT
ETag:"316284225"
Last-Modified:Wed, 17 Dec 2014 15:21:26 GMT
Server:YOUKU.GZ
可以看到，有ETag，有长度信息等。 ###goagent缺点
  • 只是http proxy，不能代理其它协议
  • google的IP经常失效
  • 不支持websocket协议
  • 配置复杂

vpn

###流行的vpn类型
  • PPTP，linux pptpd，安全性低，不能保证数据完整性或者来源，MPPE加密暴力破解
  • L2TP，linux xl2tpd，预共享密钥可以保证安全性
  • SSTP，基于HTTPS，微软提出。linux开源实现SoftEther VPN
  • OPENVPN，基于SSL，预共享密钥可以保证安全性
  • 所谓的SSL VPN，各家厂商有自己的实现，没有统一的标准
  • 新型的staless VPN，像sigmavpn/ShadowVPN等
现状：
  • PPTP/L2TP 可用，但可能会不管用
  • SoftEther VPN/OPENVPN 可能会导致服务器被封IP，连不上，慎用
  • ShadowVPN可用，sigmavpn没有测试
猜测下为什么PPTP，L2TP这些方案容易被检测到？ 可能是因为它们的协议都有明显的标头：
  • 转发的是ppp协议数据，握手有特征
  • PPTP协议有GRE标头和PPP标头
  • L2TP有L2TP标头和PPP标头
  • L2TP要用到IPsec
参考： https://technet.microsoft.com/zh-cn/library/cc771298(v=ws.10).aspx ###网页版的SSL VPN 有些企业，或者学校里，会有这种VPN：
  • 网页登陆帐号
  • 设置IE代理，为远程服务器地址
  • 通过代理浏览内部网页
这种SSL VPN原理很简单，就是一个登陆验证的http proxy，其实并不能算是VPN？ ###新型的staless vpnVPN，sigmavpn/ShadowVPN 这种新型VPN的原理是，利用虚拟的网络设备TUN和TAP，把请求数据先发给虚拟设备，然后把数据加密转发到远程服务器。（VPN都这原理？）   
you  local  protocol  remote  ......  remote  protocol  local  peer
这种新型VPN的特点是很轻量，没有传统VPN那么复杂的握手加密控制等，而向个人，而非企业。SigmaVPN号称只有几百行代码。 参考： http://zh.wikipedia.org/wiki/TUN%E4%B8%8ETAP https://code.google.com/p/sigmavpn/wiki/Introduction

ubuntu pptp vpn server安装

ubuntu官方参考文档： https://help.ubuntu.com/community/PPTPServer
  • vps 要开启ppp和nat网络转发的功能
  • 设置MTU，建议设置为1200以下，因为中间网络可能很复杂，MTU太大可能导致连接失败
iptables -A FORWARD -p tcp --syn -s 192.168.0.0/24 -j TCPMSS --set-mss 1200

socks proxy

socks5支持udp，所以如果客户端把dns查询也走socks的话，那么就可以直接解决dns的问题了。 ###socks proxy 握手的过程 socks5流程
  • 客户端查询服务器支持的认证方式
  • 服务器回应支持的认证方式
  • 客户端发送认证信息，服务器回应
  • 如果通过，客户端直接发送TCP/UDP的原始数据，以后proxy只单纯转发数据流，不做任何处理了
  • socks proxy 自身没有加密机制，简单的TCP/UDP forward
socks协议其实是相当简单的，用wireshark抓包，结合netty-codec-socks，很容易可以理解其工作过程。 https://github.com/netty/netty/tree/master/codec-socks ###ssh socks proxy 如果有一个外国的服务器，可以通过ssh连接登陆，那么可以很简单地搭建一个本地的socks5代理。 XShell可以通过“转移规则”来配置本地socks服务器，putty也有类似的配置：
   
linux下命令行启动一个本地sock5服务器： 
ssh -D 1080 user@romoteHost
ssh还有一些端口转发的技巧，这对于测试网络程序，绕过防火墙也是很有帮助的。 参考：http://www.ibm.com/developerworks/cn/linux/l-cn-sshforward/ ###shadowsocks的工作原理 shadowsocks是非常流行的一个代理工具，其原理非常简单。
  • 客户端服务器预共享密码
  • 本地socks5 proxy server（有没有想起在学校时用的ccproxy？）
  • 软件/浏览器配置本地socks代理
  • 本地socks server把数据包装，AES256加密，发送到远程服务器
  • 远程服务器解密，转发给对应的服务器
app => local socks server(encrypt) => shadowsocks server(decrypt) => real host                                                                  
app <= (decrypt) local socks server <= (encrypt) shadowsocks server <= real host
其它的一些东东：
  • 一个端口一个密码，没有用户的概念
  • 支持多个worker并发
  • 协议简单，比socks协议还要简单，抽取了socks协议的部分
###shadowsoks的优点
  • 中间没有任何握手的环节，直接是TCP数据流
  • 速度快
###shadowsocks的安全性
  • 服务器可以解出所有的TCP/UDP数据
  • 中间人攻击，重放攻击
所以，对于第三方shadow socks服务器，要慎重使用。 在使用shadowsocks的情况下，https通迅是安全的，但是仍然有危险，参见上面http proxy安全的内容。 ###vpn和socks代理的区别 从原理上来说，socks代理会更快，因为转发的数据更少。 因为vpn转发的是ppp数据包，ppp协议是数据链路层(data link layer)的协议。socks转发的是TCP/UDP数据，是传输(transport)层。 VPN的优点是很容易配置成全局的，这对于很多不能配置代理的程序来说很方便。而配置全局的socks proxy比较麻烦，目前貌似还没有简单的方案。 ###linux下一些软件配置代理的方法
  • bash/shell
对于shell，最简单的办法是在命令的前面设置下http_porxy的环境变量。 
http_proxy=http://127.0.0.1:8123 wget http://test.com
推荐的做法是在~/.bashrc 文件里设置两个命令，开关http proxy： 
alias proxyOn='export https_proxy=http://127.0.0.1:8123 && http_proxy=http://127.0.0.1:8123'
alias proxyOff='unset https_proxy && unset  http_proxy'
注意，如果想sudo的情况下，http proxy仍然有效，要配置env_keep。 在/etc/sudoers.d/目录下增加一个env_keep的文件，内容是： 
Defaults env_keep += " http_proxy https_proxy ftp_proxy "
参考： https://help.ubuntu.com/community/AptGet/Howto#Setting_up_apt-get_to_use_a_http-proxy
  • GUI软件
现在大部分软件都可以设置代理。 gnome和kde都可以设置全局的代理。 ###linux下不支持代理的程序使用socks代理：tsocks tsocks利用LD_PRELOAD机制，代理程序里的connect函数，然后就可以代理所有的TCP请求了。 不过dns请求，默认是通过udp来发送的，所以tsocks不能代理dns请求。 默认情况下，tsocks会先加载~/.tsocks.conf，如果没有，再加载/etc/tsocks.conf。对于local ip不会代理。 使用方法： 
sudo apt-get install tsocks
LD_PRELOAD=/usr/lib/libtsocks.so wget http://www.facebook.com
##基于路由器的方案 基于路由器的方案有很多，原理和本机的方案是一样的，只不过把这些措施前移到路由器里。 路由器的方案的优点是很明显的：
  • 手机/平板不用设置
  • 公司/局域网级的代理
但是需要专门的路由器，刷固件等。 shadowsocks, shadowvpn都可以跑在路由器上。 一些项目收集： https://github.com/lifetyper/FreeRouter_V2 https://gist.github.com/wen-long/8644243 https://github.com/ashi009/bestroutetb

推荐的办法

完全免费
  • chrome + switchsharp/SwitchyOmega + http proxy
  • goagent
程序员的推荐
  • chrome + switchsharp/SwitchyOmega + socks5 proxy
  • aws免费一年的服务器/其它国外免费云主机，节点位置决定速度，推荐东京机房
  • shadowsocks
第三方免费的服务器
  • shadowsocks服务器，微信公众号：pennyjob
手机软件：
  • fqrouter
  • shadowsocks client
商业软件安全性自己考虑 ##总结
  • 新技术层出不穷
  • 越流行，越容易失效
  • 实现一个proxy其实相当简单
  • 知其所以然，更好使用工具，也可以创作出自己的工具。

评论

发表评论

此博客中的热门博文

mips 精确异常和延时槽

图片
一、非精确异常 在多发射乱序执行的流水线 CPU 上，从指令进入流水线到异常事件的发生，期间要经过若干流水级，此时 PC 的值已指向其后的某条指令，在实现非精确异常的 CPU 上就把此时的 PC 值作为引起异常指令的所在（为了表达的方便，记为 eptr）。 简单地说 就是 eptr 的指向，并非真正的引起异常的指令之所在，而是其后面的某条指令所在。 二、精确异常 简单地说就是 eptr 的指向就是真正引起异常的指令之所在 而实现精确异常的 CPU，则在最后指令提交时 (commit) 按指令流的顺序提交，异常的产生也在该指令提交时，这样就能精确计算出引起异常的指令相对于当前 PC 的偏移，从而保证精确异常。 也就是说当异常产生时，之前的预备工作（即取指，译码，当然PC随之增长）便被废弃。CPU从异常中返回时，再重新做读取和译码的工作。 总之，不管是何类异常，eptr 之前的所有指令都会被执行完成 (commit之后)，eptr 之后的指令不会被执行。 三、mips 延迟槽 引入延时槽主要目的就是提高流水线的效率，分为以下两种： 1、分支延时槽 分支延迟槽 (Branch delay slot)，简单地说就是位于分支指令后面的一条指令，不管分支发生与否其总是被执行，而且通过下面的图可以看出位于分支延迟槽中的指令先于目标指令提交 (commit即执行)。 ....... ....... jal 48 <---- 48 代表跳转的目标地址 jal会置ra寄存器的值 nop / li a1, 4 <---- 这地方就是一个延迟槽  ....... <----- ra 寄存器的值变为这个地方的地址 ....... 进一步理解： 流水线中，分支指令执行时因为确定下一条指令的目标地址（紧随其后 or 跳转目标处？）一般要到第 2 步以后，在目标确定前流水线的取指级是不能工作的，即整个流水线就“浪费”（阻塞）了一个时间片，为了利用这个时间片，在体系结构的层面上规定跳转指令后面的一个时间片为分支延迟槽（branch delay slot）。位于分支延迟槽中的指令总是被执行，与分支发生与否没有关系。这样就有效利用了一个时间片，消除了流水线的一个“气泡”。 如下图所示，当我们把延时槽的指令去掉以后，你会发现我们浪费了一个时钟周期。（还需要注意一点就是通过ALU一...
阅读全文

libvirt event 处理

一、初始化时的函数栈 virNetSocketAddIOCallback()(当然这是以virNetSocket类型的数据结构为例，所谓virNetSocket类型的数据结构是指这类数据结构都是以virNetSocket开头，表现为virNetSocket*形式，例如：virNetSocketPtr） virEventAddHandle() addHandleImpl() <==================> virEventPollAddHandle()（通过virEventRegisterImpl函数来实现对应） 在virEventPollAddHandle()函数中将数据填充到eventLoop.handles[]数组中，下面我们就关注怎么用eventLoop.handles[]数组的。 备注： virNetServerNew 用来建立virNetServerPtr数据结构的同时（这数据结构用来描述remote模式下的server），还调用virEventRegisterDefaultImpl()函数，virEventRegisterDefaultImpl()函数调用virEventRegisterImpl函数来填充addHandleImpl()。 二、event的处理 main() (daemon/libvirtd.c) virNetServerRun() virEventRunDefaultImpl() (在一个while循环中，循环的判断条件是 !srv->quit，srv->quit默认是0，表示server一直在运行，当收到一些信号是该变量才会变成1，表示server退出了，循环也跟着退出） virEventPollRunOnce() 在virEventPollRunOnce()函数中，调用poll函数，来循环struct pollfd* fds(表示fd的数组），fds的初始化函数是virEventPollMakePollFDs()，在该函数中用eventLoop.handles[]数组来初始化fds。 当poll监视的fds数组中有事件发生，poll退出，返回值>0，virEventPollRunOnce()继续，其接着调用virEventPo...
阅读全文

802.11协议用到的简写

ACK (acknowledgment)　应答 AID (association identifier)　关联识别码　　 AP (accss point)　访问点 ATIM (announceent traffic indication message)　广播传输指示消息　　　 BSA (basic service area)　基本服务区 BSS (basic service set)　基本服务集 BSSID (basic service set identification)　基本服务集识别码 CCA (clera channel assessment)　干净信道评价 CCK (complemenetary code keying)　补码键控 CF (contention free)　无竞争 CFP (contention-free period)　无竞争期 CID (connection identifier)　连接标识符 CP (contention period)　竞争期 CRC (cyclic redundancy code)　循环冗余码 CS (carrier serse)　载波侦听 CTS (clear to send)　允许发送 CW (contention window)　竞争窗口 DA (destination address)　目的地址 DBPSK (differential binary phase shift keying)　差分二进制相移键控 DCE (data communication equipment)　数据通信设备 DCF (distributed coordination function)　分布式协调功能 DCLA (direct current level adjustment)　直接电平调整 DIFS (distributed (coordination function)interframe space)　分布式（协调功能）帧间间隔 DLL (data link layer)　数据链路层 DP (desensitization)　减敏现象 DQPSK (differential quadrature phase shift keying)　差分正交相移键控 DS (ditribution system)　分发系统 DS...
阅读全文