阅读 pyspider 代码中遇到的问题

[tdifg]

最近在读这个代码，现在遇到一些问题，希望有研究过的人帮助回答下。

首先，我用的分支是 https://github.com/tdifg/pyspider/tree/reading

问题主要和 tornado 的异步抓取相关，在 tornado_fetcher.py 文件里 http_fetch 函数，经过一系列初始化后进入 self.http_client.fetch(request)，然后直接进入了 handle_response 并返回了结果。

问题就是在这里， final_headers 里的值是如何来的，为什么值就是返回的头呢？
header_callback 函数只是在初始化 request 的时候调用了一次，其他并没有对这个变量做操作的地方，但是每次执行到 response 后 final_headers 就变成了返回头。
是在 self.http_client.fetch(request)里做了变动吗？

顺便问下有没有 tornado 的 httpclient 相关的文档可以参考学习的。多谢了。

[binux]

因为 header_callback 的意思是，对于每个 http 的 header 部分调用这个函数进行解析。
然后由于 header 部分被这个函数捕获了，所以 response.header 就没有值了，需要手动解析出 header 再赋值给它。

在 tornado.http request 中需要手动解析 header 的原因是， redirect 跳转的 cookie tornado 是不捕获的，但是例如登录时，很多网站都是在 302 处写入 cookie 的，为了修正这个问题，所以需要手动解析 header 。

以上行为，参阅 tornado 源码。反正 tornado 的文档都带有源码的跳转链接，看起来非常方便。

[tdifg]

@binux 好的，多谢。
先去学学 tornado 好了。