你说得有道理 我也是说明和和注释相结合 我是这样写的 我把源码注释好了放在另外一个项目里 我在文章中列出框架的执行路线，每个路线的函数的作用，若想知道这个函数具体代码以及代码的具体解释，这里我就会把我注释好的代码地址放在旁边，读者可以一边看我写的注释，一边追踪框架的运行路线

@neoblackcap 这是导读 核心部分如 server.py 每个函数我都写注释了 难道把注释解释放在文档里？

@mimzy 非常感谢 已改

支持楼主 谁不是新手来的

楼主有发邮件询问么？我和你一样情况，发邮件说情况，第二天就回访弄好了

block

关于 xpath 的解决方式，我另一个项目和你这个项目的目标值提取方式很像，我当时的解决方式是让使用者自己定义一个函数在 Item 的继承类里面，比如
``` python
from talonspider import Item, TextField, AttrField
from pprint import pprint

try:
bool(type(unicode))
except NameError:
unicode = str


class DoubanItem(Item):
target_item = TextField(css_select='div.item')
title = TextField(css_select='span.title')
cover = AttrField(css_select='div.pic>a>img', attr='src')
abstract = TextField(css_select='span.inq')

def tal_title(self, title):
# 这里当返回是 list，让使用者在自己定义的这个函数里解决
if isinstance(title, unicode):
return title
else:
return ''.join([i.text.strip().replace(u'\xa0', '') for i in title])
```
项目地址 https://github.com/howie6879/talonspider

如果你觉得可以 我们可以改成这样子去解决

@prasanta 抱歉 ，刚看到，我没用 xpath 不过我发现 cssselector 也有这个问题 我已经解决了并提交 pr，我还提交了一些参数的优化 比如 requests 的 get 支持 headers，flask 的一些 options 参数传递问题，新增加了一个用 css 提取写的豆瓣 demo

我也有这个想法 但随后又想 这就是一个小爬虫框架啊 就没弄 支持楼主 想去贡献下😍😍

助攻 https://github.com/howie6879/talonspider

我啊

我也写了个 ig 下载网址 并开源了 https://github.com/howie6879/instdd

@strahe 裸跑了 问题依旧 无法水平扩展 你几台机器？

@raptor 我用 sanic 写个几个小应用 性能是可以的 我现在就是压测水平拓展发现有点问题 不知是我代码问题还是什么
不知有没有其他人遇到过

@prasanta 谢谢回复 为什么裸跑比较好呢？我试了下裸跑 还是会在第三台的时候 rps 上不去 cpu 利用不起来～～～

@keysona gunicorn 跑的 开了四个 有猜测是不是在 worker 切换消耗了时间

很早就看到大佬的项目 继续膜拜

@Auster 很好 你买了多久 我刚预约了