推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3028 天前的主题，其中的信息可能已经有所发展或是发生改变。
具体的问题是：
我想把开放选课的时候某个课程的开班信息爬下来，然后我在第一次爬某个课程的开班信息成功爬了下来，然后我想爬其他的课程，结果我用相同的函数爬的时候，程序因为 TooManyRedirects 而结束了。为什么第一次爬的时候没有问题，第二次就出现问题了？
我爬几次所有可选课程都没有出错，但是在开班信息这里出现问题了，我在想是不是因为开班信息是在新窗口打开的？但是真正的原因是什么？
我想把开放选课的时候某个课程的开班信息爬下来，然后我在第一次爬某个课程的开班信息成功爬了下来，然后我想爬其他的课程，结果我用相同的函数爬的时候，程序因为 TooManyRedirects 而结束了。为什么第一次爬的时候没有问题，第二次就出现问题了？
我爬几次所有可选课程都没有出错，但是在开班信息这里出现问题了，我在想是不是因为开班信息是在新窗口打开的？但是真正的原因是什么？
 |
1
bianchensz 2016-09-12 08:49:33 +08:00
随便搜了一下 |
 |
2
scnace 2016-09-12 09:10:22 +08:00 via Android
f12 network 有惊喜 正方都是 iframe 。。。
|
 |
3
coderwen 2016-09-12 09:16:29 +08:00
同楼上，注意 network 抓包详情，如果有跳转记得点个 preserve log
|
 |
4
xyxc0673 OP @coderwen 实际上网页并没有跳转，而且我第一次爬的时候并没发生 TooManyRedirects 这个问题，但是在第二次爬的时候就出现上述问题，搞不清楚是什么原因
|
|
5
xyxc0673 OP @bianchensz 加了 headers
|
 |
7
zonghua 2016-09-12 17:31:04 +08:00
对于抓取的过程大家有什么建议吗？因为按顺序流程访问要函数里面写一大段代码，怎么样可以优化设计模式
|
Select Language