推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
昨天晚上写了个 Python 程序，下载了一个福利网站 5000 来张妹子图片
liuxu · 2015-08-24 09:48:39 +08:00 · 17300 次点击这是一个创建于 3379 天前的主题，其中的信息可能已经有所发展或是发生改变。
github:
https://github.com/liuxu0315/download_nvshen_so
执行：$ python nvshen_so.py
用了多线程， 8 条线程，在 /tmp 下生成 nvshen_so/01 等文件夹并下载到相应的目录。
里面有 2 行代码被注释掉了，它们是配套的，用来下载 2014/12/下的图片，有几百张。
现在有个问题，我的程序无法一次全部下载完，总是漏一点，要么是执行一段时间后就卡死不动了不知道是什么原因。。
当然下载图片前有判断是否有该文件，可以重复执行下载程序，不过这个治标没治本。。
https://github.com/liuxu0315/download_nvshen_so
执行：$ python nvshen_so.py
用了多线程， 8 条线程，在 /tmp 下生成 nvshen_so/01 等文件夹并下载到相应的目录。
里面有 2 行代码被注释掉了，它们是配套的，用来下载 2014/12/下的图片，有几百张。
现在有个问题，我的程序无法一次全部下载完，总是漏一点，要么是执行一段时间后就卡死不动了不知道是什么原因。。
当然下载图片前有判断是否有该文件，可以重复执行下载程序，不过这个治标没治本。。
 |
101
aalska 2015-08-25 20:29:33 +08:00
|
 |
103
Dongdong36 2015-08-25 20:42:59 +08:00
@aalska
wget https://raw.githubusercontent.com/sincerefly/Learning/master/py/getMeezin.py chmod +x getMeezin.py ./getMeezin.py 0 1080 你下的是网页，不是代码 |
|
104
aalska 2015-08-25 23:31:58 +08:00
|
|
105
aalska 2015-08-26 19:27:33 +08:00
@Dongdong36 我发现爬豆瓣妹子那个是没用的 豆瓣现在用的 dbmeinv 域名.....页面样式也不一样..
|
 |
106
jiangbingo 2016-07-04 14:53:40 +08:00
再挖一下。
|
 |
107
5ipapa 2022-12-22 15:08:56 +08:00
cloudscraper 爬虫神器
|
|
108
5ipapa 2023-02-16 16:10:07 +08:00
5ipapa 点 com 建议收藏
|
Select Language