python 抓取动态网页的问题

[hatcat3]

比如这个网页
http://image.baidu.com/channel#%E6%98%8E%E6%98%9F&%E5%88%98%E8%AF%97%E8%AF%97&0&0
里面的图片都是通过js动态生成的, 用urllib获取不到里面的图片
请问类似这种问题有好的解决方案吗?

[binux]

chrome打开network，看实际请求
这根本就不是解不解决方案的问题，只是你不会罢了

建议你爬之前先学学怎么写，至少了解下HTML、HTTP协议、JS、AJAX、CSS以及一种服务器语言实现。

[ljbha007]

http://image.baidu.com/channel/listjson?fr=channel&tag1=明星&tag2=刘诗诗&sorttype=0&pn=0&rn=30&ie=utf8&oe=utf-8&1368273391754

改下参数就好了
输出数据是JSON:
http://gist.github.com/5559777

[ljbha007]

@Livid
V2EX的gist 问题真的很严重啊

[phuslu]

可以试下g ho s t . p y

[hatcat3]

@binux 呵呵 如果只是这个倒是可以取得 我想问的是一种通用型的解决方案

[binux]

@hatcat3 上浏览器引擎