V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jakeyfly  ›  全部回复第 11 页 / 共 16 页
回复总数  305
1 ... 3  4  5  6  7  8  9  10  11  12 ... 16  
@20015jjw 大佬 不好意思啊
@ligyxy 那等 于自动过滤空表列啦~~~
这代码怎么才能编辑好呀
@ysc3839 那个大佬 环境变量是是跟 直接写 ex 什么的开头那个吗
@tulongtou 顺便再请教一下大哥,我该怎么写?从来没写过
@tulongtou 谢谢大哥
@hanzichi 主要另一个数据,我是直接分析出后台传来的值的规律。获取的。碰到这个恶心的 直接在模板上的。有点崩贵了
@hanzichi 如果取 html 上的值,那页面有一万个,我就得请求一万次,如果能找到传来的值。我只需要请求 3 次。这样的区别啊。所以才一直找这个原因。 如果后台渲染的。无法取得传来的值。那我只好老实的爬页面取值,再构造 URL 了
@geelaw 您说的是无端浏览器吗,我尽量少用那个东西,会有依赖感 ,我一般分析请求直接获取数据。那大佬,那这样的情况是否就像,django 的 views 渲染的模板一样,显示出来的时候就带有了? 是无法通过分析请求取得这个值的吧。那只能先抓页面,节取要的值,构造请求 URL 这一条路啦
@geelaw 大佬我关了 还是有,页面上的东西全没了,源码还是原来的源码。 请教这种情况,要怎么理解。
@qiayue 因为要有几千个,那就变成要先爬这个页面,正则把这一段搞下来。再清洗,或者用 JS 包跑一下把值取出来,会多好多访问,难度 会加大好大,对稳定的爬取难度变高了
@geelaw 怎么关掉啊 chrome 没试过
2018-02-28 11:54:43 +08:00
回复了 hippoboy 创建的主题 Python 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?
@gouchaoer 这才是真的会爬虫的
@carlclone 大佬你说的这是什么操作
有答案了,positions>x and postions<x
@lgh 也就是说 xpath 像 ORM 一样 只要给一个节点 就能跳 到任何有关联的节点是吧
还有,我 extract() 这个方法不管怎么用都 是说没这个属性。这是不是那个框架里的方法呀。我直接用 requests.get 到的不用 etree.HTML 也一样能用 xpath 是否 requests 内置 xpath
@SourceMan 大佬 明白了
@yangqi 插入的时候不写秒都是 00 是吧
2018-02-26 01:32:09 +08:00
回复了 jakeyfly 创建的主题 问与答 大佬们好,我又有了一个数据库的问题求解,是关于排名的
@c6h6benzene 因为名次这个数据要经常用到,如果要用的时候实时算,不太好吧。另:存起来的意思是这个赛季完了,就在数据库里 生个一个表存起来的意思?

其实 我纠结的地方是:我现 在的结构是一个所有球队的表,每条数据像你说的加个 LID 连接到联赛表。还有一个比赛场次表是接到球队表的,如果还要搞个排名表,那就是照球队表的形势再搞个结构差不多的表 加上一些积分胜场之类的字段。这个表是一年一张存,还是说加个年份 ID 也只存一张表?或者 我都想说是否把这类的东西存到 nosql 里去 因为偶尔也会要查询这个数据
1 ... 3  4  5  6  7  8  9  10  11  12 ... 16  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3174 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 11:15 · PVG 19:15 · LAX 04:15 · JFK 07:15
Developed with CodeLauncher
♥ Do have faith in what you're doing.