V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  182247236  ›  全部回复第 1 页 / 共 6 页
回复总数  101
1  2  3  4  5  6  
176 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@julyclyde 我这边有 100 多个域名,一个月的数据就是 80 多万条了,查起来确实太慢了。所以想用 python 的多线程解决。。。SQL 注入漏洞的问题后面再解决吧。。
176 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Anivial 这个方式最近有想过,但是没有专业学过数据库,又着急,所以往后可能会考虑分表,SQL 注入这个超纲了。。。
176 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@neoblackcap 我的做法是写多线程,每个线程都请求数据库,但你说的这个很有可能是我遇到的问题,我节后好好看看
176 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@meiyoumingzi6 我的处理结果是 SQL 慢了,pandas 还是很给力的。。。哭
176 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@lybcyd 一个月的数据大概有 80 万条左右,用 mysql 做 group by sum 真的估计更慢了,这步我用 pandas 处理其实挺好的了,这个业务是内部运维用的,SQL 注入这些因为我不是专业的,所以暂时先不理会吧
176 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@shyrock 使用场景注定了用 redis 不行,数据库方面由于数据量真的太大了,所以我放弃了在这上面优化,多线程这块我再研究研究。
176 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Kinnice 没有用 mysql 的 group by 但是测试过了这个过程我用 pandas 计算非常快了。
179 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Kinnice 我现在用 for 就是分批次获取数据,但是 20 秒还是没法接收。
179 天前
回复了 182247236 创建的主题 Python Django 中 Python 多线程连接数据问题请教
@Kinnice 一次性把月数据取出来这个动作就需要 120 秒了,所以没法这么做的
179 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
因为数据库是在不熟悉,公司只有一位稍微懂点的同事,给我的意见都是分表,因为 IN 的条件太多了,无论如何都快不了的,所以还是用了最笨的方法,按天查询,每次返回的结果在用 pandas 处理,一个月的数据其实就是请求数据库 30 次,速度已经从 120s 降到了 20s ,虽然还是觉得太慢了,接下来试试能不能从多线程的思路解决,提高请求 mysql 的效率看看能不能再优化下,谢谢各位大佬。
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
我现在检查到第一个问题,首先我查一天的所有数据需要的时间是 1s 左右,但是没走索引,所以我的索引是不是做的有问题?
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@lscho 数据库和我的服务器都在机房,很近的
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
另外如果我查询 1 天的数据是飞快的,我还以为 30 天的数据也就是递增查询就完了
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
实在是头大,数据库知识不太懂,也是边做边学。有懂的请指教下!
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@long2ice 我查下联合索引怎么用
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
我用 zabbix 或者别的一些数据监控,他们的都是 1 分钟存一条数据,数据量比我的大多了,怎么别人的查询就这么快...
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@wolfie 刚贴了 explain ,force 不太懂是啥 lol
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@harde 好滴!
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@icaca append 了,麻烦大佬看下
182 天前
回复了 182247236 创建的主题 MySQL MySQL 查询数据太慢了,该怎么优化?
@vanton 收到
1  2  3  4  5  6  
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3340 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 01:04 · PVG 09:04 · LAX 18:04 · JFK 21:04
Developed with CodeLauncher
♥ Do have faith in what you're doing.