V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mifan  ›  全部回复第 7 页 / 共 7 页
回复总数  137
1  2  3  4  5  6  7  
恭喜 恭喜
2011-02-17 17:19:15 +08:00
回复了 SolidZORO 创建的主题 问与答 正则表达式提问
得到结果, 再查一次, 把 000000 去掉
2011-02-17 17:00:01 +08:00
回复了 mifan 创建的主题 问与答 关于大数据量数据的处理,数据量可能很大很大
@Los 估计抓 10000 w 数据就差不多了,,, 现在上面还放着好多我下的 片片... :)
2011-02-17 16:58:55 +08:00
回复了 mifan 创建的主题 问与答 关于大数据量数据的处理,数据量可能很大很大
Update ...

根据@Platinum的建议,加了3个index... , 现在 最长的查询大概3s, 性能10x...,
想办法用cursor中...

def self.up
change_table :posts do |t|
add_index "posts", ["id", "topic_id"]
add_index "posts", ["id", "author_id"]
add_index "posts", ["id", "topic_id", "author_id"]
end
end
2011-02-17 16:56:34 +08:00
回复了 mifan 创建的主题 问与答 关于大数据量数据的处理,数据量可能很大很大
@Livid 有一个 post_contents 表 ,

posts 表 有 "post_content_id" 作为关联 , 呵呵 , 只在这个表上有 select * from post_contents where id = xxx 的操作, 这个到成为不了瓶颈.

我的上一次优化就是 把 posts 表 拆成了 posts 和 post_contents 2个表 , 不然 50 W 条数据 就已经跑不动了 :)
douban....
2011-02-17 13:45:45 +08:00
回复了 mifan 创建的主题 问与答 关于大数据量数据的处理,数据量可能很大很大
@Platinum 的这个符合索引应该是最简单的, 所有查询排序都能在这个索引中完成, 加了这个索引应该可以提高不少速度
cursor 的 方式 也可以考虑, 但是需要加额外的字段(索引) , 等直接加完索引在看吧


@leolmncn 的这个方式很不错, 等 cursor 改造完, 试试 逻辑分表....


谢谢 :)
2011-02-17 12:10:16 +08:00
回复了 mifan 创建的主题 问与答 关于大数据量数据的处理,数据量可能很大很大
create_table "posts", :force => true do |t|
t.integer "topic_id", :null => false
t.integer "author_id", :null => false
t.integer "page_id", :null => false
t.datetime "posted_at", :null => false
t.datetime "updated_at"
t.integer "post_favorites_count", :limit => 2, :default => 0, :null => false
t.boolean "valuable", :default => false, :null => false
t.integer "post_content_id"
end

add_index "posts", ["author_id"], :name => "index_posts_on_author_id"
add_index "posts", ["post_favorites_count"], :name => "index_posts_on_post_favorites_count"
add_index "posts", ["posted_at"], :name => "index_posts_on_posted_at"
add_index "posts", ["topic_id", "author_id"], :name => "index_posts_on_topic_id_and_author_id"
add_index "posts", ["topic_id"], :name => "index_posts_on_topic_id"
add_index "posts", ["updated_at"], :name => "index_posts_on_updated_at"
add_index "posts", ["valuable"], :name => "index_posts_on_valuable"


posts 表 的结构
2011-02-17 11:47:34 +08:00
回复了 mifan 创建的主题 问与答 关于大数据量数据的处理,数据量可能很大很大
上面的url 给错了, 应该是这样的url:
http://tianya.lu/topics/10000/pages/23492 才会更慢....
2011-02-17 11:43:33 +08:00
回复了 mifan 创建的主题 问与答 关于大数据量数据的处理,数据量可能很大很大
补充一个有这种问题的url

http://tianya.lu/posts/pages/123406

也许会很快, 那是因为有缓存缓存这个页面的时间是10 min, 但是10分钟过期后,,, 用户体验为零. 点了就没反应, 半分钟之后才能动......
卓越. 很久不去当当了, 在 卓越之前是 china-pub
2011-02-14 10:51:16 +08:00
回复了 mifan 创建的主题 问与答 求一靠谱的Windows VPS 商
谢谢 楼上的 同学, 我一会去问问, 昨天问了下捌号主机的VPS, 他们给的测试地址结果教育网无法访问 .... 哎, 估计教育网注定是悲剧 :(
2011-02-13 03:42:48 +08:00
回复了 freefcw 创建的主题 天黑以后 20110213 午夜俱乐部
都呼呼了吧 ?
2011-02-13 03:42:18 +08:00
回复了 freefcw 创建的主题 天黑以后 20110213 午夜俱乐部
肯德基 24 小时外卖热线.... 好饿啊...
2011-02-12 14:10:39 +08:00
回复了 hisky 创建的主题 Google App Engine 搭建反向代理,哪篇文档最好?
2011-02-11 22:08:56 +08:00
回复了 disinfeqt 创建的主题 设计 Dine - China Based Design Duo
看的眼红了....
1  2  3  4  5  6  7  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4678 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 09:41 · PVG 17:41 · LAX 02:41 · JFK 05:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.