V2EX › rrfeng 的所有回复 › 第 189 页 / 共 195 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 181 182 183 184 185 186 187 188 189 190 ... 195

❮

❯

2013-07-12 11:14:59 +08:00

回复了 rrfeng 创建的主题 › 机械键盘 › 求推荐机械键盘？我略研究了一下有如下倾向：

@MASAILA
为啥呢，你觉得哪种轴好用？

2013-07-12 11:13:46 +08:00

回复了 rrfeng 创建的主题 › 机械键盘 › 求推荐机械键盘？我略研究了一下有如下倾向：

@taresky
如果好用那基本一把就可以了，只要没什么太大的bug出现。
filco 圣手 87 ？为啥迟早会买呢……

poker2 看起来也不错，记下了。

2013-07-11 17:43:02 +08:00

回复了 regmach 创建的主题 › 硬件 › 日亚疯狂砍KPW的订单,求破

@timothyye 能
@regmach

2013-07-09 16:15:10 +08:00

回复了 Air_Mu 创建的主题 › DotA › 30个DOTA2完美世界中国服务器邀请码。需要的自取

需要下载完客户端才能获得激活码？

2013-07-08 09:04:11 +08:00

回复了 nichan 创建的主题 › DotA › Dota2国服还有很长一段路要走啊，和谐系统太逗了。

目前几乎所有的国内游戏都是这样

2013-07-08 08:25:11 +08:00

回复了 bjlbeyond 创建的主题 › 问与答 › 大家用QQ的小号加过你们女朋友吗？

我的小号就是给大号加好友用来当女朋友的我会说么

2013-07-04 13:29:03 +08:00

回复了 1to3 创建的主题 › 问与答 › 怎样申请ATM机？

@kurtrossel
NB！

2013-07-03 09:13:08 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
问题是你根本不需要排序啊。
按照你的描述我觉得 28 min 至少有 27.5 min 被 sort 吃掉了～～

另外既然你都能排序……那么换成 awk 我所说的吃内存问题就根本不存在了 - -！

2013-07-02 23:29:18 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@lovejoy
-F ',' 以逗号作分隔符
/pattern1/&&/pattern2/ 匹配两个条件的行
{a[$7" "$8]++} 满足上面条件的行以 [$7" "$8] 作为键存入数组a，如果重复就是 ++ 递增

END{} 在所有文件读入结束之后执行的程序块，输出数组a的所有键以及值

2013-07-02 10:55:27 +08:00

回复了 xatest 创建的主题 › Puppet › puppet有没有办法接收通知来触发部署？

自己写一个呗，通过另一种方式比如通知 shell 执行 puppet kick
不过貌似 kick 被砍掉了&……

2013-07-02 09:48:07 +08:00

回复了 mantianyu 创建的主题 › 分享发现 › 还有25分钟，google reader就关闭了

@airyland 额，刚才是看错了。木有搭梯子

2013-07-02 08:43:26 +08:00

回复了 mantianyu 创建的主题 › 分享发现 › 还有25分钟，google reader就关闭了

关了……

2013-07-02 08:26:47 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
cat *|grep 问题倒不是很严重，反正是一次读取
你这句的关键是 sort ，而你的需求里完全没有排序的必要，计数而已

2013-07-01 14:29:47 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
其实还是错了。。。uniq -c 是计数，我看成去重了哈哈

awk -F ',' '/@qq\.com/&&!/success/{a[$7" "$8]++}END{for(i in a)print i,a[i]}'

你跑跑试试多长时间呗

最后消耗的内存相当于 ... | sort | uniq 之后每行作为 key 存入一个数组，比文件大小略大。

2013-07-01 08:57:35 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
修正刚才的awk，有错误
awk -F ',' '/@qq\.com/&&!/success/&&!a[$7,$8]++'

2013-07-01 08:50:24 +08:00

回复了 Livid 创建的主题 › Hadoop › Hadoop + Python

@likuku
sort 开销巨大……
你的任务完全可以只用 awk 一次搞定

awk -F ',' '/@qq\.com/&&!/success/{!a[$7,$8]++}'

唯一的缺点就是最后一步去重可能会吃掉大量内存，视你的数据情况而定

1 ... 181 182 183 184 185 186 187 188 189 190 ... 195

❮

❯