iconv 这个渣渣居然不支持 pipe。。。。文件都读到 buffer 里去了
est · est · 2015-05-06 23:16:11 +08:00 · 2257 次点击这是一个创建于 3299 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://sourceware.org/bugzilla/show_bug.cgi?id=6050
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303
用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。
zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo
观察了n久，pv一动不动！！！！我2G的文件啊！！！
于是果断用一行python代替了iconv
zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo
用pv >/dev/null试了下效率，速度为40M/s基本跑到了硬盘瓶颈。
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=328303
用stdbuf -o 0 这么伟大的hack都不能拯救这个渣渣。
zcat myfile | iconv -f gb2312-t UTF-8 | pv > myfifo
观察了n久，pv一动不动！！！！我2G的文件啊！！！
于是果断用一行python代替了iconv
zcat myfile | python -c "for l in __import__('sys').stdin:print l.decode('gb2312', 'ignore').encode('utf8')" | pv > myfifo
用pv >/dev/null试了下效率，速度为40M/s基本跑到了硬盘瓶颈。
 |
1
julyclyde 2015-05-07 11:27:42 +08:00
因为解码算法需要回溯吧？
|
 |
3
est OP 想了下，不对啊。为啥python的就可以pipe。。。
|
 |
4
jarlyyn 2015-05-14 19:24:47 +08:00
iconv最奇葩的是
nodejs 用pure js实现的iconv-lite库号称比调用iconv的库快 |
Select Language