。。。。。我被你逗笑了

看着这么整齐不如直接 split 再进一步处理。

@tommydong 哪里有写可以远程？

3 楼很对，通常都是主角牛逼配角傻逼，雪中里是人人都聪明绝顶，计策无双。不过能在这样的人物刻画下圆满的完成故事已经很厉害了。

另外《剑来》第一卷真的好看，后面变《理来》哈哈哈哈哈。

再另外，我觉得算网文的，《天行健》第一。

@fatbear001
就这么写啊，你有问的功夫都写完了，并且运行了十万遍了。

如果有 2000w 还需要考虑一下效率问题……
如果怕行太长占内存就记录行号当索引，完了再读。

awk '!a[$2$2$3$4]++' file.csv

自己设 -F 分隔符。

2w 条要啥效率

很好用，没遇到问题。
之前的第三方方案都没用过，因为花了十分钟没看懂…
go mod 就很好理解了。

舔不行的。

…不信

虽然那啥，但是还是要说一下可以 Keep 找

@TangMonk
你用 sqlite 不是还要用 gosql 去操作，写个对应表结构的 struct
那为啥不直接写好 struct 然后代码里用 const 写一遍就行了呗。就是这个代码文件会很长，但是可以自动生成啊

那还用啥 SQLite ？？

具体忘了，可能直接不支持，可能需要自行保证 key 在同一个分区。

key 在同一个分区可以加 {same}keyxxx 来实现，redis 只会计算 {} 里的内容的 hash 作为分区依据

哈哈哈哈哈哈哈哈哈哈哈我竟然被弄笑了

用了同一个 connection 吧，估计是用错了。

随机种子初始值一样？（比如用时分初始化的…

工具的说法太傻屌了，千年的社会积累不是你能评判的。
我觉得楼主的想法大概是：『我要生孩子，就是为了老了有人养我』

实际上呢？绝对不会有人这么想的，或者即使这么想了，生出来之后也会被天然的母性父性所影响，没有人不爱自己的孩子。
然后大部分人认为老了孩子有赡养义务，这是另一码事，跟为什么生你出来不要混为一谈。

hdfs 不合适『海量小文件』场景。
能上云的话最简单省事儿，便宜又可靠。
不能上的话海量小文件存储，也有很多方案。比如淘宝 TFS 以及腾讯 TencentFS，主要解决高可靠性，可索引，合并存储等问题。