1. 看起来是 Java 语言
2. 任何语言，线程间都在同一个进程内-同一个内存空间，所以变量当然也是共享，除了线程变量-这个需要特别指定。

1. 如楼上所言，想办法缩减长度，牺牲点时间戳精度之类 /尤其看需要的比较时间范围，用偏移值解决，比如今天零点开始的偏移值，可以算算去掉多少位数
2. 改成字符串格式，利用字符串排序
3. 分段-类似分桶，将分值按照范围分别保存和排序，然后在每个范围内仅保存偏移

学习能力+学习动力

瓶颈在 IO ，也就是网络上，包括目标网站的响应速度、网络状况、本地网络等。这个响应速度实际情况下至少也是 10ms 以上的，而你 CPU 处理这个页面速度怎么也在 0.01ms 以下吧(除非你里面又放了什么 IO 操作)；所以你看这个速度差距在 1000 倍以上；你唯一要考虑的是目标网站把你当 DOS 攻击把你屏蔽了(有各种屏蔽方式)。如果对方真允许你这么快，你也的确需要这么快，那么多开几个进程吧；注意不要重复爬就是了。
分布式爬虫什么的不是爬单个简单目标，而是爬很多目标的情况下使用的，这个是集群情况下使用，单机就不用了吧。

另外楼主的问题其实不是关于爬虫的，而是计算机 /软件基础知识不清楚，建议补补这些吧。

技术最后搞定的是事情，而不是技术本身。技术本身成为问题只在研究中存在。
但是“成熟”且盈利丰厚的企业应该做些不同技术的尝试，甚至应该鼓励，只是要控制好边界。这里面蕴含才说不清摸不着的创新，只有不断创新才能持续发展。

@nicegoing 这个梗太老了。

@yi719 也没啥，就是些比较新的全栈工程师喜欢用的框架。

像有没有行号这种应该在程序配置里搞定会更合理一点。 debug 和 release 使用不同配置即可。

本身就不需要重启呀，楼上说的直接 update 。另外 supervisor 的好处是可以控制运行环境，远程管理等。需要管理一个集群的时候就很明显。

@buckyRRRR 这个，牛头马嘴跑太远了吧。

你当然可以 hack ，但是非常非常不建议这样做。太危险，以后维护就是巨坑。所以描述下你的需求？ 99.9%你完全不需要这样做。

还是建议用 py3 ，以后会少很多问题。现在已经很少库不支持 py3 了，或者也都有替代 py3 版本，仔细找找。另外自己的代码同时兼容 2 、 3 现在并不复杂，参考下成熟开源软件很容易搞定。
我们目前也有这个问题，除了直接涉及到的应用使用了 py2 ，其它都是用 py3 。

前几天去滨江图书馆看书，蛮好的， 7 楼很安静的。

1. 先把问题理顺了
2. 再把问题排版好

这个就是垄断，利用市场领先地位限制用户的自由选择。