@leonme #7 给个参考：
1. Spark 写 Parquet 文件，这个写完很快，不会占用太久集群资源
2. DataX 之类工具读 Parquet 写 DB ，可以设置并发和 Batch Size ，开很小的资源就够了
以上是离线处理的场景，你的场景是什么？

要不要天眼查企查查上看一下这些公司经营状况，股权背景？

请问是用 Spark Streaming 吗？以我的理解 Spark 适合批量写，不知道你这个场景是不是适合用流处理
以前我有个需求，设置一定速率来读取数据库、文件等来源的数据，发送到 Redis 队列里，不能超过队列预定的容量，我是手写 Python 处理的
当然这个得根据你的数据量来考虑了

@berg223 #7 老哥解答的很棒
我 Java 不熟悉，不过稍微熟悉一点 Spark ，Spark 读 JDBC 的时候有一些参数设置提供范围分区并发读取，不过需要一个数字类型主键。对于文件 IO ，这个也许可以参考 Kafka 写优化的特点

@Pantheoon #3 不好意思老哥，我是脉脉上看到信息投的
请问能同时投多个岗位吗

老哥，请问下走内推链接投了，一般几天收到拒信啊，还是直接没有

更新了 boss 信息，这几天二三十个外包和 500 人以下的小公司打招呼，80%外包，中软、软通、博彦啥的，还有晚上十一点打招呼的，太辛苦了。
主动打招呼十几个，绝大部分未读，就一个面试，等反馈呢，估计悬
试水体验，寒气逼人

长耗时指多久，分钟级别还是小时级别？
这个可以参考下 https://github.com/RandyDeng/rq-docker-supervisor
supervisor 比较适合托管后台任务
如果并行任务是 CPU 密集型

换种思路，也许可以考虑 lambda function

请问会卡学历不，双非

先举报他，他要补税，其余走法律流程

之前看的 V 站一个老哥回帖说，他们公司 MySQL 内存给几十上百 TB ，缓存开到最大，基本上数据都在内存里了

楼主你的场景和痛点没详细描述，不大好给你建议

找个 SQL Builder 库

现在豆瓣苏州租房小组里每个帖子下面都是一堆中介，烦得一批，我都一直以为现在是租方市场

可以补充：
1. 数据量级预估
2. 更新频率
3. 数据库选型

一：
classesCount 和 studentsCount 可以单独建表存
二：
补充一下

@djoiwhud #96 #96 已经有不少公司嗅到商机准备赚第一波钱了，找出推动当地产业升级有潜力的企业，大厂纷纷下场

请问有交流群吗，对这个方向比较感兴趣，想了解了解业内资讯

好哎，我打算明年这个时候裸辞修整半年，到时候存的公积金够一年房贷了，攒点钱日常开销
不过到时候看看这段时间自制力怎样，平时有没有好好认真坚持学习，没有就算了，不上班也不会就怎么多认真学习