寻找技术顾问： Elasticsearch、Android 底层、Kafka、Minio、分布式爬虫、Ansible

[sunchuo]

Hi

不好意思打扰大家了。

是这样的：因为公司业务发展还算挺快，我们已达到能力天花板又智商不行。学习新的东西很慢，从不知道怎么搞，到大概知道怎么搞但是又没搞过，搞出来了又遇到各种各样的小问题去各种解决。

整个过程充满选择纠结、认知不全面的不安、各种小问题一个接着一个的烦躁。精力都花在架构上而不是业务。 所以希望能在我们需要的一些领域里，找到 1 ～ n 个技术顾问。能够指导我们针对业务场景提供方案，指导快速上手，遇到问题给个思路。

这些领域包括：

Android 偏底层，反编译看同类的技术实现思路、保活、提升推送到达率、反反编译等。

Elasticsearch，部署、配置、参数调优，中文支持，拼音搜索、首字母搜索、同义词搜索、纠错等。

Kafka，部署、配置、参数调优。

Minio，分布式部署、多域名、多用户，每个用户存储空间、请求数、流量、带宽统计。

分布式爬虫，如何设计分布式爬虫支持多种语言的 worker 。

Ansible，服务器初始化（升级、防火墙、sshd 修改），部署代码。

PHP Swoole，如何用 swoole 写出虽然不快但是比也不太慢的代码。

Q&A：

问：你们大部分问题云服务都完美解决了，还免运维，为啥要自己折腾？

答：成本，我们在机房租用一台机器相同硬件性能（配置不准云会超售）、带宽的情况下，云服务成本大概是 20 倍。

问：怎么个合作方式？

答：1. 加好友。2. 说一下自己非常擅长哪方面。3.遇到问题就问您，并且说明想要什么样的结果。4. 您如果足够胜任，评估一下要多久，想要多少钱。5. 同意。6. 您给解决问题的文档。7. 付钱。8. 文档不理解的地方可能麻烦您解释一下。9. 问题解决。 如果中间有各种各样的原因导致没成功走到 9，希望买卖不成仁义在，继续做好友，下次遇到问题从 3 继续开始走。

问：合作会持续多久？

答：取决于 我们业务，您，谁扛得久。取小值。

问：不好意思谈钱怎么办？

答：您一天工资是多少，正常上班，去掉摸鱼时间，去掉和产品经理扯皮的时间。每天有效工作时间也就 2 ～ 3 小时。您解决我们的问题需要多少个 2 ～ 3 小时，就当多少天。

问：你们有钱么？

答：紧巴巴的，不然就招全职了。

问：这种人不屑于赚你这种小钱。

答：我相信乐于助人是主因，认识几个新朋友为辅。零花钱只是.....。让知识有尊严。

问：找不到顾问怎么办？

答：一边自己继续慢慢扣脑袋学。一边继续找。

问：你微信多少？

答：sunchuo

[asuraa]

你这就是 又不想给云厂商钱搞定基础设施
又不想自己花钱招人搞定基础设施

[mepwang]

即使放在十几年以前，一个能从解决方案到底层都精通的顾问，一天也得一万块。算下来还是云服务更便宜呢

[JosephHan]

我在公司就是干这些的，年薪合人民币 20 万外加公司给包全家移民。所以你觉得给多少时薪才好意思招这个职能的顾问？我劝你们还不如直接上公共云。

[cloudhuang]

> 云服务成本大概是 20 倍

[cloudhuang]

> 云服务成本大概是 20 倍
V 的这个编辑器。
其实建议还是上云服务器，因为这个成本是确定的，比如就是 20 倍。但是兼职的问题不提，其隐形成本是不固定的，比如时间，方案的准确性，可靠性等等，这就不单单是钱的问题了。(如果有靠谱的朋友，推荐靠谱的人，则相对来说会好一些。但是这个靠谱，无法准确定义和准确评估)

[Yano]

@luodaoyi 一语中的

[lancelee01]

需要 ClickHoues 顾问吗[doge]

[rrfeng]

es kafka ansible 可接

[huruwo]

楼上的看清楚 虽然云服务可以解决一部分但是这个

Android 偏底层怎么云服务
分布式爬虫架构搭建怎么云服务

云服务不是万能药 关键还是要上真人

[sunchuo]

@luodaoyi
@Yano
我没有任何想省钱、捡便宜的想法。请仔细看 Q&A 部分。
我们只需要指导、让我们少走弯路、快速学会。不是找人帮我们干活。

@mepwang
坦诚地说，我们在机房的机器硬件免费，只需要付带宽钱。10G 在各大云要多少一个月知道不？


@JosephHan
我给顾问付钱的算法在 Q&A 里讲的很清楚了：2 ～ 3 小时当成一个工作日付日薪。这个价格我挺好意思的。
羡慕你年薪 20 万，祝你越涨越多。

--------

@cloudhuang 以我的经验来看，怼机器是最好的办法。作为一群老人我们有丰富的落后技术的经验。只是学习能力变弱了。👀 所以想找个人帮我们少走弯路。


@lancelee01 不太了解 ClickHoues，我们是 10 亿级数据，每行大概 600k 。需要全文索引。需要更新操作。



@rrfeng 能麻烦您加一下我微信嘛？感谢！


@huruwo 感谢。

[lancelee01]

ClickHouse 是一个 MPP 架构的列式数据库管理系统，适用于数据不可变，聚合分析操作的场景。一般用于 BI，以及基于 BI 衍生出来的数据分析场景，比如风控、游戏数据分析等。

[vus520]

大规模数据，自建 IDC 的成本远低于上云的成本。

[mumubin]

我司疫情期间自建数据中心不够用了，买了 aws 的服务，一个月 100w 刀。服务是真的贵，不过各方面做的是真的好

[hantsy]

这个基础设施搞好，不容易。加油啦。

话说回来，国内的云不如自己搞。

[westoy]

没戏， 真的

大家都知道， 其实一天能集中精力干活儿的也就几个小时， 兼职顾问不可能持续性的投入精力跟进你们项目

而且双方避嫌， 肯定要业务脱敏的啊， 这种偏底层偏架构的一旦脱离业务和规模， 很难针对性解决问题

单一两个方面， 双方克服一下困难也就算了， 你这边是全面开花了

[firefox12]

他的需求不是用云可以解决的， 云完成的是基础架构。 他的需求不是搭建个 es 这么简单，需要在这个领域有很多经验可以迅速解决问题的。里面任何一个点都是一道面试题。而且 他的问题是很实际的，没有实际解决过类似问题的人多半是搞不定的。

[firefox12]

从问题上 可以看出他们的需求都是可扩展性的点，简单的说 是要这个项目的 cto, 高速 指导大家绕过所有的坑，快速的上线整个项目，保证这个项目可持续的发展。 因为他说了 他们是一群有技术的人， 准确的说 他们有一些经验，但是这些经验要支持他们从现在的量级 向 2 个量级以后扩展可能不够。 他们目前是 10 亿，他们可能要的是直接上 1000 亿的 这条路。

[undeflife]

minio 那条 你这不就是要在 minio 上实现 S3 吗？

[hotsymbol]

这不是典型的白嫖心理吗。就是不用云服务。就是要用本地服务器。因为便宜。招个人来。给多少钱都行。一般是一开始给一点钱。后面就是维护。不给钱了。再要钱就会告诉你。你现在遇到的问题不就是你前面没有解决的吗？目测这个老板是做销售的出身。想要花最少的钱。做最多的事

[RangerWolf]

很有诚意的帖子，赞一个楼主！
祝你们越走越远，原来越顺利！

[RangerWolf]

啊啊啊 打错字， 越来越顺利。。。

[YouLMAO]

楼主我都会，但最少你表示最低价格吧，否则万一差 50 倍就白聊了

[AkideLiu]

隐约觉得不是缺钱，而是存在法律风险。
10g 带宽，10 亿数据，爬虫+反编译。

瞎说的，勿喷 /doge

[jwangkun]

@lancelee01 我们可以交流一下，我们公司目前正在大规模的使用

[sunchuo]

@firefox12 👍

[buliugu]

Minio 分布式部署的需求基本上可以用 k8s 部署来解决，不过自带的 Prometheus metrics 只有实例数据，每个租户给独立 minio 集群嘛？

[lyc1116]

Elasticsearch 的需求这个不是上云对机器能解决的，中文支持->中文分词(机械，字典等)，实时索引，首字母搜索->doc 量大需要优化 wildcard query，纠错->speelcheck 索引，后面可能还需要优化召回和排序。

[sunchuo]

@lyc1116 👍

[calmzhu]

其他不评论。
不过 20 倍成本这个认真的吗，不带这么尬黑的。
阿里云 2vCpu 8G 内存 5M 固定带宽的月租是 387. 所以你们一个月同样服务器成本是 19 块？

服务器功率全部按接近待机的功率算 200W 。一个月大概 0.2Kw * 720h = 144 kwh 。每度电两毛。电厂现在已经这么丧心病狂了么。

[sunchuo]

@calmzhu

虽然你抬杠的角度刁钻并且很有道理的样子。但是仔细看我 10 楼的回复。
我们服务器的配置基本上是你说的配置每一项乘以 16 or 8 。

👀

[calmzhu]

@sunchuo
我已经算你们的服务器硬件成本为零 了。配置乘多少差别不大。

你看看服务器的功算算电费就可以了。这还没算数据中心的空调。

真建数据中心，服务器本身硬件费用并不是大头。

羡慕你杠的无知

[calmzhu]

@calmzhu

自建机房的成本。服务器硬件+服务人力+ 服务器电费消耗+空调电费消耗。前两者已经给你抹了当零算了。只要开机算，电费就会超过云的二十分之一

[calmzhu]

@calmzhu
真建数据中心，服务器本身硬件费用并不是大头。这句话说错了。是想表达，并没有比其他费用高出一个数量级的程度

[calmzhu]

@sunchuo

有一点确实看错了。也不是自建数据中心。而是整租机柜或者单个机位。所以不考虑电费。

按照我们之前租的电信机房整机柜。销售谈过的价格是 6w/年。每组机柜 13 台 2U 48 核 256G 服务器插满。每台每个月成本大概是 384.6 元.差不多也就是机房电费了。

阿里云上 256G 内存没有 48vCPU,按通用型 ecs.g5.16xlarge 32vCPU 单月购买价格的 20 分之一大概是 400.这大概就算你算的大概 20 倍成本的数据来源吧。但是请注意这是只购买一个月一台直接下款的价格。有量有长期谈一下轻松减半（官方直售超三年都是直接半价）

[lancelee01]

@jwangkun 可以呀，WX：bGFuY2VsZWVkZXY=