对冲基金求爬虫监测方面猛士，远程兼职年酬 10 万*N ！

[oldream]

各位技术猛士：

寻求一位搭档，帮忙监测几个网站的活跃度、交易量等。待跟踪数据都是在网页上有展示的公开数据，无须hack。能者不难，但求搭档。

要求：
技术能力强，搞定技术方面的各种问题，如多IP、验证码等；
自我驱动，自己发现问题解决问题，自我约束时间实现需求，自我驱动改进程序以匹配目标网站发展更新；
责任心强，细心周全，自我苛求抓取数据的正确、全面、客观；
易于沟通；
有一定的资源积累或相关经验，因为我无法帮你学习提高；
最好在上海，确实有能力&有诚意也可外地。

回报：
常年合作，兼职SOHO，薪酬月付。年终根据监测结果对相关投资决策的贡献，支付奖金，奖金将以人民币十万为单位。


背景说明及合作愿景：
对冲基金是最简单暴力的钱生钱的行业。华尔街上对冲基金行业年收入千万美元的从业者比比皆是，是顶级商学院学生工作首选目标。中国对冲基金行业尚处初期但正在高速发展。我有幸在一家实力强劲但也竞争激烈的基金工作，觉得十分有趣大有可为。若你是实力干将&合作愉快，将来(2~3年后)我自己做对冲基金时，诚邀合伙加入负责各项技术。届时您将轻松实现财务自由。

此次我是自己出资寻找长期搭档，你的酬劳将与我的投资组合收益相关，搭档关系，远非一般兼职可比，望你我自此结缘。

若有意，请邮件至：lixiangprime#foxmail.com
请简单介绍自己的教育及工作背景，详细介绍你的技术能力、合作意愿。

来信必复，春节后定下合作伙伴。

标题可能有误解。
基础酬劳按月支付，如果爬虫合适，可以月付1万。
年底奖金，10万 * N，取决于对我业绩的帮助。N从0到10吧，先。
其实做得好，酬劳真不是问题。

统一回复：

验证码，多IP等技术方面的问题：
我只是提出来而已，因为这些问题我不懂，需要你自己解决。我不希望，到时候你和我说，因为有验证码做不了了，或者因为IP被封做不了了。发现问题解决问题的人，才是被欣赏和珍惜的。实际需求中也不一定会遇到这些问题。

数据分析及验证问题：
我有第三方数据公司提供的付费报告，只是这些报告及时性不够（大概一个季度一期），且不是独家的，所有人看到的都一样，关系好的可能还能提前一周拿到。如果我的决策都是基于这些报告，我也就分分钟可以滚蛋了。
我也有一些目标公司业务线的朋友，偶尔问些经营情况，同行相互交流，大概的数也差不了太多。
这些口径的数，都将和通过爬虫获取的数交叉对比。一段时间下来，就知道爬虫的数靠谱不靠谱，该如何修正。
数据分析这些，当然，都是我必须自己做的。

另：
收到一些邮件，抱歉，今天是我年前最后一个工作日，比较忙。邮件稍晚回复。
倾向于BAT或其他互联网公司工作的朋友，这样我们很容易会有共同的圈子，有利于我们以后长期合作。


感谢大家的兴趣。
顺祝春节快乐！

[oldream]

为什么一个回复都没有？我哪里写的有问题么？
这个网站是我3年前还在做风投时留意过的，现在人气不在了么？

plus
我知道很多技术大拿都对金钱无所谓。其实，用技术和眼光赚钱，是一件很有成就感的事情；然后用钱做更多有意义的帮助社会的事情，是一件乐事。

[binux]

『薪酬月付。年终根据监测结果对相关投资决策的贡献，支付奖金』
薪酬 到底多少

[DearMark]

没贡献，没钱拿。

[GTim]

先发最难的监测网站出来，大家可以评估下难度

[oldream]

@binux 1万怎样？

[oldream]

@DearMark 月付基础工资

[oldream]

@GTim how about Jumei.com?

[threezhiwang]

诶，其实抓回来还得滤噪声，还得合理建模
还有一个只差程序猿的梗

[oldream]

@threezhiwang 什么梗？

[leo108]

@oldream 我有一个改变世界的创业想法，就差一个程序猿来写代码实现了

[oldream]

@leo108 呃。。。我写过这么煞笔的话？那时刚毕业，做VC，确实不现实，太搞笑。。。
现在靠谱了一点点。。。

[GTim]

@oldream 这是聚美啊

[leo108]

@oldream 擦，手抖点成感谢……我只是给你解释一下这个梗，没有说你说的符合这个梗

[oldream]

@GTim 是啊

[GTim]

@oldream 当我没问，哈...

[oldream]

@GTim 搞不定还是太简单？

[Gauin]

@oldream 牛逼 看了下 你2012年毕业还真做过VC啊

[oldream]

@leo108 你说的吓我一跳。。。我也觉得我以前也不至于那么煞笔。。。

[oldream]

@Gauin 做过VC有啥牛逼 做过VC还不做了做HF，才牛逼。。。哈哈哈 做VC很煞笔的 我投的企业美国上市了，我也没分到什么钱，做HF就不同了，每年分钱的

[oldream]

@oldream and，我不是12年毕业的～ 我做过很多年VC的。。。

[JackBlack2006]

我只会看科技公司的季度财报, 还是美国硅谷几个公司, 搞对冲肯定是不行的 ...

[oldream]

@JackBlack2006 看季报访谈公司管理层 这些都是我的事 是我的工作 我需要的是一个靠谱的爬虫为我提供我想要的数据

[JackBlack2006]

@oldream 不好意思啊, 爬虫不是机器人么? Google 搜索不都是用的爬虫抓取网页内容么? 所以我看到一楼就觉得很困惑...

[oldream]

@JackBlack2006 你这句话让我很困惑。。。

[xiaoyaoking]

可以聊聊，爬虫天天在写，最大的一个爬Appstore的app排行，数据库55g。其他就是爬爬数据做做垃圾站神马的。

[oldream]

@xiaoyaoking 那太好了。给我发封邮件？

[pljhonglu]

我就是上来混脸熟的~LZ 咱俩头像。。。

[binux]

@oldream 价格不错，现在(我)就缺个决心。。

[oldream]

@pljhonglu 我每年11月15日看一遍这个电影 从06年到现在

[JackBlack2006]

@oldream 哈哈我只是来乱的, 你楼下那人看来不错, 祝你俩成功

是否能有人风投我, 我这辈子是不敢想了, 哈哈

[oldream]

@binux 缺什么决心？这是兼职，不用辞职搬家一堆乱七八糟的啊

[oldream]

@JackBlack2006 你做的项目如果靠谱 这年头 最不缺的就是风投 风投到处看项目 生怕错过了next big thing

[binux]

@oldream 兼职也没时间，要放弃别的项目。

[xiaoyaoking]

邮件已发，手机上的简单写了几句。 刚才也仔细看完了帖子，不过涉及验证码，月薪一万估计难招大神，毕竟ocr单一门水很深，不过可以花点钱买点服务来解决。

[oldream]

@binux 我被你的blog和技术唬到了。。。所以，sale下自己。如果你想给自己的生活工作状态埋下一些改变的可能性，你可以认真考虑下我的提议。

[binux]

@oldream 我已经埋了好多可能。。现在在看哪个会冒出来。。我会考虑的

[Catstyle]

mark
爬下来还得建模和过滤，工程不小

[tearsinchina]

在北京的可以么？
验证码的问题，花钱买服务可以解决
多ip，让人也要花钱买ip了
--
剩下的，技术都可以解决。
话说。从你的描述上看并不清楚采集下来数据，然后打算怎么办？可能这个才是最难的。

[nsa]

每个点给一个具体的参考标准。
More is different.

[JackBlack2006]

@oldream 我不这么认为, 因为我的项目不是科技行业的, 而且发展周期有点长

[fishlee]

监测的频率，验证码的复杂度，数据的应用这几个放面

[revir]

专业写爬虫的路过， 楼上有人说的对， 数据采集很简单， 难的是采集之后怎么处理。

[sumhat]

难点不是把数据爬下来，而是怎样解释数据。每个网站都要依可用数据分别建模，工程量不少。

[oldream]

@Catstyle 没那么复杂。。我只是把可能面临的困难写出来了

[oldream]

@tearsinchina 没那么复杂。。我只是把可能面临的困难写出来了 你给我发封邮件 如果已发就算了 收到的邮件我都回复了

[oldream]

@nsa 没明白你说的什么意思

[oldream]

@sumhat 没那么复杂 不需要复杂的建模 数据处理的需求我很清晰

[oldream]

@revir 没那么复杂 不需要复杂的建模 数据处理的需求我很清晰

[oldream]

@fishlee 频率一天一次 可能没什么验证码 数据基于我的需求分析生成excel即可

[lusin]

当你有这个数据了，发现已经有很多人用的比你的这个数据更全面更先进了

窃以为现在的世界，你想到的一个方法加头脑能赚大钱的，基本别人已经在使用很久了

[oldream]

@lusin 哈 最看不起你这种loser思维定式的 sorry～

[wecan]

@oldream 你这样说真损，人家也是好心，没必要吧

[lusin]

@oldream 谁是loser倒是不一定，哈哈哈

[lusin]

@oldream 不好打击你，这么赚钱的东西一年花个10万包底你不是loser是什么呢，哈哈哈哈

[lusin]

@lusin 做vc，投了个上市了，自己不是loser又是什么呢，哈哈哈哈哈

[oldream]

@wecan 确实没必要 只是我确实看不上这种看事情总是负面先上来的悲观心态的人

[lusin]

@oldream 招猛士，你来个10万起底，不觉得自己智商有点问题吗？

[lusin]

10*n n可能是0，笑的我不能睡觉啊

[romotc]

@lusin
@oldream 别吵了，俩不认识的人 何必太在乎别人说什么。
把我前天微信转的一句话再发出来一次：
我生命里最大的突破之一，就是我不再为比人对我的看法而担忧。此后，我真的能自由地做我认为对自己最好的事。只有在我们不需要外来的赞许时，才会变得自由。

[oldream]

@lusin 你这几句话，实在没什么逻辑，本来懒得回应，但我也觉得自己刚才言语失敬，解释两句。

爬虫自身并不会赚钱，看谁用。对冲基金赚钱 ＝ 本金 * 投资收益 * 业绩费。没有本金是扯淡。我做这个程序，是为了在我做投资决策的时候多一个数据维度，或者在拐点时提供及时的业绩预警。但是本质上，有没有这个程序，我的工作职责依然是要做出投资决策，这个数据维度本质上是辅助性的。and，我当然不指望10万搞定数据，我们基金每年买数据和研究报告的花费是千万级别的，但那是基金层面的 & 大的Fund投资圈通用的。我写得很清楚，我是个人出资找一个搭档，换个说法，我在给我自己找个助理，多一个数据维度。我还请了帮我处理文字整理类工作、摘要投行研究报告的助理，我还在很多消息源上有出资获得信息，这些都是我个人出资的。我是为了提高自己的综合能力以及释放自己的时间。当然了，你也可以觉得我是瞎折腾。

VC投项目上市了，不知道你为什么觉得是loser。做VC拿不到real money的，real money我是指千万美元为单位的，因为VCPE fund有8年的fund life，还有vesting，carry分配机制不健全，国内VC行业没几个人拿过carry的，除了top fund的executive manager，所以才有那么多大佬要自立门户，比如今天爆出来的刘二海离开君联自己创业。你爱信不信。HF是按年算的，年年分carry。隔行如隔山，看的出来你对VC不太懂 & 有点盲目崇拜。我是主动从Very Top VCPE fund出来的，你或者不信，或者不理解，没关系。

就解释这么多。对话语言不通，多说无益。

[lusin]

@oldream vc投项目上市是成功了，省略了（没分到钱），所以说loser
另v2ex明确不鼓励画饼，然后你这个饼也没画好

其它就多说无益

[oldream]

@lusin 你可能不知道&不理解，投资JD的兄弟，2006年投资，2013年离职，至今不知道分不分得到他应得的几千万美元的奖金的兄弟的情况吧？哈哈，还有投资58+VIPS，但现在离开DCM的兄弟。。。DCM更惨，global fund，中国区只有2个partner能分carry。VC分钱，需要等到Fund清算，再加上一系列IF满足。

当然了，他们都走了上自己能把握分钱机制的道路。

最后一句：嗯，我是Loser。100%。

[sNullp]

@oldream 本来不关我事，但是为了证明 v2ex 不仅仅有喷子，跑出来支持下 lz，希望不要被吓跑。

[zongwan]

@oldream
虽然不是搞这行的
不过从LZ这贴学到不少 关键词
感谢下

[Daddy]

@oldream 你到底是对冲投资，还是VC风投，两码事~
大概明白你意思，其实就是找个机器爬信息，保证能更快速度获利信息面的变化，避免后知后觉判断错误

[jiangzhuo]

原来写爬虫和数据建模写好了 还能干这个
这是在上学的时候完全想不到的啊

[wankaizhang]

@oldream，你好，我在BAT做过爬虫项目，也承担过创业公司10亿级别的爬虫设计研发，我想我们可以谈谈

[GeekGao]

目前在某上市的互联网金融公司做类似项目，不过签署了竞业禁止协议。(我估计啊，你要爬的数据源极有可能是包括我们的

[nsa]

@oldream 比如楼上几位说的，爬虫设计：10亿级别；数据源具体到哪些（这个先说出来有关系吗？）；总之，尽量具体。数据正确还是合适？怎么检验，有商业服务还是自己设计检验方法？需要数理统计，时序分析之类的专业知识吗？

[Stof]

其实听起来都蛮简单的，只是做起来有点难。

像楼主说的那些要求其实没必要都提出来，通过聊天就可以判断对方是否具备这种资质。
像“多IP”最基本的可以省略掉，“验证码”的话，有现成的方案，所以也不难。

[d0o0g]

专注爬虫三十年，楼主联系我

[fising]

@Stof 验证码绝对有难度。现有方案智能识别一些相对简单的验证码。

[Loker]

在做同样的东西！！

[wdlth]

但是公开的表面的东西很多都是虚假的数据，你确定通过公开的数据就能准确的分析么？

[nooper]

都别吵。哈哈。难点是消息确实会有相应。而不是抓到了消息但是没有资金流还是白搭。真正灵通的是别人早早的就比市场知道很多了。人家都有内部消息。外部的永远赶不上内部的。有很多消息是资金量涌入，那帮分析师在放个新闻出来晃晃。券商拉涨据说有人8月份就很清楚的不行了

[nooper]

我认识的大神都是靠择时和高频取得了超额回报率

[icinessz]

爬虫简单，常年手上一堆在跑，收集数据简单，后期分析楼主有考虑过么，这属于职责范围内不？而且看你提供的example，估计对时效性要求不高吧。

[fyooo]

不明觉厉

[youyang]

看着好诱惑 ( ⊙ o ⊙ )啊！

[kingname]

常年scrapy+redis +MongoDB 爬虫在跑，最近刚学R语言。

[cyang]

曾在某比价网站工作,主要负责价格爬取,图片价格识别,数据维护等工作,和您提的要求较为符合,简历已发您邮箱,请查收

[lerry]

@romotc 求问图片出处，谢谢~

[xunyu]

jumei这个很好爬，正式的网站是哪些呢？

[eary]

听起来楼主应该是私募操盘手吧。

[surefire]

不明觉厉，帮顶

[Yannis1990]

@romotc 赞那句话，麻烦问下出处

[oldream]

@sNullp 哇塞 所以 您这是大佬来了的节奏么？

[oldream]

@zongwan thanks～

[oldream]

@wankaizhang 好的 麻烦给我发封邮件

[oldream]

@GeekGao 哈哈 听上去你们的数据不好爬

[oldream]

@nsa 比如楼上几位说的，爬虫设计：10亿级别；数据源具体到哪些（这个先说出来有关系吗？）；总之，尽量具体。数据正确还是合适？怎么检验，有商业服务还是自己设计检验方法？需要数理统计，时序分析之类的专业知识吗？

--

数据量级，有大有小，最难的目标公司，可能要到10亿级别。但我不是要照搬别人的数据，我需要的是统一口径的统计数据，理论上是可以找到巧妙的方法的。
数据正确和合适，这个不矛盾吧？
检验倒简单了，我日常工作，就是会通过访谈、沟通知道一些数据的。其实大概季报前一个月，这个季报的大概情况，机构投资者，都是知道大概的。只是有时候，消息源会混乱。但是有数据了，cross check一下，也就知道个差不多了。
数理统计、时序分析这些，应该都是不需要的。

[oldream]

@nsa
数据量级，有大有小，最难的目标公司，可能要到10亿级别。但我不是要照搬别人的数据，我需要的是统一口径的统计数据，理论上是可以找到巧妙的方法的。
数据正确和合适，这个不矛盾吧？
检验倒简单了，我日常工作，就是会通过访谈、沟通知道一些数据的。其实大概季报前一个月，这个季报的大概情况，机构投资者，都是知道大概的。只是有时候，消息源会混乱。但是有数据了，cross check一下，也就知道个差不多了。
数理统计、时序分析这些，应该都是不需要的。

[Kabie]

取数据已经是最简单的一环了吧。。。

问题是要分析吧…………这是你自己来么。。。

[lbp0200]

mark，做过一些爬虫，有钱怎么都好说

[oldream]

@Stof 多谢指点，有兴趣可以聊一下

[oldream]

@Kabie 嗯 我自己来

[andy1987]

爬虫的话，曾经用nodejs和py做过，有想法总是好的，对于这个想法是不是能按照预定的路线发展那是另外一回事了，希望楼主能找到合意的拍档

[crazycookie]

无锡，可以约等于上海吧
已邮件

[frankzeng]

真好，心动了。数据取下来，可以展现成各种曲线，报表。加上一些算法，根据历史数据预测未来的相关的趋势，最好能做成智能的，帮你投资。

[mornlight]

看楼主发帖内容觉得是比较靠谱的，但需求和难度不够明确。
我是不敢接这样的活的，这楼后面回复的人里有一些爬虫高手应该能满足你。