金头条 - 股票即时新闻爬虫

[vitovan]

跳过正文：

http://new.jtoutiao.com

公众号：

预览：

能干啥：

• 添加自选股，获得即时新闻。

• 其他附加功能（全网热点、限售解禁预警、机构内参、异动个股等等）

技术栈：

• 爬虫: Python 3 - Celery - re2 - BS4 - Supervisord - Elixir

• 后端: Python 3 - Tornado - PostgreSQL

• 前端: Angular 2 - SystemJS

项目状态：

beta ，服务器随时挂掉 :-D

缺钱、缺人，聊一聊？邮件(base64)： YXdlc29tZXZpdG9AbGl2ZS5jb20=

技术坑：

• Angular 2 毛病多多呀，用作 Production 很是费劲：

  • Pros:

    • TypeScript, 好用。
    • Observable， 好用。

  • Cons:

    • Bug: OnInit not fired when using Safari's back button iOS 不能后退 貌似 Fixed
    • feat(router): implement otherwise/routeNotFound hook #2965 不能设置 404 ，现在状态不清楚
    • Angular 2 dynamic tabs with user-click chosen components 想动态创建一下 innerHTML ，难得要命。
    • Angular Universal 你要是用了个 Python 后端就还是算了吧

  • 总结：如果上天再给我一次机会，我会选择用 React，即使 JSX 让人相当讨厌。

• PostgreSQL

  • 想不起来有什么可吐槽的，就是 XX 云的 RDS 太贵了，性能也不敢恭维。

• Celery

  • Pros: 爽！分布式任务调度，加上 Flower 这个控制台，很方便呀~
  • Cons: 我是不知道为什么， worker 莫名的就那么消失了，要不然也不会非要再用什么 Supervisord 。

• Tornado

  • Pros: @gen.coroutine 好用！
  • Cons: 没什么不好的，刚接触 ioloop 概念的时候很不适应，这个是 Tornado 自创的么（挖鼻孔）？

• Elixir

  • Pros: erlang 美化版，好用呀~ 文档什么的也赞爆了：Kernel – Elixir v1.3.2。
  • Cons: 不知道为什么写着写着就恶心了，感觉语言中人为干预的太多了，预设模式太多了。可能设计出来的语言就有这毛病吧。尤其是用Postgrex这个库的时候越用越难受，也说不上为啥。
  • 总结：瞎折腾这些新鲜玩意儿，有这功夫咋不用 Java 呢？咋不去上天呢？

讨论：

大家有啥想聊的一起聊一聊，瞎吵吵架呗~

[vimffs]

感谢分享！ 1024

[GreatMartial]

一个人做的吗？

[GhostEX]

新闻抓取的范围是哪些网站？

[shaohuifan]

楼主，想找人一起玩？

[vitovan]

r#2 @GreatMartial 一个技术(Me)+ 一个产品兼前端(Partener)

[vitovan]

r#3 @GhostEX 这......几乎全网的中文金融网站吧，大大小小一百多个。

[vitovan]

r#4 @shaohuifan 不知道呀，缺钱缺人的迷茫期么，发上来随便聊聊。

[tkpc]

@vitovan 和选股宝　华尔街见闻的　差异点在哪呢
从网站没看出来

[vitovan]

r#8 @tkpc 哈哈哈哈！哈哈哈哈！

我竟无言以对（转身捂脸状）。

[shaohuifan]

@vitovan 现在股市不好，把期货带上吧

[vitovan]

r#10 @shaohuifan 期货是不是新闻不多？

[duolai798]

这东西是创业路子吗？感觉离实用还很远，怎么熬到赚钱的时间点是个问题。如果只是玩玩基本上只能自己玩玩了。

[GhostEX]

@duolai798 大多数类似创业项目都是不盈利的....

[GreatMartial]

@vitovan 不容易，支持楼主。 不知道你们的产品和其他家比优势在哪呢？

[vitovan]

r#14 @GreatMartial 哈哈哈哈~我也说不上来呀，或许是不上心吧，也不是在用生命去做这件事，成不成随便了~

[xujif]

我们也在做这个

[vitovan]

r#16 @xujif 自己烧钱呢？

[duolai798]

@vitovan 创业项目不盈利不代表没有规划如何盈利以及在哪个时间点盈利 你这个只能算是玩票性质 如果没有经验 这东西基本做不下去 这类 2C 的产品前期就是要做用户量 估计你等不到那一天就没兴趣和信心了

[GreatMartial]

@vitovan 额，股市数据的集合类应用应该很多了。
如果你们能加上数据分析，通过数据给小白荐股，还是有市场的。
不过估计技术方面相当难了， 2333

可以换个思路，有没有兴趣做个足彩的数据聚合，通过历史数据分析，然后给用户推荐购买，这个比起你们现在的项目，可行性更高，而且有市场空白，个人觉得。

[vitovan]

r#18 @duolai798 我觉得，你讲得很对。

[vitovan]

r#19 @GreatMartial 足彩不跟国内股票一样是瞎胡闹么？不知道有没有实用价值呀（对彩民）？

[tkpc]

@vitovan 足彩就是骗局 在冠军杯期间就看出来了 赔率高的大热门的队都输掉了 伤心的不要不要的 而且还是国内足彩 你懂的...

[tkpc]

@GreatMartial 足彩类的才多 你以为 500.com 怎么来的

[GreatMartial]

@vitovan 我有朋友玩足彩，而且足彩有很多人是玩外盘，赔率比国内良心很多。
有人分析，足彩的庄家设计赔率，通过动态调整，引导用户，保证有一个大概率的收益平衡，而且收益率远没有摇号的彩票那么高。
一个单场一定有赢的玩家，规模化的输多赢少，庄家就有了稳定的收益了。
如果能做到跟着庄家走，赚钱的概率应该就很稳定了。
以上是我的个人理解，求各位轻拍。

[GreatMartial]

@tkpc 我知道 500 ，没有用过，不知道有没有推荐的业务...

[mahone3297]

@vitovan >这......几乎全网的中文金融网站吧，大大小小一百多个。
请教，这么多网站，一个个抓？累不累？

[tony1016]

不好意思，我一点，不小心点挂了

[yakiang]

话说为什么国内不同股票网站会有不同的交易数据呢，比如新浪、同花顺、东方财富等网站对于同一支股票的大单交易的明细和数量是不同的，都不知道哪个靠谱了

[noder]

为什么不试试 riotjs

[vitovan]

r#27 @tony1016 哈哈，不碍事~

[vitovan]

r#28 @yakiang 时间差问题吧~很难说谁的更及时。

[vitovan]

r#29 @noder 没用过，去看看。

[vitovan]

r#26 @mahone3297 还好吧，写好每个网站的适配模型，平时维护一下就好了，网站不改版或者改变防抓策略的话，维护工作不算大。

[ob]

不错啊，只支持 a 股？

[vitovan]

r#34 @ob 嗯~

[xujif]

@vitovan 老板掏钱，不要荐股，有法律风险

[vitovan]

r#36 @xujif 多谢。

[yfmir]

@GreatMartial 其实有这东西了，硬广一下，球球是道

[GreatMartial]

@yfmir 额，我去关注一下，谢谢

[aaronrzh]

关注一下

[kunee]

没看懂价值在哪里？