V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  fiht  ›  全部回复第 13 页 / 共 42 页
回复总数  833
1 ... 9  10  11  12  13  14  15  16  17  18 ... 42  
2018-12-03 18:35:23 +08:00
回复了 sagaxu 创建的主题 Python Python 爬虫改成 go,性能提高 5 倍?
@xiaqi 首先 Python 性能不如 go 是事实你得要承认... 才能继续这个对话
2018-12-03 12:41:27 +08:00
回复了 sagaxu 创建的主题 Python Python 爬虫改成 go,性能提高 5 倍?
实习的时候写了将近一年的爬虫,大概有这么一点感悟。
在做定向爬虫到时候,比如说抓一抓机票网站的价格,需要突破一些反爬虫机制,或者需要使用无头浏览器做渲染。这种场景下语言不存在性能瓶颈,瓶颈在于对方的服务器压力和反爬虫机制。这种场景适合使用 Python。
但是在做广度爬虫的时候,Python 就不适用了,就像楼上讲的 scrapy 单核跑满的问题。在这个场景下使用 Python 会带来很多的问题,比如说为了解决只有单核跑完的问题就需要起多个 scrapy 实例,为了让这多个 scrapy 实例协同工作就需要引入一个消息队列,整个系统的耦合度就复杂了不少。用 golang 来做的话就方便很多。几个爬行时的 goroutine 和几个 pipeline 的 goroutine,整个系统就能稳定地运转起来。这是 Python 所不能达到的。
2018-11-26 00:06:31 +08:00
回复了 Allenqjy 创建的主题 分享创造 搭建了一个 gitlab,可以帮大家备份一下代码
挖个坟:“好了,已经挂了”
2018-11-19 23:27:46 +08:00
回复了 zhouyut001 创建的主题 Linux 吐槽一下全球全域端口扫描
不是能扫描到 10000+
而是 1 - 65525 扫 发送 HELLO 报文
然后根据返回的 banner 做匹配,识别运行的服务。 然后给 API 给黑客用。
所以不是每个黑客都是扫全网 1-65525 的
zoomeye、fofa、shodan 都是做这个的的
2018-11-08 22:19:18 +08:00
回复了 Luckyray 创建的主题 程序员 有点头疼,接个小活不知道怎么收费。
建议 * 2
朋友的朋友可能是 CEO 在和 “朋友”交流情感,“朋友” 在和 “朋友” 交流情感。
日后有合作再交朋友,没有合作不存在朋友关系。
2018-11-06 12:53:01 +08:00
回复了 pdog18 创建的主题 问与答 唱歌小白零技术,有什么班可以报?入门唱歌
去 live house 看演出也是一个好主意
拉低中奖率
2018-10-25 12:56:10 +08:00
回复了 eveqvq982 创建的主题 程序员 Google Keep 改版了! 昨天还是旧版! 跟新版 Gmail 很配!
2018-10-16 21:44:52 +08:00
回复了 lovesan 创建的主题 程序员 成为一个前端到底需要掌握多少技能?
随便找个 vue 的后台模板,删删改改看看效果,对着 elementUI 的官方文档学,不到一天我相信你就能写出像模像样的前端作品出来。
2018-10-09 12:35:37 +08:00
回复了 xyjtou 创建的主题 分享创造 [我短信] 帮您收发“短信”,保护手机号不泄露。
@xyjtou 还是建议加上验证码这个东西。
2018-10-09 09:19:43 +08:00
回复了 xyjtou 创建的主题 分享创造 [我短信] 帮您收发“短信”,保护手机号不泄露。
别人发送一个 HTTP POST 请求我就要损失一毛钱... 从长久来看是不太科学的。
不过确实好玩,能够解决痛点问题。
@ClutchBear 校友握爪
@webdisk 收到
Hi, 楼主你好:
感同身受,我也写了很多不靠谱的东西。后来知道了。写的东西一定要自己用得爽,自己用得爽是最不亏的。
比如说我的 termbin.cocommonscan.org
前方还有花和漂亮的小姑娘。
不要虚 不要怕
生命 和 理想。
和我牵挂着的一个在北方的小姑娘
如果你不会代码的话,没有学历加成找工作确实会比较麻烦。
我的建议是:
多写代码 参加到开源项目中去。
多写代码 参加到学校的项目中去。
多写代码 在学校的时候通过接外包养活自己。
减少去房地产公司的兼职,增加自己写代码的能力。会让你走得更远,以后赚得更多。
2018-09-29 21:41:07 +08:00
回复了 d0m2o08 创建的主题 程序员 自学了一段 flask,撸了一个简单的图床
鼓励!
给你点了个小星星。继续加油~~
1 ... 9  10  11  12  13  14  15  16  17  18 ... 42  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2748 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 15:21 · PVG 23:21 · LAX 08:21 · JFK 11:21
Developed with CodeLauncher
♥ Do have faith in what you're doing.