推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 584 天前的主题，其中的信息可能已经有所发展或是发生改变。
本人大专，毕业一年了，心态真的有点爆炸，感觉失业了
 |
1
twor2 2023-04-13 08:26:02 +08:00
省钱+耐心
|
 |
2
dj721xHiAvbL11n0 2023-04-13 08:29:45 +08:00
放下身段，降低薪资要求
|
 |
3
tramm 2023-04-13 08:51:41 +08:00
还有专门的爬虫岗?这东西不都是兼着做的嘛
|
 |
4
tpxcer 2023-04-13 08:53:24 +08:00 via iPhone  1
这玩意都是正儿八经岗位顺带做的，哪里来专职
|
 |
5
hhhhhh123 2023-04-13 09:19:50 +08:00
个人觉得是你的经验太少了，现在这行情很少会招一年的
|
 |
6
karatsuba 2023-04-13 09:31:38 +08:00
爬虫专岗要求都很高，这玩意特别吃经验
大部分中小公司的爬虫都是兼着做的，没需求也没必要去招个专人 建议转语言或者找个小公司做后端开发猫着 |
 |
7
djoiwhud 2023-04-13 09:34:46 +08:00 via Android
专门盯着爬虫，很刑。
|
 |
8
1018ji 2023-04-13 09:39:04 +08:00
专职的都要做 APP ，不做 APP 很难
|
 |
9
zzl22100048 2023-04-13 10:53:13 +08:00
极验 瑞数 加速乐 工商 司法 商标 专利 这几个随便会一个也不可能没公司要啊
|
 |
10
ugpu 2023-04-13 11:20:38 +08:00
爬虫转向岗位都是在地下 见不得光. 大机构 /集团 互相窃取数据 转私活来做的.不是正儿八经的方向.
顶多实现某个功能需要一些数据 然后去窃取.某个领导按时 CTO CTO 自己领会. CTO 也不傻.顺手要没心眼的人顺手做了就是. 万一爬虫写错了把人服务器爬崩了就是另一个故事了. 至于为什么 OP 会认为这是一个专项岗位？可能头铁进入了了头铁的公司 or 有背景的公司. |
 |
11
renmu 2023-04-13 11:28:26 +08:00 via Android
爬虫岗要求高，要会逆向，你得 java 熟，对 js 熟。
|
 |
12
Sum0l 2023-04-13 12:56:32 +08:00
楼上各位说的都是实话，一般都是公司内部兼职的，爬虫专岗发展方向有些受限，如果确实感兴趣，就需要深入研究搞逆向、网安方向了，但那不是“普通人”搞得了的
|
 |
13
xinJang 2023-04-13 12:58:10 +08:00
@zzl22100048 瑞数是扒还是 rpc 、无头这些
|
 |
14
westoy 2023-04-13 13:05:58 +08:00
@tramm
有的， 数据公司 像楼主在苏州的话， 苏州银行和控股的租赁公司就有很大一部分评估数据是找数据公司买的， 那这些公司就有专门的爬虫岗 实质上就是切割风险啊， 我只要数据， 数据怎么来的我不知道， 你不合规被查了你去坐牢呗........ |
|
15
zzl22100048 2023-04-13 14:06:24 +08:00
@xinJang 算法效率高很多
|
 |
16
leeraya 2023-04-13 14:16:42 +08:00
爬虫玩大了可以有稳定一日三餐
|
 |
17
wliansheng 2023-04-13 14:37:19 +08:00
转大数据吧，
|
 |
18
stillsilly 2023-04-13 14:50:11 +08:00
楼上没见过就是没有吗
我上家公司和现在的公司都有爬虫团队，专门写采集脚本和数据采集平台的，不止一个人哦，是一整个团队。 上家大概 3-5 个人，现在这家数据采集组有 10 来个人。 |
 |
19
ren2881971 2023-04-13 14:53:40 +08:00
爬虫违法吧。。。
|
 |
20
james2013 2023-04-13 14:59:21 +08:00
爬虫写的 6,牢饭吃的快
|
 |
21
bookbox 2023-04-13 15:29:14 +08:00
名硕欢迎你
|
 |
22
mumuy 2023-04-13 16:24:22 +08:00
爬虫门槛太低了。。。
|
 |
23
zpd2009 2023-04-13 16:32:42 +08:00 4
大部分人对爬虫的印象还停留在 web 阶段。
现在的爬虫要求 app 逆向，脱壳，ollvm ，vmp ，风控，是一个技术要求非常高的岗位。 另一方面，能搞定逆向，脱壳，ollvm ，vmp 以后很多人也不愿意做爬虫了。因为再往后就涉及到风控了，现在的风控对抗都是机器学习在高，风控对抗这个东西对技术的提升就没有了，还特别花时间。 |
 |
24
mxT52CRuqR6o5 2023-04-13 16:36:41 +08:00
@westoy 怪不得 chatgpt 替代不了程序员
|
 |
25
xiangagou 2023-04-14 09:13:35 +08:00
之前做过几个公司的爬虫项目,都是大项目空了顺手学了做的,法律风险很大,挺担惊受怕的.你这全职估计要精通 tcp,socket 二进制数据逆向才行吧.
|
 |
27
luzihang 2023-04-23 10:31:25 +08:00
如何设计可配置低代码的数据采集平台；
如何上千万上亿的数据如何更新、调度； 如何监控爬取的异常； 任务调度系统如何设计； 如何对很多杂的项目，任务进行管理； 数据常用组件的使用 es kafka hive mongo 等； 如何设计反爬策略，攻防思维 现在这个大环境，要求高，才能抓到符合需求的高质量数据。 |
Select Language