V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
ZoeYn
V2EX  ›  Python

走爬虫好还是走后端好?

  •  
  •   ZoeYn · 2021-06-28 13:41:20 +08:00 · 5350 次点击
    这是一个创建于 1004 天前的主题,其中的信息可能已经有所发展或是发生改变。

    python 工作一年了,做过爬虫和小网站

    python 用来爬虫看起来比后端合理?但是以目前的能力阶段可能会更喜欢后端一点,但是仿佛又存在 python 做后端的就业环境,如果做后端是否要转语言呢?

    36 条回复    2021-07-02 10:40:27 +08:00
    wzymmy
        1
    wzymmy  
       2021-06-28 13:43:15 +08:00 via iPhone   ❤️ 14
    爬虫写的好,牢饭吃得早(口胡)
    herich
        2
    herich  
       2021-06-28 13:50:44 +08:00
    我刚开始做过一年左右的爬虫, 后来业务需要用 go 写后端去了,这条路子非常适合现在的你
    yitingbai
        3
    yitingbai  
       2021-06-28 13:56:25 +08:00   ❤️ 1
    后端是 Java 的天下, 虽然有很多人不愿意承认
    Morriaty
        4
    Morriaty  
       2021-06-28 14:23:43 +08:00
    我一直不理解,除了百度、头条爬虫这种级别,其他什么类型的公司需要一个专职做爬虫的岗位...往往说是爬虫工程师,都或多或少带点 web 后端的工作(写个页面展示数据)吧?
    MarkLeeyun
        5
    MarkLeeyun  
       2021-06-28 14:37:15 +08:00
    爬虫不行。后端吧。。。。
    Fenglin0721
        6
    Fenglin0721  
       2021-06-28 14:53:38 +08:00
    走后端,和爬虫不完全冲突,后端方面更广,建议后端。单单做爬虫就把格局做小了
    TAFMT
        7
    TAFMT  
       2021-06-28 18:00:43 +08:00
    我大学是学爬虫的,现在转到后端了。。。
    3dwelcome
        8
    3dwelcome  
       2021-06-28 18:03:01 +08:00
    后端好一些,爬虫每天就是在电脑面前发呆,等着下载进度。

    还要看天吃饭,万一有一天官方不开心封你号,凭空又多一堆麻烦事。
    fire2y
        9
    fire2y  
       2021-06-28 18:06:06 +08:00
    不能做单一的 开始我也是会爬虫 后面公司倒闭了 发现自己只会爬虫 单独爬虫的公司又很少 所以还是建议最起码的后端是要会的
    czfy
        10
    czfy  
       2021-06-28 18:15:19 +08:00
    从长远来看,肯定是走后端好的
    从短期来看,爬虫短时间内工资可能会开得比较高,但风险也更高
    Jooooooooo
        11
    Jooooooooo  
       2021-06-28 20:07:48 +08:00
    后端肯定天花板更高
    no1xsyzy
        12
    no1xsyzy  
       2021-06-28 20:12:07 +08:00   ❤️ 1
    @yitingbai 如果你不确定自己想做什么东西,请使用 Java 。这是一种糟糕的编程语言,但几乎无所不能。
    tumaowolf
        13
    tumaowolf  
       2021-06-28 21:10:02 +08:00 via Android   ❤️ 1
    重要的是 java 吗?重要的是 spring boot
    aru
        14
    aru  
       2021-06-28 21:22:13 +08:00
    还有考虑?肯定是后端啊
    auh
        15
    auh  
       2021-06-28 23:08:54 +08:00
    后端简单,爬虫水深
    zhangxh1023
        16
    zhangxh1023  
       2021-06-28 23:15:56 +08:00
    小爬虫已经转行 java 了。。。。真不行这行当
    ipwx
        17
    ipwx  
       2021-06-28 23:30:54 +08:00
    @Morriaty 数据分析的岗位很可能需要爬虫。比如,做量化投资。。。
    ipwx
        18
    ipwx  
       2021-06-28 23:31:59 +08:00
    不过其实这种公司需要的不仅仅是爬虫,还需要这个岗位的人运维数据库、还要有一点点数据分析的能力才行。那这种岗位肯定是 Python 没跑了。
    HankLu
        19
    HankLu  
       2021-06-29 00:41:06 +08:00
    宁要后端一棵草,不要爬虫一枝花
    luo31
        20
    luo31  
       2021-06-29 00:48:06 +08:00 via Android
    爬虫好
    kingfalse
        21
    kingfalse  
       2021-06-29 09:34:01 +08:00
    能转就早点转,不然后面会发现路越走越窄了.前车之鉴
    Nich0la5
        22
    Nich0la5  
       2021-06-29 11:11:28 +08:00
    大公司 python 要的少 转 java 后端了
    Morriaty
        23
    Morriaty  
       2021-06-29 11:37:08 +08:00
    @ipwx 对的,我的意思是相对于百度爬虫工程师,这种小爬虫工程师更应该称为数据分析工程师吧,核心技能点时 excel 、pandas 和业务理解吧
    Morriaty
        24
    Morriaty  
       2021-06-29 11:39:22 +08:00
    在明确下,如果是大规模爬虫,我觉得还是很有钱途的,核心技能点是大规模队列、分布式数据库
    WilliamYang
        25
    WilliamYang  
       2021-06-29 15:34:36 +08:00
    有人曾经问我,工作里面遇到哪些计算机相关的难题是最难解决的,是分布式,高并发吗,人工智能?我告诉他,这些都不是,爬虫比这些难多了,上面的问题,再难都可以解决,解决了就是解决了,而爬虫,今天弄好的完美的方案,明天就被改了,突然间要排查发生了什么问题,是自己的还是对方的,如果是对方的,又要知道对方更新了什么,知道了又要改,最后周末还在加班都不一定搞完。所以再高工资都没用,根本就不是自己能控制的,写一个自己不能控制稳定运行的程序有意思吗
    linyuyizhizou
        26
    linyuyizhizou  
       2021-06-29 16:56:24 +08:00
    @WilliamYang 爬虫具有对抗性,让工作充满挑战和趣味。=。=
    wuwukai007
        27
    wuwukai007  
       2021-06-29 17:01:04 +08:00
    杭州那边爬虫招的蛮多的
    ch2
        28
    ch2  
       2021-06-29 17:04:51 +08:00   ❤️ 1
    反爬虫只需要做到让月薪一两万的觉得难度大不合算就够了
    就是因为对付实力更强的有法律武器
    没几个人有月薪三四万的技术能力还去做爬虫的
    有这种实力的人去干爬虫,干得好反手就是一个坐牢
    干后端照样能挣得不少还安全,你说你选哪一个
    wy9899
        29
    wy9899  
       2021-06-29 19:28:12 +08:00
    爬虫好
    xingzhi
        30
    xingzhi  
       2021-06-30 01:46:41 +08:00
    爬虫只能说是研发的一小块分支,即便是大规模分布式爬虫,用到的大部分也是后端的知识。
    爬虫的对抗性问题,更重要的是观察和分析的能力,以及思维是否灵活,来来去去就那些套路而已。
    ZoeYn
        31
    ZoeYn  
    OP
       2021-06-30 09:08:22 +08:00
    @kingfalse 越走越窄的意思是....愿闻其详
    ZoeYn
        32
    ZoeYn  
    OP
       2021-06-30 09:10:07 +08:00
    @WilliamYang 你说到我心坎儿去了。。。。
    flytsuki
        33
    flytsuki  
       2021-06-30 09:35:36 +08:00
    爬虫容易入狱吧
    SpiderXiantang
        34
    SpiderXiantang  
       2021-06-30 14:29:11 +08:00
    后端
    DogMingDD
        35
    DogMingDD  
       2021-06-30 17:58:37 +08:00
    去搞机器学习呀
    zh584728
        36
    zh584728  
       2021-07-02 10:40:27 +08:00
    我就不一样了,我想走前端
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1486 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 17:19 · PVG 01:19 · LAX 10:19 · JFK 13:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.