V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vincekang
V2EX  ›  推广

国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱: InfoSpider

  •  
  •   vincekang · 2020-08-29 11:07:43 +08:00 · 5809 次点击
    这是一个创建于 1307 天前的主题,其中的信息可能已经有所发展或是发生改变。

    国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱:InfoSpider

    其主要目的,在于帮助用户安全快捷的拿回自己的数据,并提供数据分析功能,基于用户数据生成图表文件,让用户能更直观、深入了解自己的信息。

    目前该工具箱支持了包括 GitHub 、知乎、B 站、以及各大知名邮箱与社交网站的用户数据爬取。

    Documentation:https://infospider.vercel.app

    GitHub:https://github.com/kangvcar/InfoSpider

    Video Demo:https://www.bilibili.com/video/BV14f4y1R7oF/

    29 条回复    2020-09-02 08:58:31 +08:00
    Ultraman
        1
    Ultraman  
       2020-08-29 12:18:21 +08:00 via Android   ❤️ 5
    你说的这个开发者究竟是不是你?
    是。
    waytoshine
        2
    waytoshine  
       2020-08-29 12:19:31 +08:00
    可以,Python 写的,学习学习
    hnbcinfo
        3
    hnbcinfo  
       2020-08-29 12:45:58 +08:00
    看了下名字,这个开发者不就是你吗
    luckyswag
        4
    luckyswag  
       2020-08-29 13:41:06 +08:00
    你可真是个小机灵鬼
    bigbigeggs
        5
    bigbigeggs  
       2020-08-29 13:42:04 +08:00
    这不就是推广?还能这样
    lazzyboy
        6
    lazzyboy  
       2020-08-29 14:10:49 +08:00   ❤️ 6
    哈哈,推广就推广,就先自己谢了一个项目,并开源了,还”国内一位开发者“,看了这样的标题,加上下面的评论,懒得点你发的链接。
    felixin
        7
    felixin  
       2020-08-29 14:37:41 +08:00 via Android
    建议用 pyinstaller 打包一下给小白用。

    另外,知乎账号支持爬自己匿名的内容吗
    felixin
        8
    felixin  
       2020-08-29 14:44:31 +08:00 via Android   ❤️ 2
    不要理会楼上这些阴阳怪气的,他们没什么成就的
    ylqhust
        9
    ylqhust  
       2020-08-29 15:18:33 +08:00
    快进到看守所拘留。
    lunatic5
        10
    lunatic5  
       2020-08-29 15:37:43 +08:00   ❤️ 1
    牛批。很有趣的项目,已博客转发分享
    winglight2016
        11
    winglight2016  
       2020-08-29 17:27:26 +08:00   ❤️ 1
    本来以为是又一个爬虫轮子,看了 GitHub 发现是下载个人信息?然而看了 bilibili 的介绍,我又迷茫了,为啥下载下来都是 json,内容还都是 utf-8 编码?

    麻烦 lz 整理一下输出 /爬取的具体内容,给个爬取后进行数据处理的应用场景例子,比如,QQ/微信聊天记录备份等等。

    很遗憾,目前支持的网站我感觉都用不上,希望 lz 能提供扩展教程。另外,目前这个 tk 做的 GUI,除了支持图标,还不如直接用命令行交互更直观。
    Whalko
        12
    Whalko  
       2020-08-29 18:14:50 +08:00   ❤️ 1
    装依赖那一步卡住了,Google 搜过是通病,而且好像不太容易解决。看到 issue 有人提,就是 Microsoft Visual C++ 14.0 is required. 这个
    ErwinCheung
        13
    ErwinCheung  
       2020-08-29 18:29:29 +08:00
    这不就是推广?还能这样
    vincekang
        14
    vincekang  
    OP
       2020-08-29 20:11:12 +08:00
    @lazzyboy 我都懒得回复你,这是一个开源项目,我只想让更多人看到自己的劳动成功,获得大家的认可,一起交流学习。不知道这是不是吃到你的瓜了?
    vincekang
        15
    vincekang  
    OP
       2020-08-29 20:12:02 +08:00
    @felixin 谢谢你的建议,我计划在下一个版本提供 web 端支持以适应多平台。
    vincekang
        16
    vincekang  
    OP
       2020-08-29 20:12:52 +08:00
    vincekang
        17
    vincekang  
    OP
       2020-08-29 20:14:35 +08:00
    @winglight2016 谢谢你的评论,发出来就是希望能看到你这样的讨论,你的建议非常棒!我会在下一个版本改进!
    vincekang
        18
    vincekang  
    OP
       2020-08-29 20:18:02 +08:00
    @Whalko 期待你的解决方案
    AlexaZhou
        19
    AlexaZhou  
       2020-08-29 20:57:18 +08:00
    为啥要装成第三方推荐自己呢,请自信一点,光明正大直接推就行
    vincekang
        20
    vincekang  
    OP
       2020-08-29 21:19:33 +08:00
    baoshuo
        21
    baoshuo  
       2020-08-29 21:54:56 +08:00   ❤️ 3
    @Livid 看起来应该扔推广板块里

    @vincekang 自信一点,直接推就行了
    ashong
        22
    ashong  
       2020-08-29 23:34:34 +08:00 via iPhone   ❤️ 1
    自主知识产权一个味道。😄


    踏踏实实做事就有收获
    ddzzhen
        23
    ddzzhen  
       2020-08-30 00:52:17 +08:00 via Android   ❤️ 1
    这么机智,只有 star 了
    xinyana
        24
    xinyana  
       2020-08-30 01:49:30 +08:00 via Android   ❤️ 1
    一些人的评论简直不要脸,,我看到的是一个不错的开源项目,那些嘴上仙骨道风的人,其实没来源过什么项目
    vincekang
        25
    vincekang  
    OP
       2020-08-30 09:35:05 +08:00
    @xinyana 谢谢你的肯定
    @ddzzhen 谢谢支持
    lazzyboy
        26
    lazzyboy  
       2020-08-30 19:01:21 +08:00
    @vincekang 不好意思,看了后面评论,误会了,对不住。
    qq7790586
        27
    qq7790586  
       2020-08-31 09:26:20 +08:00
    哈哈哈,无中生友
    chinaqzxh
        28
    chinaqzxh  
       2020-09-02 08:50:03 +08:00 via Android
    waytoshine
        29
    waytoshine  
       2020-09-02 08:58:31 +08:00 via Android
    @chinaqzxh ??
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1182 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:10 · PVG 07:10 · LAX 16:10 · JFK 19:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.