V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
codeduan
V2EX  ›  Node.js

写了一个中国大陆高校列表爬虫,有需要的可以试下

  •  
  •   codeduan · 2019-03-27 11:33:14 +08:00 · 6147 次点击
    这是一个创建于 2064 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这几天恰好有个需求用到,就写了个。目前已经包含一份完整 json 了。

    https://github.com/codeudan/crawler-china-mainland-universities

    数据按省份分类,支持本科,专科,民办,独立院校分类。

    18 条回复    2019-04-01 10:08:28 +08:00
    kukumao
        1
    kukumao  
       2019-03-27 12:42:42 +08:00
    爬到的数据 发个看看
    xiangyuecn
        2
    xiangyuecn  
       2019-03-27 12:57:54 +08:00
    打破 0 star
    MiRECoFu
        3
    MiRECoFu  
       2019-03-27 13:03:42 +08:00 via Android
    有各专业高考录取分的爬虫吗
    gary36
        4
    gary36  
       2019-03-27 13:04:22 +08:00 via Android
    有重复数据
    Vegetable
        5
    Vegetable  
       2019-03-27 13:34:32 +08:00
    codeduan
        6
    codeduan  
    OP
       2019-03-27 14:07:35 +08:00
    仓库的 china_mainland_universities.json 就是刚刚爬的。
    xfspace
        7
    xfspace  
       2019-03-27 14:20:03 +08:00 via Android
    CHSI 官方权威
    还能抓 211 985 标签
    codeduan
        8
    codeduan  
    OP
       2019-03-27 14:21:54 +08:00
    @gary36 修正这个 bug 了。
    codeduan
        9
    codeduan  
    OP
       2019-03-27 14:22:20 +08:00
    @xfspace 多谢提醒。
    codeduan
        10
    codeduan  
    OP
       2019-03-27 14:32:27 +08:00
    @kukumao china_mainland_universities.json 就是。
    zouyu1412
        11
    zouyu1412  
       2019-03-27 15:55:50 +08:00
    问个小白问题:是我的 node 版本不对吗 这行 async function main(){ 报错:SyntaxError:Unexpected token function
    codeduan
        12
    codeduan  
    OP
       2019-03-27 17:11:04 +08:00
    @zouyu1412 你的 node 版本低于 8 吗?
    xzc19970719
        13
    xzc19970719  
       2019-03-27 17:12:26 +08:00
    为啥网页进你这个帖子 背景就会变黑???
    zgcwkj
        14
    zgcwkj  
       2019-03-27 17:14:43 +08:00
    @xzc19970719 V2EX 上的模块,有的主题是不一样的
    zouyu1412
        15
    zouyu1412  
       2019-03-27 17:17:35 +08:00
    @codeduan 嗯 有点低 6.2 应该是版本的原因
    PHPJit
        16
    PHPJit  
       2019-03-27 19:23:30 +08:00
    参照 5L 的地址,写了一个 php 版本
    https://github.com/teg1c/crawler-china-mainland-universities-by-php
    lizliz
        17
    lizliz  
       2019-03-28 11:11:12 +08:00
    有没有办法找到学校里的组织架构,求!
    codeduan
        18
    codeduan  
    OP
       2019-04-01 10:08:28 +08:00
    数据源改成学信网的了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3945 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:25 · PVG 18:25 · LAX 02:25 · JFK 05:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.