• 请不要在回答技术问题时复制粘贴 AI 生成的内容
xiangyuecn
V2EX  ›  程序员

从高德采集最新的省市区三级坐标和行政区域边界 csv 格式

  •  7
     
  •   xiangyuecn ·
    xiangyuecn · Apr 16, 2019 · 12119 views
    This topic created in 2757 days ago, the information mentioned may be changed or developed.

    当然还是用 js 在浏览器中运行采集的啦,包含采集源码,可自行采集,采集请求数据部分仅需 2 分钟。

    相关介绍: https://www.cnblogs.com/xiangyuecn/p/10714707.html

    数据下载: https://github.com/xiangyuecn/AreaCity-JsSpider-StatsGov/releases

    数据预览:


    另 20 天前发了一个帖子 /t/548567 对应的省市区镇数据采集。

    另 117 天前发了一个帖子 /t/512328 咨询过城市变更我们数据库里面的老数据应对方案,虽然没什么好的结论,但还是可以参考参考。


    为啥不用百度地图,其实最开始用的百度的,采集完才发现百度地图的数据有严重问题,然后才选择的高德。

    嘲讽一下百度地图:

    大量的这种垃圾数据,这么一看 高德简直完美无比。

    Supplement 1  ·  Apr 16, 2019
    感觉这个库有点用的话可以在帖子底部回复区留个好评,有意见或建议到[issues]( https://github.com/xiangyuecn/AreaCity-JsSpider-StatsGov/issues)区留言

    都只收藏不回复,感觉要沉了
    67 replies  •  2019-04-17 14:01:44 +08:00
    feikeq
    feikeq
    Apr 16, 2019
    1
    可以的,标记一下
    cookbook
    cookbook
    Apr 16, 2019
    2
    好东西,了解一下
    zxcvsh
    zxcvsh
    Apr 16, 2019 via iPhone
    3
    收藏+1
    ooee2016
    ooee2016
    Apr 16, 2019
    4
    +1
    auin
    auin
    Apr 16, 2019
    5
    👍
    xiyiailoli
    xiyiailoli
    Apr 16, 2019 via Android
    6
    可以,这个不错
    aleung
    aleung
    Apr 16, 2019 via Android
    7
    高德的数据精确度怎样?见过有些边界数据只是密度很低的折线
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    8
    收藏和回复不成比例呀,帖子沉的快
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    9
    @aleung 比百度的精确,百度抓取完数据才 20m,高德的 130m,边界细腻不少
    missdeer
    missdeer
    Apr 16, 2019
    10
    图挂了?
    AlexMeng
    AlexMeng
    Apr 16, 2019
    11
    可以的,好东西,顺便想了解一下第一个图,是使用的什么工具把数据转成图形展示的?
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    12
    @AlexMeng 我用的 SQL Server 里面查询有空间结果,可以直接看
    aloyip
    aloyip
    Apr 16, 2019
    13
    有趣 收藏了
    lebcvu
    lebcvu
    Apr 16, 2019
    14
    +1
    jinx930621
    jinx930621
    Apr 16, 2019
    15
    厉害厉害,不知道有没有可能更深一级到达乡镇级别,最近也在学习相关的知识,没找到有能够提供乡镇级别的数据源。
    two4mamba
    two4mamba
    Apr 16, 2019
    16
    蛮厉害的,收藏一下
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    17
    @jinx930621 #15 嗯,level4 这个已经包含了乡镇区划数据;至于乡镇这级的坐标和边界就没有采集,也是没有找到数据源,百度和高德都没有提供
    KenGe
    KenGe
    Apr 16, 2019
    18
    mark 以下 可能有用
    l0wkey
    l0wkey
    Apr 16, 2019
    19
    @jinx930621 #15 乡界的数据,基本上目前不会公开有免费版本
    niketwo
    niketwo
    Apr 16, 2019 via Android
    20
    nb,大佬厉害
    zvcs
    zvcs
    Apr 16, 2019 via Android
    21
    厉害了👍。谢谢分享
    jadec0der
    jadec0der
    Apr 16, 2019
    22
    非常酷,mark 一下
    MrUser
    MrUser
    Apr 16, 2019
    23
    不心担被去请茶喝吗?
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    24
    @MrUser 数据都是公开的,不知道有什么风险,请指教
    murmur
    murmur
    Apr 16, 2019
    25
    @MrUser 都是火星数据 又不是 gps 原始坐标 国内的公开坐标用的都是火星坐标系
    ARhen
    ARhen
    Apr 16, 2019
    26
    头一回晓得客户端查询还能弄成这样的.....
    auroraccc
    auroraccc
    Apr 16, 2019
    27
    @MrUser 地图又拿不到真实的地址,怕个啥
    eggshell
    eggshell
    Apr 16, 2019
    28
    收藏了,感觉获取一个城市或者区域内的等距离散点坐标这个需求也挺常见的,能支持下吗?
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    29
    @ARhen 哈,能直观看到结果,比数字方便多了😂
    opengps
    opengps
    Apr 16, 2019
    30
    收藏,位置服务领域开发的好工具!
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    31
    @eggshell #28 没接触过“等距离散点”,这种是不是和附近搜索(查询 一个位置+指定半径 内的所有数据,不知道专业点的名词是什么)类似呀
    eggshell
    eggshell
    Apr 16, 2019
    32
    @xiangyuecn #31 对对对,就是这个意思,我也不知道专业名词叫啥😂, 比如我之前废了老大劲搞的南京的这样

    ![南京散点图]( )
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    33
    @eggshell #32 😅 看你这幅图 想起以前搞百度地图上也有过类似的,只不过我是把点等距的放到边界上。应该也好办吧,指定一个点,分别对 lng 累加一个固定数值、对 lat 累加另一个固定数值,判断这个生成的点是否在城市边界内,是就保留,应该能达到这幅图类似的效果。

    这种应该还是数据库查询层面的工作多一些
    vanis
    vanis
    Apr 16, 2019
    34
    这个。。。基础地理数据国家是开放的。不用这么费事吧。
    www.webmap.cn
    seemore
    seemore
    Apr 16, 2019
    35
    1
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    36
    @vanis 学习了,研究了一下,里面的数据过于专业,还是百度、高德的对小白友好些。

    另怕被请喝茶,望洋兴叹
    baox2
    baox2
    Apr 16, 2019
    37
    顶起!
    oldbird
    oldbird
    Apr 16, 2019 via Android
    38
    火星坐标系??
    vibin
    vibin
    Apr 16, 2019
    39
    哪位大佬知道中山市的区镇怎么划分? 晚上的 geojson 都只有市级
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    41
    @vibin 中山、东莞、儋州 没有区这一级,看地图上 这几个地区面积明显和同类小很多。

    原始数据这样:广东-中山-?-沙溪
    看面积应该是:广东-?-中山-沙溪

    实际使用:广东-中山-中山-沙溪,能保证整个数据上下层级的结构一致性
    sighforever
    sighforever
    Apr 16, 2019
    42
    厉害厉害,先下载为敬
    DannyVim
    DannyVim
    Apr 16, 2019
    43
    不过对于学术研究而言,大家作图时利用更多的还是 shp。望洋。
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    44
    @oldbird #38 嗯,高德的数据是火星坐标系
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    45
    @sighforever #42 哈,感谢支持
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    46
    @DannyVim #43 原来如此,看到了 webmap.cn 里下载的数据里面有 shp 后缀文件
    SN7
    SN7
    Apr 16, 2019
    47
    如果能采集商家手机号就更更好了。
    ml1344677
    ml1344677
    Apr 16, 2019
    48
    上一份工作把高德地图数据扒了一大半,包括所有 building 的 polygon 底面和高度,全国所有 poi 的数据(通过企业级接口请求 ID 然后爬虫获得 POI 的 polygon )。有需要但要求不那么高的 v2,推荐你们一个开源数据源,openstreetmap 根据文档可以直接解析出来,包括道路什么矢量数据(高德这块道路水系应该是渲染在底图的,不好获得)。
    icylogic
    icylogic
    Apr 16, 2019 via iPhone
    49
    我记得 openstreetmap 有中国行政区划的数据包的,好处在于 API 和对应的开源工具非常多……
    vanis
    vanis
    Apr 16, 2019
    50
    @ml1344677 方便交流下么?对你的工作有需求。
    aleung
    aleung
    Apr 16, 2019 via Android
    51
    @ml1344677 OpenStreetMap 的行政区划数据准确性没有保障,我有时爬山看到个界碑,也会上去更新一下。
    Twislight
    Twislight
    Apr 16, 2019
    52
    收藏一下
    ml1344677
    ml1344677
    Apr 16, 2019
    53
    @aleung 对的,osm 主要是做一个低精度要求需求的数据补充,因为他本身从可获得性上来说比较方便。
    ml1344677
    ml1344677
    Apr 16, 2019
    54
    @vanis v: cTM5ODU1NjA1Mw==
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    55
    @ml1344677 @icylogic @aleung 学习了,我研究一下 OpenStreetMap
    xiangyuecn
    xiangyuecn
    OP
    Apr 16, 2019
    56
    @SN7 #47 这个嘛。。。😅 说不定#48 已经爬好了😄
    limingjie138
    limingjie138
    Apr 16, 2019 via iPhone
    57
    点个❤️ 插个眼
    dyb
    dyb
    Apr 16, 2019
    58
    不错,mark 一下
    eeeeeeeeeeee
    eeeeeeeeeeee
    Apr 16, 2019
    59
    刚刚在 Gayhub 上看到有这个开源的项目就按照惯例收藏了一波,想不到作者也在 v 站~ 支持一波
    w797200
    w797200
    Apr 17, 2019 via iPhone
    60
    mark 一下 回来研究
    hero679
    hero679
    Apr 17, 2019
    61
    顺便问个事,高德地图和百度地图,哪个更靠谱一点?
    netfee
    netfee
    Apr 17, 2019 via Android
    62
    🐮比,支持一下楼主
    icered
    icered
    Apr 17, 2019
    63
    支持一下,现在也在学习地图这一块,高德百度一起用,腾讯的就象征性看一下。
    ml1344677
    ml1344677
    Apr 17, 2019
    64
    @hero679 互补
    xiangyuecn
    xiangyuecn
    OP
    Apr 17, 2019
    65
    @hero679 #61 以前一直用的百度,这次采集边界被百度逼得用了高德。
    xiangyuecn
    xiangyuecn
    OP
    Apr 17, 2019
    66
    @lby876176278 #59 Gayhub 😂 感谢有你
    tchqiq
    tchqiq
    Apr 17, 2019
    67
    厉害 顶一下 先收藏了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1391 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 91ms · UTC 20:22 · PVG 04:22 · LAX 12:22 · JFK 15:22
    ♥ Do have faith in what you're doing.