V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lushl9301
V2EX  ›  程序员

求助:爬取学术数据库中论文的 abstract 做研究

  •  
  •   lushl9301 ·
    lushl9301 · 2015-05-28 09:55:42 +08:00 · 4120 次点击
    这是一个创建于 3446 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在做分析一些医学研究论文的abstract的project。
    一直在用PubMed这个数据库,因为能把搜索结果下载为包含很多信息的txt文档(其中就包含了abstract),直接处理这个文档就能得出很多有用的信息。
    然而,这个数据库毕竟偏向医学研究一些,如果我们想查阅一些关于传感器或者什么运动数据测量的时候,这个数据库能查到的信息偏少
    该数据库地址: http://www.ncbi.nlm.nih.gov/pubmed
    我写的一个分析abstract的小工具地址: https://github.com/lushl9301/PubMed-Text-Mining-Tool (写的渣渣,就是拿来用用。。。)

    于是我和导师考虑,说不定爬取Google scholar的会不会好一点?

    发现Google scholar仅仅提供了一些论文的作者信息,被多少次引用等等,对于文章内容只有一些简单摘要。这些摘要是跟据搜索关键词给出的一些片段,远不如abstract。

    其他什么ACM,IEEE都没有提供合适的获取abstract方式。

    考虑使用爬虫直接爬取的话,会被ban什么的。Google也会给你robot test。

    所以在这里想请教小伙伴,能否提一些建议呢?帮忙支支招 ^_^

    6 条回复    2016-05-24 16:38:03 +08:00
    lushl9301
        1
    lushl9301  
    OP
       2015-05-28 10:01:17 +08:00
    发完贴后,在“最热”板块,哗哗哗的往下掉= =
    ichou
        2
    ichou  
       2015-05-28 10:11:22 +08:00
    不会因为访问量太大 导致数据库方暂停账户服务么? 要是用的学校的公用帐号,哇咔咔~ 写检讨什么的爽歪歪~
    binux
        3
    binux  
       2015-05-28 10:17:53 +08:00   ❤️ 1
    lushl9301
        4
    lushl9301  
    OP
       2015-05-28 10:50:13 +08:00
    @ichou 这个会的。。。所以尽量不用学校网络,不登陆去爬取吧。。。
    lushl9301
        5
    lushl9301  
    OP
       2015-05-28 10:52:34 +08:00
    @binux 哇。。这是pyspider爬取的?
    我记得我还看到过。。。
    谢谢。。。这就去看看
    cangbaotu
        6
    cangbaotu  
       2016-05-24 16:38:03 +08:00
    推荐你使用神箭手云爬虫,分布式的爬虫框架。官方很给力!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2722 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 12:26 · PVG 20:26 · LAX 05:26 · JFK 08:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.