V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
beryl
V2EX  ›  程序员

提取标题关键字方法,非预训练模型

  •  
  •   beryl · 2023-04-08 22:37:02 +08:00 · 951 次点击
    这是一个创建于 405 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目标是想提取一句话中的关键词,例如『看来是要放弃 edge 了』。只想要部分属性的名词,期望的只提取 edge 互联网类的名词

    使用结巴分词的 TF-IDF 方式。试了下提取出来的前三个结果是:edge 、看来、放弃。

    想着是不是可以有开源的行业词表作为标签库,再找一些停用词表。有哪些开源的行业词表么,搜了一大圈没有合适的,或者四五年不更新了。

    想着有个基础版,后面自己在这个基础上更新也可以。

    或者大家有没有其他的思路呢

    词典还一个思路是输入法词典是不是也是一种思路,不过也没找到开源的,这种应该属于商业数据吧

    2 条回复    2023-04-09 19:49:41 +08:00
    buyan3303
        1
    buyan3303  
       2023-04-09 08:45:34 +08:00
    词库的话 谷歌上 中文 词库 github:
    https://github.com/thunlp/THUOCL
    https://github.com/fighting41love/funNLP
    https://github.com/ling0322/webdict
    https://github.com/GanjinZero/awesome_Chinese_medical_NLP
    https://github.com/foowaa/Chinese_from_dongxiexidian
    等等
    四五年不更新了 那么不是还有 4 5 年前的数据,先自己做成自定义词库先。
    murmur
        2
    murmur  
       2023-04-09 19:49:41 +08:00
    我感觉这玩意挺扯淡的,首先中文互联网的标题都是惊了!注意了! xx 不会告诉你的!错过就晚了!

    具备概括能力么
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   892 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 21:29 · PVG 05:29 · LAX 14:29 · JFK 17:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.