V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sjmcefc2
V2EX  ›  程序员

求教一个专题的搜索引擎怎么搭建?

  •  1
     
  •   sjmcefc2 · 2021-08-19 20:06:10 +08:00 · 1165 次点击
    这是一个创建于 952 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想着做一个特定方向的搜索引擎,比如只是搜索几个站点的搜索引擎,这样需要怎么样建设呢?

    12 条回复    2021-08-22 01:13:28 +08:00
    israinbow
        1
    israinbow  
       2021-08-19 21:16:21 +08:00
    谷歌搜索网站域名带个 site: 前缀.
    或着自己爬网站做关键词查询.
    funet
        2
    funet  
       2021-08-19 21:20:50 +08:00
    https://www.kjsearch.com/
    像跨境搜索这样吗? 跨境电商垂直搜索
    sjmcefc2
        3
    sjmcefc2  
    OP
       2021-08-19 21:25:47 +08:00
    @funet 嗯,是这样类似的。研究了一下这个,帮助打不开,关于打不开,搜索出来的都是知乎,不过确实想做的和这个很类似。
    sjmcefc2
        4
    sjmcefc2  
    OP
       2021-08-19 21:26:11 +08:00
    @israinbow 请教有类似的开源项目吗?
    sjmcefc2
        5
    sjmcefc2  
    OP
       2021-08-19 21:26:31 +08:00
    @funet 也是想定向的搜索几个站点。
    huabalance
        6
    huabalance  
       2021-08-20 15:33:19 +08:00 via Android
    谷歌搜索 yacy
    Tianyan
        7
    Tianyan  
       2021-08-20 17:30:16 +08:00
    自定义搜索啊
    sjmcefc2
        8
    sjmcefc2  
    OP
       2021-08-21 10:04:29 +08:00
    @huabalance 这个很好啊
    sjmcefc2
        9
    sjmcefc2  
    OP
       2021-08-21 10:05:00 +08:00
    自定义搜索,这个怎么具体做呢
    sjmcefc2
        10
    sjmcefc2  
    OP
       2021-08-21 12:42:26 +08:00
    @huabalance 这个 可以搜中文吗
    huabalance
        11
    huabalance  
       2021-08-21 16:23:51 +08:00
    @sjmcefc2 你为什么不试一下呢。。 可以搜。
    sjmcefc2
        12
    sjmcefc2  
    OP
       2021-08-22 01:13:28 +08:00
    @huabalance 安装使用了,能够中文。
    但是好像一次只能执行一批爬虫任务,想着有了一个任务之后,在开始,就断掉了。
    而且
    HTTP ERROR 500 java.lang.OutOfMemoryError: Java heap space
    URI: /yacysearch.html
    STATUS: 500
    MESSAGE: java.lang.OutOfMemoryError: Java heap space
    SERVLET: net.yacy.http.servlets.YaCyDefaultServlet-5dcb4f5f
    CAUSED BY: java.lang.OutOfMemoryError: Java heap space
    Caused by:

    java.lang.OutOfMemoryError: Java heap space
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3163 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:21 · PVG 20:21 · LAX 05:21 · JFK 08:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.