V2EX › Justin3go 的所有回复 › 第 7 页 / 共 8 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8

❮

❯

2023 年 9 月 6 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@Tyrant1984 hhhh ，喜欢就好，请耐心等待，它会变得更好的

2023 年 9 月 6 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@GeekAsher 目前感觉优化爬虫策略效果大于增加资源，因为从后台来看爬取了太多无用的资源进行分析了，互联网的网页太多了，得找一个合适的策略进行提前过滤，比如最简单的根据 url 后缀判断是不是静态资源，是就跳过爬取之类的就可以节省很多资源

2023 年 9 月 5 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@justincnn 哈哈哈哈，你这比喻，妙啊

2023 年 9 月 5 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@GeekAsher 没钱整不起这么多服务器资源

2023 年 9 月 4 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@GeekAsher 确实是一个痛点，后续会逐步迭代优化爬虫策略以获取更多资源

2023 年 9 月 4 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@sunnicholas 感谢反馈，后续优化

2023 年 9 月 4 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@lycpang hhhh ，能帮助到大家我也很开心

2023 年 9 月 2 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@PecanBrant 目前还能用，不过要看攻击者啥时候攻击了，一攻击就会导致服务器拒绝服务。

2023 年 9 月 2 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

刚收到短信，没想到这么快这个网站就被 DDos 攻击了，终于轮到我了

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@2NUT 感谢认可

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@hsksg 对，这个网址我也看到过，参考了它的免责声明哈哈哈哈

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@gogolive 确实，目前爬虫运行了 2 周多，数据 1w 左右，爬虫的策略还得优化，去过滤那些不可能包含网盘资源的链接的网址来节省资源，但目前没啥思路

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@galphaxie 可以，感谢反馈

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@sunnicholas 慢慢来嘛，爬虫正在收集中，没有想要的资源：1.互联网上没有使用阿里云盘分享该资源； 2.爬虫还没有爬到该位置； 3.有些网站禁止爬虫进入

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@Jirajine 周围也有一些人使用过这个，我对 ES 稍微熟悉一点，还行

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@BBCCBB 可以

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@baoei 然后就是互联网上的资源可能太多了，对比下来阿里云盘的资源就太少了，爬虫策略可能还得优化一下，但目前没什么思路

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@heylogo 确实，用户体验还是你这样好一点，感谢建议

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@baoei 还没做多久，爬虫一直在运行，资源还在搜集

2023 年 9 月 1 日

回复了 Justin3go 创建的主题 › 分享创造 › 做了一个阿里云盘的搜索引擎

@amlee web 应用是单独一台服务器，ES 爬虫是另外一台

1 2 3 4 5 6 7 8

❮

❯