1
yrj 2021-01-19 18:50:08 +08:00 via iPad
静态化 html ?没必要吧,缓存还是可以做一做的。
|
2
zfish 2021-01-19 19:34:28 +08:00
考虑到 SEO 的话,可以做个定时静态化任务
|
4
Andywww OP @zfish 页面的形式已经是.html 结尾了,对爬虫来说应该会当静态网页来处理吧,我就是想要不要真的把它们都变成 nginx 里面的静态 html
|
5
zfish 2021-01-19 20:23:55 +08:00
@Andywww 考虑到性能问题,也可以做静态化的,对爬虫来说,静态动态与否和它需要不需要解析 JavaScript 有关系,如果不需要解析那就是静态的
|
6
Andywww OP @zfish 感谢回复,网站我没啥经验,内容不是 JS 动态生成的,那应该算静态的,我也是觉得虽然性能提升不明显,还是有必要的,就当它 PV 百万了吧。。。优化到极致
|
7
han3sui 2021-01-19 20:35:15 +08:00 via iPhone
这没版权问题?
|
9
justin2018 2021-01-19 20:47:31 +08:00
视频采集站的接口?
看到了熟悉的广告 哈哈哈~ |
10
Andywww OP @justin2018 没办法,提供在线看的这些视频人家都是加了广告的,我是不加广告,但是挡不住他们要加啊,另外就算是字幕组也很多变相加广告的啊,片头广告,片尾广告,中间有水印,广告可以通过 no ad 那个按钮挡住顶部的一部分,
|
11
Andywww OP 其实我一开始只是想做下载,收集下载链接,后来发现了这些提供在线看的,又才临时加的,之前我自己都是习惯下载到内网服务器之后再看
|
12
meeken 2021-01-19 20:56:41 +08:00
看起来不错,mark 之
|
14
zktz 2021-01-19 21:04:32 +08:00
视频看不了
|
15
justin2018 2021-01-19 21:10:00 +08:00
|
16
ryV60s 2021-01-19 21:10:14 +08:00
既然当前性能不是瓶颈,更应该去让它达到瓶颈。几百 pv 操几百万的心,这好吗,这不好。如果楼主时间多当我没说。
|
17
justin2018 2021-01-19 21:13:13 +08:00
|
18
eason1874 2021-01-19 21:29:05 +08:00
用不着纠结,简单配置一下就跟静态化差不多了。
你在 Nginx 配置两个 server,一个 dynamic 动态源站,一个 www 公开域名,www 反代 dynamic,然后在 www 给内容页面配置 proxy 缓存时间,比如 10 分钟,那么无论单个页面流量有多大,每 10 分钟都只有一次动态页面请求。 |
19
areless 2021-01-19 22:12:24 +08:00 via Android 1
需要的。最早很多伪静态站性能都没问题,结果上了全静态发现自己以前想法太幼稚了。做站呢,不是访问量多少决定你需要什么样的性能,而是要用性能去决定访问量!真正的访问量是扛下一波一波洪峰积累的,是不可预料的。
|
20
IDAEngine 2021-01-19 22:36:55 +08:00
搜索限流不就好了,淘宝搜索过快了直接提示服务器繁忙,接口请求次数达到限额。
|
21
falcon05 2021-01-19 22:40:00 +08:00 via iPhone
不要过早优化
|
22
moking97 2021-01-19 22:43:29 +08:00
感觉挺不错的,收藏一下
|
23
zohar727 2021-01-19 23:00:30 +08:00
网站不错 没有乱七八糟的广告 收藏了
|
24
love 2021-01-19 23:59:44 +08:00 via Android
现在不用优化,很可能你还没撑到有性能问题站就没了,我之前用了好几个类似的挺好用的后来都没了,当然我不知道是为什么没的,不会是被告了或被抓了吧
|
25
YouLMAO 2021-01-20 02:03:36 +08:00 via Android
国内很好很强大
|
26
xcstream 2021-01-20 05:18:21 +08:00
静态化是给爬虫优化 url 的意思 哈哈哈
|
27
lidongyo 2021-01-20 08:15:56 +08:00
可以可以~~白嫖了哈哈哈哈
|
28
incesa 2021-01-20 08:50:42 +08:00
胆子够大
|
29
mai852852 2021-01-20 08:54:41 +08:00
XX 荷官在线发牌?
|
30
xujiahui 2021-01-20 08:57:04 +08:00
看着挺不错的 收藏了
|
31
xuxuxu123 2021-01-20 09:17:40 +08:00
tips:小心版权问题~~~
|
32
blogfeng 2021-01-20 09:18:32 +08:00 via Android 1
见一个举报一个
|
33
dinjufen 2021-01-20 09:44:35 +08:00
版权?
|
34
hzz2 2021-01-20 09:44:52 +08:00
之前使用 golang 爬虫的时候写了一个 https://github.com/hezhizheng/go-movies
把数据抓完之后,表面在加一层缓存,就没考虑其他的了 网站基本就是演示用 |
35
Andywww OP |
36
gppola666 2021-01-20 09:56:23 +08:00
流量大的话,这么多视频传输,带宽不是很大吗,相当于每个人都在下一部电影
|
37
Andywww OP 版权问题统一再回复啊:网站仅供测试交流,没有投放广告,不打算盈利,视频里面的广告是提供播放服务的人加的,视频里面还有片头广告,片尾广告是字幕组加的,所有广告都跟我无关
|
38
Andywww OP @gppola666 视频的服务器跟我无关啊,不论是点播还是下载都是别人的,我只是搜集了这些链接而已,带宽小的很,,,
|
39
Andywww OP @justin2018 就是把做好几个字段的 and 查询,对应的条件要翻译一下
|
41
onlineismy 2021-01-20 10:02:02 +08:00
这个不就是电源资源站吗。。飞飞、马斯克,多着开源的 cms 。。
|
43
Andywww OP @onlineismy 对,我没有用 CMS,也是后来才知道的 cms
|
44
d873139022 2021-01-20 10:20:35 +08:00
版权问题 不是你说与你无关就没用的。你的网站播放就算侵权了,无论盈利与否。
别问我咋知道,我的网址就是这样关停的,这是违规行为。 广电的电话直接打到域名注册人的手机上,然后通知立即关停,之后就是停止接入域名,然后 gg |
45
ifoto 2021-01-20 10:34:11 +08:00
可以,在你追海贼王了
|
46
stanchenxxx2015 2021-01-20 10:38:07 +08:00
老哥,这个你偷偷自己玩玩就好了,不建议放出来让大家看到。。。。
您这网站是妥妥的侵犯版权的,跟您是否从中盈利没有任何关系。不是你觉得没问题就没问题的。 劝您还是小心点,这东西要是被版权方爬到,轻则一个律师函让你下架内容,重则随便按啥口径走司法仲裁要你罚款。 |
47
bzj 2021-01-20 10:40:48 +08:00
全是视频资源站提供的接口,视频放在别人服务器上,几万个视频跟你有啥关系,你就一个视频播放页面
|
48
Andywww OP @bzj 是的,终于来了个明白人,主要是网上同样类型的网站太多放广告的,乱七八糟的页面广告,我是想提供一个清爽的,起码没有页面广告的,视频里面的广告那跟我没关系了
|
49
binfun 2021-01-20 10:59:33 +08:00
还是搞点抖音美女视频吧,哈哈
|
50
evefree2 2021-01-20 11:01:48 +08:00
这种没有版权的问题吗?
|
54
hooon 2021-01-20 11:07:00 +08:00
放着微信、支付宝收款码这样的实名信息,不怕吗?
|
58
lonelymarried 2021-01-20 11:28:27 +08:00
必须静态啊,比如人家要搜索个神奇女侠 1984 在线播放,直接就到你网站了,多爽。
|
59
justin2018 2021-01-20 13:46:31 +08:00
@Andywww 懂了 多谢~
|
60
hotlook10 2021-01-20 14:00:07 +08:00
你这相当于盗版网站聚合,一样的违法,迅雷以前有个狗狗资源搜索,后来为什么砍掉?
hao123 之类的导航站为什么不放这些盗版影视站? |
61
alect 2021-01-20 15:04:41 +08:00
很好奇源是从哪里来的
|
62
pkwenda 2021-01-20 15:07:12 +08:00
这玩应应该算灰色吧,楼主这么不避讳吗。。👍 建议低调
|
63
ElmerZhang 2021-01-20 15:30:19 +08:00
加个缓存就好了,没必要静态化
|