[开源]各大平台热榜聚合-实时更新-By LookCos

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 1934 天前的主题，其中的信息可能已经有所发展或是发生改变。

各大平台热榜聚合-实时更新

00.简介

最近几天逛了一下 V 站，发现不少人分享自己做的榜单聚合，评论不少要求开源学习的，但是却少有人开源！分享是互联网的精神之一。自己闲的没事，今天也写了一下！自己也是菜鸡，而写的又略仓促，欢迎大家指出错误。现在发出来给大家耍一耍。

演示地址： http://bangdan.lookcos.cn

源码地址： https://github.com/LookCos/hotspot-online

我暑假空闲比较多，可以加群 8805926，咱们一起交流编程技术，这里的代码看不懂的地方，直接群里 @我一下，我就出来解答了。下面说一下运行流程。

共三个文件:data_spider.py 、hotapi.php 、index.html

01.采集数据 Python 每十分钟更新一次数据（可自由设置时间，例如每秒一次）

requests 模块发送请求获得网页数据，
lxml 模块解析 html 并清洗出自己想要的数据
本地化处理（写入到本地 json 文件[不是标准 json 格式]）

02.处理并返回数据

接口文件 hotapi.php 会将本地 json 文件读取并按照需求返回为 json 格式接口返回格式如下:

03.前端展示

前端采用 Bootstrap4 来展示，用 jsonp 从远程接口获取数据，来渲染页面。所以，你可以直接将 html 拿去做前端，直接填写我的接口地址就行。

JSON

开源

聚合

接口

9 条回复 • 2019-08-08 09:27:40 +08:00

Austin2035

2019-07-20 18:27:23 +08:00

说是各大平台，其实我就写了五六个，这个比较容易扩展。

kukumao

2019-07-21 20:11:46 +08:00

支持一下开源！
赞！

yjxjn

2019-07-22 10:40:23 +08:00

支持，但是我推荐一个 app，web，iOS，Android 都有
今日热榜 https://tophub.today/

lauix

2019-07-22 11:52:33 +08:00

https://wenku.dev 支持下

Austin2035

2019-07-22 12:25:38 +08:00

@yjxjn 关键是你不开源啊 [笑哭]

yjxjn

2019-07-22 15:06:16 +08:00

@lookcos 不是，不是，我也是用户，我不是开发者。

HuberyPang

2019-07-24 10:28:59 +08:00

我分享的，只做了爬取程序的分享，没做页面渲染的。https://github.com/pangxiaobin/CrawlerHot

cnyang

2019-08-07 04:25:29 +08:00

@lookcos
cookie 没改，可以登录你的知乎，知乎热榜可以用这个 https://www.zhihu.com/api/v3/feed/topstory/hot-lists/total?limit=50&desktop=true
采集程序里加个换行去除 soup_a.text.replace("\n", "")，v2 的标题太长前端会错乱

Austin2035

2019-08-08 09:27:40 +08:00

@cnyang 非常感谢