这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 52 天前的主题，其中的信息可能已经有所发展或是发生改变。
关于 RAG 的的话题还在不停迭代， 各种框架就不用说了。
这个 RAG 的数据源一直是个头疼的问题， 虽然我其实只想弄一个自己的 RAG 库， 但是我的使用范围场景其实也是不断变化， 不可预测， 因为我确实没什么做长远计划的习惯， 没有任何自律习惯，属于靠不断内心精神斗争驱动做事的一类人。
我现在再不想提前收集各种海量数据来 Index ， 过去太多无意义的经验教训， 比如我直接废弃了超过 3000 个笔记的印象笔记文档， 从此再也不用任何笔记本， 只用备忘录记录关键资源信息， 使用浏览器收藏夹来记录链接， 链接失效也不可惜。
随着年龄增长，记忆力越来越退步， 我开始越来越相信和依靠大脑管事，把注意力放在关注的事情上，记得住的就是应该记住的， 实在记不住的就是无需记住的。
我希望做的 RAG 知识库应该是这样：
- 所有需要索引嵌入的内容必须是我关注的，感兴趣的
- 要支持各种模态的数据， 图片，视频，音频，文字处理，（统一处理到文字就可以了）
- 操作一定要简单：输入方式包括，拍摄，录音上传即可，文件类上传即可， 可剪贴类一键发送
- 自动识别，自动归纳摘要，自动分类打标签，自动评级机制（非常重要）
- 增加几个个人专用标签，比如"每日胡说八道"之类，有空对着手机录完嵌入。
- 多样化的简单易用的 API 接口， 各种场景可用
- 可以被可视化分析
- 可以输出数据集微调模型
总的来说， 就是我的另一个自组织的“大脑”， 然后给这个大脑配置几个 taskAgent ， 随着世界的发展跟着优化迭代。
我觉得这应该是一个比较有意思的事情。
技术选型方面， 当然是轻量级的， 毕竟就我自己调用。
- python： 没得说了，
- sqlite： 存储原始数据， 方便后期重构嵌入。
- chramdb：支持本地文件持久化， 不要对云强依赖
- 多种云同步：保持冗余防止丢失
- 其他的想到再说
随着未来的技术发展，可能我这事会越来越简单，我这操作能坚持几年也说不准。说不准老年痴呆了也能有个伴
这个 RAG 的数据源一直是个头疼的问题， 虽然我其实只想弄一个自己的 RAG 库， 但是我的使用范围场景其实也是不断变化， 不可预测， 因为我确实没什么做长远计划的习惯， 没有任何自律习惯，属于靠不断内心精神斗争驱动做事的一类人。
我现在再不想提前收集各种海量数据来 Index ， 过去太多无意义的经验教训， 比如我直接废弃了超过 3000 个笔记的印象笔记文档， 从此再也不用任何笔记本， 只用备忘录记录关键资源信息， 使用浏览器收藏夹来记录链接， 链接失效也不可惜。
随着年龄增长，记忆力越来越退步， 我开始越来越相信和依靠大脑管事，把注意力放在关注的事情上，记得住的就是应该记住的， 实在记不住的就是无需记住的。
我希望做的 RAG 知识库应该是这样：
- 所有需要索引嵌入的内容必须是我关注的，感兴趣的
- 要支持各种模态的数据， 图片，视频，音频，文字处理，（统一处理到文字就可以了）
- 操作一定要简单：输入方式包括，拍摄，录音上传即可，文件类上传即可， 可剪贴类一键发送
- 自动识别，自动归纳摘要，自动分类打标签，自动评级机制（非常重要）
- 增加几个个人专用标签，比如"每日胡说八道"之类，有空对着手机录完嵌入。
- 多样化的简单易用的 API 接口， 各种场景可用
- 可以被可视化分析
- 可以输出数据集微调模型
总的来说， 就是我的另一个自组织的“大脑”， 然后给这个大脑配置几个 taskAgent ， 随着世界的发展跟着优化迭代。
我觉得这应该是一个比较有意思的事情。
技术选型方面， 当然是轻量级的， 毕竟就我自己调用。
- python： 没得说了，
- sqlite： 存储原始数据， 方便后期重构嵌入。
- chramdb：支持本地文件持久化， 不要对云强依赖
- 多种云同步：保持冗余防止丢失
- 其他的想到再说
随着未来的技术发展，可能我这事会越来越简单，我这操作能坚持几年也说不准。说不准老年痴呆了也能有个伴
3 条回复 • 2024-03-13 14:47:41 +08:00
 |
1
qweruiop 50 天前
支持开源产品
|
 |
2
kuber 47 天前
也有同样的想法。现在的笔记应用太繁琐了。需要自己人工组织笔记之间的关系，如果能自动组织就好了。
|
 |
3
prenwang OP 个人知识图谱的需求是越来越强烈了， “第二大脑”呼之欲出了
|
Select Language