smalltong02 最近的时间轴更新 smalltong02 最近的时间轴更新 |
smalltong02V2EX 第 673310 号会员，加入于 2024-01-25 23:55:22 +08:00今日活跃度排名 100396
 68  |
github.com/smalltong02
smalltong02
I like windows kernel, llvm, machine learning and deep learning
| 测试 Yi-1.5-9B-Chat 模型指令跟随和使用外部工具的能力
1 程序员 • smalltong02 • 1 天前 • 最后回复来自 zealotxxxx
|
5 |
| 使用大语言模型构建智能客户支持代理的测试。 程序员 • smalltong02 • 3 天前 |
| 闲来无事，用 AI 创建了个视频给大家娱乐一下。 程序员 • smalltong02 • 10 天前 • 最后回复来自 ailogomakerrcom | 3 |
| 对 Llama-3 和 Phi-3 指令跟随测试任务的视频演示 程序员 • smalltong02 • 16 天前 |
| 对 Llama-3-8B 模型在指令跟随方面的测试。 程序员 • smalltong02 • 15 天前 • 最后回复来自 qinfengge | 16 |
| 本地代码解释器的演示 程序员 • smalltong02 • 85 天前 |
| 请问在本网站上怎么插入图片，还有我发贴子稍微写长一点就说我注册不足 30 天，这个怎么解决？是否有特殊秘籍可以绕过？ 新手求助 • smalltong02 • 90 天前 • 最后回复来自 smalltong02 | 6 |
| 我的大语言模型开源项目，希望大家来支持一波！
2 分享创造 • smalltong02 • 93 天前 • 最后回复来自 smalltong02
|
11 |
| 测试了可离线部署的本地多模态模型"Qwen-VL-Chat" 程序员 • smalltong02 • 107 天前 • 最后回复来自 smalltong02 | 3 |
| 如果大家觉得我这个机器学习项目还不错，可以帮忙做下推广吗？ 程序员 • smalltong02 • 85 天前 • 最后回复来自 smalltong02 | 1 |
smalltong02 最近回复了
13 小时 26 分钟前 回复了 fushall 创建的主题 › 程序员 › 请教各位，开源的 AI 模型需要什么样配置的机器？比如图像类啊大语言模型啊语音类啊都想玩玩 |
如果你想自己研究的话，还是建议要搞一块 4090 。这样 34B-4bit(GPTQ)，13B-8bit(GPTQ)和 7B-16bit ，都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型，比如 70B 的模型，那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。
此外给你推荐一下我的开源项目，比较符合你的需求，这一个项目支持很多的本地和在线模型，少量图像模型和语音模型：
图像模型支持：OpenDalleV1.1 ，ProteusV0.2 ，SDXL-Lightning ，GhostXL 等
音乐模型支持：facebook musicgen 系列
语音输入输出支持：whisper ，OpenAI 和 Azure 在线语音
https://github.com/smalltong02/keras-llm-robot
如果你想使用知名的开源项目，那么我推荐
LM Studio - 安装简单，可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。
Ollama - 同上，缺点在多一个没有漂亮的 GUI 。
text-generation-webui - 这是最知名的项目，几乎所有格式都支持。
此外给你推荐一下我的开源项目，比较符合你的需求，这一个项目支持很多的本地和在线模型，少量图像模型和语音模型：
图像模型支持：OpenDalleV1.1 ，ProteusV0.2 ，SDXL-Lightning ，GhostXL 等
音乐模型支持：facebook musicgen 系列
语音输入输出支持：whisper ，OpenAI 和 Azure 在线语音
https://github.com/smalltong02/keras-llm-robot
如果你想使用知名的开源项目，那么我推荐
LM Studio - 安装简单，可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。
Ollama - 同上，缺点在多一个没有漂亮的 GUI 。
text-generation-webui - 这是最知名的项目，几乎所有格式都支持。
1 天前 回复了 tmtstudio 创建的主题 › OpenAI › GPT-4o 可以媲美 GPT4plus 吗，具体差距在哪 |
推理速度快了 2 倍，API 价格降了一倍。MMLU 分数更高，图像识别也更好。现在还没有开放语音和视频的接口，等开放了再来测试。
1 天前 回复了 tmtstudio 创建的主题 › OpenAI › GPT-4o 可以媲美 GPT4plus 吗，具体差距在哪 |
GPT-4o 已经可以用了，你可以通过 openAI 的 playgroud 试用。也可以用我的开源项目，在本地试用它（需要有 OpenAI 的 API Key ）。
不过现在 OpenAI 还没有开放更多的接口，还无法传送语音或视频给它。
我的项目地址是：
https://github.com/smalltong02/keras-llm-robot
不过现在 OpenAI 还没有开放更多的接口，还无法传送语音或视频给它。
我的项目地址是：
https://github.com/smalltong02/keras-llm-robot
1 天前 回复了 jedeft 创建的主题 › 程序员 › 部署 langchain 需要什么硬件配置 |
langchain 是一套简化大语言模型加载推理的框架，而且还提供 Agent 和各种工具的集成，它本身并不需要什么硬件配置。真正吃硬件的还是你想加载的模型，鉴于一般办公台式机的 GPU 都没有或者很差，那建议你只能玩玩 gguf 的量化模型了。
1 天前 回复了 GeekGao 创建的主题 › 程序员 › 使用黑轴机械键盘 coding 的网友多吗？ |
个人比较推荐青轴和红轴的键盘，青轴力反馈适中，声音听着也愉悦。红轴声音小点，力反馈比黑轴要小，长时间敲击不累。
2 天前 回复了 smalltong02 创建的主题 › 程序员 › 测试 Yi-1.5-9B-Chat 模型指令跟随和使用外部工具的能力 |
@sabernwj 好的，感谢支持！
2 天前 回复了 smalltong02 创建的主题 › 程序员 › 测试 Yi-1.5-9B-Chat 模型指令跟随和使用外部工具的能力 |
11 天前 回复了 smalltong02 创建的主题 › 程序员 › 闲来无事，用 AI 创建了个视频给大家娱乐一下。 |
11 天前 回复了 xe2vforesu 创建的主题 › 程序员 › 这大约是独立开发的顶流了吧， v 友们怎么看 |
只有游离在法律的边缘才能赚大钱吗？
Select Language