godqueue 最近的时间轴更新 godqueue 最近的时间轴更新 |
godqueueV2EX 第 466888 号会员，加入于 2020-01-27 17:57:17 +08:00 |
| 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ 程序员 • godqueue • 2 天前 • 最后回复来自 Charon2050 | 31 |
godqueue 最近回复了
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@Ayahuasec 嗯。。看来也可以考虑 AMD 的 cpu 了~~~
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@rabbbit 还有这种业务，非常棒，适合我~~~我之前看阿里云啥的都贵的要死。。
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
你们不会拿笔记本显卡跑 70b,如此大模型吧。。
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@lrigi 哈哈。。我知道 llama3 默认是 8b,你们说的 4bit 不懂。。。fp16 也不懂。。还得回炉学习下。。
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@rabbbit 我用 llam3:8b 输出的和 lrigi 一样。。应该是正确的吧
2 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 需要一个在浏览器内本地运行的名称分类模型（100MB 内），输入一个或者多个关键词，猜测返回他们的共同属性，有没有好的建议？ |
如果需要非常精确，那好像只能自己写字典来做这个事情。。
2 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 需要一个在浏览器内本地运行的名称分类模型（100MB 内），输入一个或者多个关键词，猜测返回他们的共同属性，有没有好的建议？ |
如果是生产就老实的用 gpt 吧。。或者其他大模型也可以。。但是大模型有幻觉，输出的内容很可能第一次和第 2 次的内容不一样。。。这个问题好像没有太好的手段。。
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@Ayahuasec amd cpu 不影响跑大模型吗？现在 amd 的 cpu 咋样，还有啥东西会存在兼容问题之类的么？
跑虚拟机或者安装 linux 系统会有影响吗？
我是用 ollama run llama3 "summarize this file $(cat test.txt)" --verbose 这个命令来看速度的
total duration:4m16.4180938s
load duration:524.8u
。。。。。
跑虚拟机或者安装 linux 系统会有影响吗？
我是用 ollama run llama3 "summarize this file $(cat test.txt)" --verbose 这个命令来看速度的
total duration:4m16.4180938s
load duration:524.8u
。。。。。
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@rabbbit 我还没遇到这个情况。。只是学了一下提示词、function calling 。然后自己用了下公司的知识库。。随便问回答的感觉还可以，用的 llama3 模型。一般情况下用提示词基本都能解决。。
2 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
现在用的是 mac pro2017 笔记本，有点老。。新的 mac 好像跑这些也不太行。。
看了下 4080 、4090 的笔记本都比较贵。。想先看看 4060 、4070 之类的本能不能简单的满足学习的场景
好像除了这个，我对显卡没啥要求。。这样来看去买 4080 、4090 笔记本又感觉有很费钱。。
看了下 4080 、4090 的笔记本都比较贵。。想先看看 4060 、4070 之类的本能不能简单的满足学习的场景
好像除了这个，我对显卡没啥要求。。这样来看去买 4080 、4090 笔记本又感觉有很费钱。。
Select Language