参数用 fp32 存的话，Model Memory=Model Parameter * 32 / 8 ，比如说 7B 的 LLaMA 就是 4*7 Billion Byte= 28GB
fp16/bp16 减半，int8 再减半

Inference 时，Total Memory ≈ 1.2 * Model Memory ，因此全量 7B LLaMA 需要 40G 的显卡

全量微调的需要的参数量就更多了，> 5 * Model Memory （ AdamW 优化器，另外没算 Activation Memeory ，与 tokens 量有关）

因此想要微调可以看下低参数量微调的工作，像 lora 等 https://github.com/huggingface/peft ，配合 16 精度参数能在 24G 上微调

更具体数字可以参考 https://blog.eleuther.ai/transformer-math/

目前无，可以去群里看一手消息 https://discord.gg/nwUJaTzjzv

@FinlayX #1 如果是为了 OpenAI 付费等这周上了 4040 的新卡再开吧。

虽然我也是 aff man ，但还是想吐槽现在的 aff man 自己不了解或者故意不说清楚情况，就匡别人开

OneKey 最早开的是美卡（国内外都可支付），那卡不行后给新用户开的是只支持国内支付的港卡，周末给开美卡的补了张 4040 （卡内余额可以互转，尝试了下可以绑定 OpenAI ），新用户暂时还不能开（说是这周支持）

另外还没有上提现功能，据说还在开发，具体时间未知，介意者建议先观望

最新消息可以围观下官方 Discord https://discord.gg/nwUJaTzjzv

最后附个我的 invite link https://card.onekey.so/?i=8Y8O3W

目前看下来主要有两种说法，
一，很多用 Depay 绑卡卖 120 刀的账号但不付费，卡 BIN 被拉黑了
二，iOS App 出来后没有 Cloudflare 验证，或通过 sentry.io 收集 IP ，把不支持的国家 BAN 了
也都有例外情况，另外这波大多是开过 PLUS 的被封。

@likunyan #4
@avenger #6
目前美国卡只给之前开到美国的替换，上线说是要等到下周

@Hormazed #46 交易所买币转账充值，和 depay 一样，搜一下应该有不少教程，另外非原先美卡用户下周二才能开，可以先等等

@Mandyer #25 Onekey 官网下面有个 Slack ，里面会有通知 https://onekey.so

@Alexf4 #30 我有个没续 PLUS 的号 IP 全球跳，暂时也没事

「周围博士比较多 可能比较有利以后出国读博，工作中可能可以发点论文或者专利之类」关于这点，你是干活做项目的，不是带你发论文的

@Alexf4 #12 nobepay 开的几个号的 PLUS 暂时都没问题

是 IP 问题，另外大厂 VPS IP 基本上都被 ban 了，你搜搜就有讨论了

@liqiu #8 API 付费

@Tspm1eca #2 如果加密货币消费，OneKey 目前开的香港卡可以。如果 OpenAI 等充值，目前不行，说是在找卡。Nobepay 应该还行

把文档转换成 embedding （向量表示），然后在询问或者对话时通过向量检索构建好的 Index （索引）召回相关文档，一同输入给 LLM 。
可能要找的项目： https://github.com/hwchase17/langchain 或 https://gpt-index.readthedocs.io/en/latest/

sms 上周美国不行，别的一些国家多试试还是有可以的

看了下 https://www.xiebruce.top/1863.html ，rz 还要选文件，sz 也需要输入路径，而且也不适用本地传文件到服务器，或者服务器传文件到别的服务器，没太看出来咋方便了。

Vicuna 的基座模型 LLaMA 本来就不咋会中文，所有才会有二次预训练的 Chinese-LLaMA https://github.com/ymcui/Chinese-LLaMA-Alpaca/。另外 SFT 的 ShareGPT 中文数据也较少。

@taresky #3 「 4288 现在大部分支付场景都不行了，团队已经在测试新卡段了，请耐心等待一段时间 🙏」 from 官方

使用发现有些会重排，有些不会。