玩 AI 系咪都要用 GPU

peterchu1

想买机玩 AI , 如果升级用 GPU , 其实分别大吗 ?

thanks

s84292

没基本上唔洗玩

Cpu 就算有npu,ai 训练性能都只系4090 4080的1/10唔到

但如果只系轻度没需要自己买，去租算力或者云端平台仲抵

vinsai

用张8GB RAM 嘅nvidia卡玩下先啰
最好过就>12GB啦

raylee

想买机玩 AI , 如果升级用 GPU , 其实分别大吗 ?

thanks
peterchu1 发表于 2024-5-13 11:23

玩咩AI ?

Bluth_Lai

没基本上唔洗玩

Cpu 就算有npu,ai 训练性能都只系4090 4080的1/10唔到

但如果只系轻度没需要自己买，去租 ...
s84292 发表于 2024-5-13 12:41

    云端平台的确系好提议，睇到Google Cloud用嚟做云端处理，每日用10分钟一个月10蚊都唔使，但系用嚟做AI训练连续一个月就够买一张4060。



Training = $3.465 x 24 (hrs) x 30 (day) = $2,494.8
Deployment and online prediction = $1.375 x 10/60 (hrs) x 30 (day) = $6.875

Vertex AI pricing
https://cloud.google.com/vertex-ai/pricing#vertex-ai-pricing

s84292

云端平台的确系好提议，睇到Google Cloud用嚟做云端处理，每日用10分钟一个月10蚊都唔使，但系用嚟 ...
Bluth_Lai 发表于 2024-5-13 08:39

但人地有48gb 以上vram
(长期做lora 训练，我日日屌张4090得24gb 唔够用）

同google 系有免费玩法的，Colab轻量训练几个钟一蚊都唔洗
虽然12gb vram 上限

如果唔系我咁日日做足7/24, 一个月都系玩几次
有好多平台2~4美金每小时租一张a100 40gb连主机+电费
唔介意大陆server 1 蚊美金都唔洗