作者: peterchu1 时间: 2024-5-13 11:23 标题: 玩 AI 系咪都要用 GPU
想买机玩 AI , 如果升级用 GPU , 其实分别大吗 ?
thanks
作者: s84292 时间: 2024-5-13 12:41
没基本上唔洗玩
Cpu 就算有npu,ai 训练性能都只系4090 4080的1/10唔到
但如果只系轻度没需要自己买，去租算力或者云端平台仲抵
作者: vinsai 时间: 2024-5-13 15:02
用张8GB RAM 嘅nvidia卡玩下先啰
最好过就>12GB啦
作者: raylee 时间: 2024-5-13 16:12
想买机玩 AI , 如果升级用 GPU , 其实分别大吗 ?
thanks
peterchu1 发表于 2024-5-13 11:23
玩咩AI ?
作者: Bluth_Lai 时间: 2024-5-13 16:39
没基本上唔洗玩
Cpu 就算有npu,ai 训练性能都只系4090 4080的1/10唔到
但如果只系轻度没需要自己买，去租 ...
s84292 发表于 2024-5-13 12:41
云端平台的确系好提议，睇到Google Cloud用嚟做云端处理，每日用10分钟一个月10蚊都唔使，但系用嚟做AI训练连续一个月就够买一张4060。
[attach]2422993[/attach]
Training = $3.465 x 24 (hrs) x 30 (day) = $2,494.8
Deployment and online prediction = $1.375 x 10/60 (hrs) x 30 (day) = $6.875
Vertex AI pricing
https://cloud.google.com/vertex-ai/pricing#vertex-ai-pricing
作者: s84292 时间: 2024-5-13 17:05
本帖最后由 s84292 于 2024-5-13 09:15 编辑
云端平台的确系好提议，睇到Google Cloud用嚟做云端处理，每日用10分钟一个月10蚊都唔使，但系用嚟 ...
Bluth_Lai 发表于 2024-5-13 08:39
但人地有48gb 以上vram
(长期做lora 训练，我日日屌张4090得24gb 唔够用）
同google 系有免费玩法的，Colab轻量训练几个钟一蚊都唔洗
虽然12gb vram 上限
如果唔系我咁日日做足7/24, 一个月都系玩几次
有好多平台2~4美金每小时租一张a100 40gb连主机+电费
唔介意大陆server 1 蚊美金都唔洗