首页 › 五花八门 › 坛友们关于本地部署AI有需求或想法吗

Benjamin97 发表于 2025-2-25 05:50:47

个人最想要的还是能更本地部署，自己养成调试的AI模型的，但是目前的基础科技硬件水平不允许啊，根本不可能本地便携部署

boowak03 发表于 2025-2-25 06:24:10

虽然也想试试本地部署，但对配置的要求有些高

2302594 发表于 2025-2-25 06:40:07

本地部署还是不太行，和线上的差很远

真的不会取名字 发表于 2025-2-25 07:19:19

倒是用不太上，毕竟网上直接用更方便;P

you9632587 发表于 2025-2-25 07:41:33

本地部署要效果好首先要一台高配电脑就已经挡住大部分人了吧

飞扬fox 发表于 2025-2-25 07:42:45

感觉本地部署还是太麻烦了，一般还是在玩在线api

崽仔狼 发表于 2025-2-25 08:06:10

我只部署了本地AI绘图惹，至于语言大模型还没有捏

是阿行嘞 发表于 2025-2-25 08:12:06

有非常大的需求，但实际还是只能线上使用...无论是本地ai绘画还是聊天本可的电脑都支撑不住（）

野生阿努厨 发表于 2025-2-25 08:18:21

可能大多数大模型设计出来就不是为了做本地化部署的，小一点的模型也许部署成本低，但性能也低，自然是没人用的，还不如做个高性能的顺便租服务器。
大语言模型比出图的模型消耗更大，本地化部署更难，如果只是想写涩涩可以试试grok3。

cdcai 发表于 2025-2-25 08:27:48

AI的使用频率很低，在线的就完全够用了

Psmhan 发表于 2025-2-25 08:44:15

本地部署还是太吃硬件性能了，等级稍微高点的AI真的跑不起来

咸鱼鱼 发表于 2025-2-25 08:46:12

现在个人本地部署还是不太行，可以再期待1-2年的科技迭代

Kashio 发表于 2025-2-25 09:08:30

绘画的本地部署一个30XX 40XX就可以跑起来，语言模型的显存很困难，一般是买azure之类的在云服务器上部署一个私人的

Wanda 发表于 2025-2-25 09:25:16

本地部署算了8，本可得小破鸡哥还想多活几年

tuxonstar 发表于 2025-2-25 09:28:37

试着部署了一个比较小型的模型，使用起来确实方便很多，但是模型的能力就明显不足了。。。

Alier 发表于 2025-2-25 09:32:32

只本地部署过stable diffusion玩玩ai绘画，不过也比不上那些专精炼丹的大佬，还是玩玩就得了，对电脑配置要求也高

Riverlethe 发表于 2025-2-25 09:32:45

够呛啊，我现在用deepseek基本上当搜索引擎用，用来找菜谱什么的。。。其他的聊天啊的功能基本用不到。生成图片更是没啥需求。AI在我这更像是，咨询台。。。

tadpole 发表于 2025-2-25 09:33:07

本地显存不够很难部署llm，cpu又太慢了
最近一直在搞dp部署，蒸馏效果不是很好，量化版本最低也要200G左右显存

墨燝 发表于 2025-2-25 09:39:31

大学时期第一次本地训练神经网络，那个风扇转得我都心疼
自此以后我就不再有自己本地跑的想法了，毕竟服务器资源用起来不心疼

Mochizuki 发表于 2025-2-25 09:52:50

4090可以部署32B的通义千问，deepseek也试过，没通义千问效果好

查看完整版本: 坛友们关于本地部署AI有需求或想法吗