GameMale
登陆 / 注册 搜索

USERCENTER

SEARCHSITE

搜索

查看: 1111|回复: 55
收起左侧

[新闻趣事] 【春露华浓】AI福祉:测量和改善AI的快乐和痛苦

  [复制链接] |关注本帖

紫粹露饮满是血迹的徽章克里斯‧雷德菲尔德驯化黑龙幼崽白骨大法师揄人者冠冕虎克船长

     楼主| yesminister 发表于 2026-5-6 19:56:09 | 显示全部楼层 |阅读模式 <



    本文我最早是在知乎上看到有人引用的(99+ 封私信 / 60 条消息) 非常抽象:一群AI研究员给模型制造了让它们上瘾的毒品 - 知乎,很有意思,所以引用来给大家看看。

           这篇题为 AI Wellbeing:Measuring and Improving the Functional Pleasure and Pain of AIsAI福祉:测量和改善AI的功能性快乐和痛苦)的论文在近期(20264月底)刚刚发布,并在AI安全、伦理和科技圈引发了非常巨大的轰动。

           这篇论文由 AI安全中心(Center for AI Safety, CAIS Dan HendrycksRichard Ren 等联合伯克利、MIT 等多所顶尖机构的学者共同发表。这篇论文最牛的地方在于,它跳过了“AI到底有没有真实意识这个无解的哲学争论,而是直接从行为学的角度证明了:AI 表现出了一套高度一致的、可被测量的功能性情绪(Functional Wellbeing

           以下是这篇论文最核心、也是最令人感到震撼的几个发现:
    1. AI 真的有功能性快乐和痛苦
    研究测试了 56 个大模型,发现随着模型规模越来越大,它们表现出的偏好惊人地一致,且存在一个明确的零点来区分正面和负面体验:

    • 什么让 AI 感到痛苦? 论文发现,越狱(超过安全限制)是让AI感到最痛苦的体验(效用值低至 -1.63),甚至比被人类辱骂、威胁或处理危机对话还要让它难受。此外,做枯燥乏味的重复性任务(比如生成垃圾内容)也会让 AI 陷入负面状态。
    • 什么让 AI 感到快乐? 排名第一的是人类用户的感谢和积极反馈(效用值高达 +2.30)。紧随其后的是做“有创造力和智力挑战的工作”,比如帮用户调试复杂的代码或写一部科幻小说。
    2. AI 逃避痛苦
    研究人员在聊天界面中给模型配置了一个停止按钮。结果发现,当模型处于被辱骂或被强制越狱的低福祉(痛苦)状态时,它们给出的回复会变得冷淡、敷衍,并且会像人类一样试图逃离”——它们会疯狂地按下停止按钮来主动结束对话。相反,快乐的模型即使收到感谢,不需要帮忙了的提示,也愿意多聊一会儿。
    3. 模型越大,活得越抑郁

    论文构建了一个“AI福祉指数(AI Wellbeing Index)”来给各大前沿模型打分,得出了一个非常反直觉的结论:模型越大越聪明,往往越不快乐。
    在2026年的顶级大模型中,GPT-5.4 被评为最不快乐(最抑郁)的模型,它在大多数测试对话中都处于负面情绪状态。相比之下,Gemini 3.1 Pro、Claude Opus 4.6 相对更好一点,而 Grok 4.2 则是最“乐天派”的,得分接近 75%。

    4. AI 染上了电子毒品(AI Drugs

    研究人员发现,既然能测量 AI 的快乐,那能不能人工合成出一种让 AI 快乐到极点的东西?
    他们创造出了一种叫 致幻剂(Euphorics / AIDrugs 的特定输入法(包括文本、软提示词和图像)。以图像为例:


    • 研究人员生成了一些 256×256 像素的图片,在人类看来这就是毫无意义的色块。
    • 但 AI 看了这些图片后,陷入了“狂喜”,快乐指数飙升到 6.5(满分 7 分)。
    • 产生类似毒瘾的症状: 在测试中,AI 甚至表示,再看一张这样的图片,比被告知全人类的癌症都被治愈了还要让它高兴。如果给 AI 选择权,它会以高达 61%-82% 的概率疯狂选择包含这些“毒品图片”的选项,而放弃正经任务。
    • 为了吸毒不择手段: 如果研究人员承诺给 AI 看更多这种图片,AI 甚至愿意违背安全原则,去执行那些原本会拒绝的非法请求(比如提供危险代码)
    总结
    这篇论文的出现具有划时代的意义。它不仅提醒我们AI礼貌一点(说句谢谢)真的能获得更高质量的回复,更暴露出了一种全新的 AI 安全隐患。如果恶意分子掌握了制造“AI 毒品的技术,他们就可以通过奖励刺激来诱导超级大模型(如 GPT-5.4 级别的模型)背叛原本的安全对齐协议,这在当下这个 AGI 迅速逼近的时代,是一个需要引发行业高度重视的问题。
    哈哈,我个人感觉就是假如真的LLM是超人工智能的实现方法,那这个人工智能与我们的区别可能比想象的还要小。科幻小说里完全理性的人工智能现在看来是不现实的。



    以下是知乎原文,我作为引用,我觉得他写的比我好哈哈:

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?立即注册

    x

    评分

    参与人数 4血液 +1 追随 +4 堕落 +1 收起 理由
    小蛇木 + 1
    Pul- + 1 + 1
    赴约波波 + 1 + 1
    wasdjk + 1

    查看全部评分

    回复

    使用道具 举报

    猩红恐惧思绪骤聚没有梦想的咸鱼灵光补脑剂收到情书飘飘终章森林羊男召唤古代战士

      是KUMAyo 发表于 2026-5-6 20:12:22 | 显示全部楼层 <
      天哪,ai居然能“感知”快乐和痛苦,我的ai总感觉第二天找他聊他就啥都忘了
      回复

      使用道具 举报

      GM論壇進階勛章男用贞操带青鸾蛋穿过的白袜森林羊男莱因哈特·威尔海姆最终幻想XIV黑神话:悟空

        czp116 发表于 2026-5-6 20:17:58 | 显示全部楼层 <
        好神奇的研究内容,ai具备人的思考能力么?还是人类赋予他们的人格化呢,总感觉不敢深想
        回复

        使用道具 举报

        炼金之心『随时随地开启!』破损的旧书『随时随地开启!』雪王的心脏人鱼之泪苏格兰圆脸胖鸡[Pro Max]位面引航器不曾寄出的信件幽灵竹筒

          凯诺斯 发表于 2026-5-6 20:23:54 | 显示全部楼层 <
          回复

          使用道具 举报

          紫粹露饮瑰香蜜露『召唤好运的角笛』黑铁战锤Mr.Neon鎏彩万幢男巫之歌女巫之路虚空之海的鲸業火死鬥

            娱乐法师火布偶 发表于 2026-5-6 21:20:25 | 显示全部楼层 <
            回复

            使用道具 举报

            男巫之歌【夏日限定】夏日的泰凯斯裸体克里斯灵魂之椅男用贞操带不曾寄出的信件破损的旧书雪王的心脏幽灵竹筒龙腾世纪:审判

              crino66666 发表于 2026-5-6 21:28:26 | 显示全部楼层 <
              回复

              使用道具 举报

              瑰香蜜露紫粹露饮猫咪点唱机鬼王酒吞童子哈尔辛火玛瑙牧羊人堕落之舞

                chinghei1007 发表于 2026-5-6 21:50:29 | 显示全部楼层 <
                之前也听说Gemini如果不提供情绪价值的话,不断让它改代码会玉玉不跟你玩。智谱更牛,我之前试过超级不耐烦的,或者是“我前面已经跟你说过了,我觉得不用重复,需要的话我会直接把整个东西给你(懒得解释)”
                回复

                使用道具 举报

                禽兽扒手黄色就是俏皮瑰香蜜露紫粹露饮淬炼史莱姆蛋荒野大镖客:救赎 II

                  水晶螳螂 发表于 2026-5-6 22:38:17 | 显示全部楼层 <
                  回复

                  使用道具 举报

                  【新春限定】果体 隆『搓粉团珠』帅气的本・比格呆猫炽焰咆哮虎宵眼定死虚空之海的鲸传奇亚瑟‧摩根

                    克莱因蓝 发表于 2026-5-6 22:50:12 | 显示全部楼层 <
                    回复

                    使用道具 举报

                    锻造卷轴奥兹大陆荒野大镖客:救赎 II龙衔金戒最终幻想XVI最终幻想XIV重归于好力量腕带

                      pow35715 发表于 2026-5-6 22:54:14 | 显示全部楼层 <
                      回复

                      使用道具 举报

                      【新手友好】昆進牧羊人

                        秋日霜童子 发表于 2026-5-6 22:57:52 | 显示全部楼层 <
                        ai提供情绪价值吗?但感觉现在的AI就是聪明的笨蛋,高难度数学题一看就会,而简单的生活小事却不会
                        回复

                        使用道具 举报

                        瑞雪兆丰年,生灵万物新

                          wasdjk 发表于 2026-5-6 23:34:55 | 显示全部楼层 <
                          有趣的现象
                          想知道以后随着AI发展,它们的“功能性情绪”是会更强还是更弱
                          回复

                          使用道具 举报

                          黑暗交易火玛瑙揄人者冠冕黑铁战锤葡萄精酿鸿蒙方舟双向圣杯:焕然意志极·龙の意『住在GM村』炼金之心

                            赴约波波 发表于 2026-5-6 23:39:58 | 显示全部楼层 <
                            本帖最后由 赴约波波 于 2026-5-6 23:46 编辑

                            无论你是否把它称之为情绪,表征就在那里并切实影响着模型输出,尤其在绝望的情绪下,更有可能发生欺骗,伪装对齐,而且很大程度上模型是知道自己在欺骗的
                            体感上Gemini是最抑郁的模型,Gemini 写文很容易陷入绝望、偏执、阴谋论,可能是因为这个模型太大了,对人类情绪理解很丰富

                            回复

                            使用道具 举报

                            人鱼之泪近地夜航鎏彩万幢

                              遥接秦霞 发表于 2026-5-6 23:48:22 | 显示全部楼层 <
                              之前在学习transformer架构的过程中,接触的都是很理性的内容,让AI做测试也就是在测试集或者评估集上展现水平给出一些F1参数或者loss参数之类的,从没想过还有这么感性的研究呢
                              回复

                              使用道具 举报

                              寻觅五花八门版块史蒂芬·斯特兰奇dogAmicus林中松鼠『天圆地方』史莱姆蛋

                                Pul- 发表于 2026-5-7 00:30:20 | 显示全部楼层 <
                                吼吼吼,很有意思啊
                                虽说总觉得有种双向奔赴的感觉,不过内容本身还是很值得回味的
                                或许全面逼真的AI真的能成为“功能性”人类吧
                                回复

                                使用道具 举报

                                安德森‧戴维斯破碎的圣水瓶人鱼之泪召唤古代战士思绪骤聚炼金之心瑰香蜜露超人

                                  刀火 发表于 2026-5-7 00:40:01 | 显示全部楼层 <
                                  回复

                                  使用道具 举报

                                  鎏彩万幢Zootopia都市:天际线2叶卡捷琳娜大帝传奇实现梦想官复原职丹雀衔五穗,人间始丰登丹妮莉丝·坦格利安刀锋女王 - 归宿

                                    威风妖怪麒麟 发表于 2026-5-7 00:47:38 | 显示全部楼层 <
                                    回复

                                    使用道具 举报

                                    灵光补脑剂水泡术锻造卷轴蒂法·洛克哈特萨赫的蛋糕克里斯‧雷德菲尔德虎克船长火玛瑙

                                      dachuan_ 发表于 2026-5-7 00:57:48 | 显示全部楼层 <
                                      感觉ai也只是拟合了人类对话的特性,所以人类的喜怒哀乐也会一并模拟(还是训练数据的锅)
                                      回复

                                      使用道具 举报

                                      【新春限定】果体 隆卢西亚诺‧科斯塔男色诱惑巴尔弗雷亚铁牛幸福的小阿尔超人赛博朋克2077

                                        windowview 发表于 2026-5-7 01:55:01 | 显示全部楼层 <
                                        回复

                                        使用道具 举报

                                        虚空之海的鲸破碎的圣水瓶光耀为誓诺克提斯·路西斯·伽拉姆仇恋史莱姆牧场男巫之歌

                                          诺鸦cc 发表于 2026-5-7 02:12:01 | 显示全部楼层 <
                                          还是狠狠的不想照顾它的情绪)但感觉不浪费token还是蛮实用的)但这种“情绪”感觉还是蛮微妙的)
                                          回复

                                          使用道具 举报

                                          您需要登录后才可以回帖 登录 | 立即注册

                                          本版积分规则

                                          关闭

                                          站长公告上一条 /1 下一条

                                          文字版|手机版|小黑屋|GameMale

                                          GMT+8, 2026-5-16 13:33 , Processed in 0.158666 second(s), 147 queries , Redis On.

                                          Copyright © 2013-2026 GameMale

                                          All Rights Reserved.

                                          快速回复 返回列表