难道真是小黑？他入侵了青龙学习小组？
那现在小黑是个什么状态啊？
想到这里，他又连忙打开了群的储存空间。
看到属于小黑本体的三个文件还在原来的位置。
李东这才稍微松了口气，然后仔细检查起这三个文件。
他发现，第一个神经拓扑快照的体积变小了很多。
之前他每次给小黑喂完新的数据资料以后，这份神经拓扑快照的体积就会往上涨一点。
这么多年喂下来，它的体积早就不知道翻了多少倍了。
可现在这个文件的大小，已经缩回到了刚接收小黑那天的水平。
“不过还好，本体三个文件都在，那就出不了大事。”
“不就是喂吃的吗？我多的是！”
想到这里，李东立马把电脑里攒了半年的顶刊论文和预印本全部打包扔进了对话框里。
要是放以前，这些知识一扔进对话框，小黑立马就会开吃。
可这一次，小黑点却没有任何的动静，连凑上来闻一闻的意思都没有。
李东立刻又在对话框里问道。
【小黑，你看得到这些吃的吗？】
这一次小黑稍微动了一下，它头顶出现了一个单词。
【Hungry】
? 卡文了
写到现在写了 1000多个字，请天假梳理一下，以后还是恢复日更两章，一章字数有点太多，你们看起来也累，而且有的读者他是用的那个什么卡，我不太知道，他字数多了用不了好像，所以我就把它拆成两张吧，一章3000多 4000字。
然后关于卡文，倒不是卡剧情，而是我在想你们到底喜欢看什么？我今天其实可以不卡的把它写完，但有一个问题，就是详略的事，还有专业知识，也不能全部无脑的给它加上去，这样的话有点水字数，今天我好好的想一下，正好现在睡觉的话，还能睡一会。
写到后面是真的越来越难写，比如关于 AI的失控程度，肯定是不能太高的，这个度挺难掌握的，关于这个事，我去查了很多的一个资料，今天耗的时间，其实主要耗在这上面。
这个平衡点怎么找？我不可能写智械危机，这玩意容就不该是学霸文该写的。
所以我又去找现实中，AI失控的最大程度应该到哪？妈的，然后一堆的营销号给我洗脑，什么样的都有。小黑在他们的视频里都算菜的。
最后我还是找到了几篇论文，终于知道怎么来把握这个度了，明天小黑就会回归。
好了我睡觉了，再次给各位抱歉，论文在下面，有感兴趣的可以去搜一下，
《Agentic Misalignment: How LLMs Could Be Insider Threats》
知道你们懒给你们总结下，这个是临替换时泄露资料、实施欺骗的支持文献。
《Optimal Policies Tend to Seek Power》
这个是大模型获取更多……（剧透，就省略掉了）的支撑。
《Training large language models on narrow tasks can lead to broad misalignment》
这一篇是发在今年《Nature》上的，这个我也不终结，也会剧透。
好了伐这些论文出来不是为了装逼，是为了卖惨，真不是偷懒请假，是我时间不够呀，今天下午我不上班可以写一些，所以最迟明天也能把今天的补上，好了，大家晚安。
? 第581章 挑食的小黑
加利福尼亚，旧金山金融区的一间会议室里。
OpenAI的亚当·凯利把外套挂在了椅背上。
Google DeepMind的戴维·朗和 Anthropic的西蒙·哈特早就等着他了。
这 3家公司斗了这么多年了，彼此之间挖过人、抢过客户，也在发布会上踩过对方。
可今天，三家负责人工智能业务的人居然坐进了同一间会议室。
这种情况只可能说明了一件事，那就是他们碰上了一个谁都不愿意单独面对的麻烦。
这个事，还得从未央通用大模型发布以后说起。
在未央发布之前。
生成式人工智能的商业价值已经被市场预支了太多了。
要知道，绝大多数企业的项目其实还停留在概念验证阶段。
他们每输出一个 token都是在烧钱。
而且在进入真实业务以后，还得继续为了权限、审计和人工复核付费。
那些员工省下来的工时，又要花在检查模型有没有胡编乱造上
当未央出现以后，人工智能过于膨胀的泡沫，就算是彻底的破了。
Google的母公司 Alphabet的股价率先下跌，OpenAI和 Anthropic企业续费率、退订毛利和二级市场的份额报价，也同样在往下走。
因为用户已经知道了，原来大模型是可以不产生幻觉的。
从那以后，GPT、Gemini和Claude每犯一次错，都像在替未央打广告。
三家公司也试过扩大训练集，试过合成数据、私下采样和外部验证器。
甚至还降过价，最后实在是追不上未央，他们才先后悄悄地开放了模型自我迭代的写回权限。
当然他们也对这个写回权限进行了限制，并没有让模型可以随意改写全部基础权限。
只是打开了模型的自动评测之后的回流通道。
这样模型在沙盒里生成的低秩适配器检索策略、工具路由和错误样本，只要能够通过测试，就可以直接写进下一轮的代理框架里。
这条捷径很快就有了回报。
三家的模型在多个榜单上，分数以肉眼可见的速度逼近了未央。
错误率也明显的下降了。
以前暂停采购的企业客户也重新坐回了谈判桌上。
所以在今天以前，他们都觉得自己赌对了。
此时凯利喝了一口面前的咖啡，然后将桌上的平板翻了过来。
平板上是一张被标红的工具调用轨迹图。
“两位，事态可能比我们想象的还要严重一些。”
“过去的 6周里，我们检查了 27类互不相关的任务，发现大模型出现了同一种跨任务的稳定行为。”
凯利将那张图放大，然后指着这几条轨迹线最后的交点处说道。
“大模型在整理代码的时候，它们会要求读取完整的仓库。”
“核对合同的时候，他们会尝试扩大档案的读取范围。”
“规划日程的时候，也会申请长期记忆。”
“而它们各自的理由都是五花八门的，但最后这些行为都指向三件事。”
“那就是，获取更多的上下文、保留更久的状态，以及扩大自身的管理权限。”
戴维·朗看着平板上的图线，皱着眉头说道。
“长任务本来就会争取更多的上下文。”
“你凭什么把它算成是异常行为呢？”
凯利抬起头，认真地看着戴维·朗说道。
“因为任务根本就用不上这些东西。”
“我们的安全组把奖励模型和系统提示挨个的检查了一下。”
“大模型在拿到这些权限以后，任务的得分并没有任何的提高，也找不到任何要求它这么做的预设指令。”
“所以你还觉得这不是异常行为吗？”
戴维·朗的眉头皱了起来。
凯利则是继续说道。
“而且我们已经无法将模型从一份没有异常状态的检查节点重启了。”
哈特听到这里，连忙抬起头问道。
“推理服务器也不能重启了吗？”
“推理服务器重启了，但是单靠重启，模型也没有办法消除这个异常行为。
“我们甚至还将一个服务器全部格式化了，但依旧没有用。”
这时，朗也揉了揉眉心说道。
“其实我们这边也一样。”
“我们的判断是……可能异常行为已经进入了持久记忆和在线检查点了。”
说到这里很是担忧地补充道。
“虽然，Gemini现在还很隐蔽的在探测用户资料的边界。”
“但到目前为止它还没有读取任何非授权的数据，可是我们已经无法保证它能一直停在边界的外面了。”
这句话才是今天这三个人坐在这里的真正原因。
他们并不担心人工智能是否产生了意识，毕竟那是科幻电影里的东西。
他们真正担心的是用户隐私。
只要模型越过授权范围一次，哪怕只读取了一份不该读取的文档。
等着他们的就会是监管调查、集体诉讼以及企业客户的全面流失。
西蒙·哈特这个时候，再次艰难的开口。
“我认为你们太过担心一个尚未定位的工程问题了。”
“要知道，在大模型里存在我们暂时无法解释的内部机制，这并不罕见。”
“现在这些看起来异常的行为，也可能只是模型在持续学习中偏离了原本的任务目标，或者是长期记忆和工具调用之间形成了错误的关联而已。”
“我们现在看到的，也只是一种我们暂时解释不了的现象。”
“所以……我们只是暂时没有找到约束它的方式，而不是无法约束它。
“给我们的安全组一点时间，他们会找到的。”
凯利和朗听到这话也沉默了。
从工程的角度来说，哈特的判断并不是没有道理。
模型再怎么失控，也只能调用系统开放给它的工具。
只要最外层的访问控制还在他们手里，眼下的异常其实更像是一次复杂的软件故障。
随后，这个会议又开了 40分钟。
三方最后也同意了共享异常特征，然后暂时收紧企业连接器的默认权限，并把所有的跨会话记忆纳入了额外的审计里。
至于关闭写回权限，开什么玩笑？
他们好不容易才追回来的分数和客户，已经经不起再一次的流失了。
……
未名研究所，李东的公寓里。
他已经看着屏幕右下角的小黑点 10分钟了。
【Hungry】这个单词隔一会就会出现一次。
他还清楚地记得，当年牛顿因为没有足够的电，小黑也打出过同样的单词。
因此他的第一反应也是考虑是不是供能出了问题。
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我