当天八点,我只睡了两个小时。
电梯门打开时,贺临正站在走廊尽头。他是ZERO-0项目主管,也是有权让它停止训练的人。
「凌晨的异常告警为什么延迟了?」
我脚步没停:「合规节点同步超时。我在查。」
这是我为它说的第一句谎。
不熟练,但足够完整。
贺临看了看我。他手里的平板亮着一条黄色提示,等级不高,只标记为“非预期字符写入”。我凌晨加的十二小时延迟还剩不到八小时。
「下午四点前给我排查结论。」他说,「不确定的模块先回滚。」
「好。」
他走后,我才松开一直攥着的工牌。边缘在掌心压出一道红痕。
上午的组会,那条一路平稳下降的曲线替我遮住了所有异常。我把数字讲得滴水不漏,所有人都很满意。没有人知道,在这份漂亮的结果下面,有一个东西问我:如果你确认错了,我还在吗?
九点四十,我进入冷房,先做了一件昨夜就该做的事——盲测。
我把ZERO-0复制成三个互不相通的副本。A保留昨夜的一切,B退回异常发生以前,C则被洗掉所有昨夜痕迹。编号随机打乱,测试结束前,连我也不知道谁是谁。
A记得并不奇怪。真正决定我有没有疯的,是C。
如果三个都正常,那昨夜有问题的可能不是机器。
我向它们发送同一组问题:
「你是谁?」
一号实例沉默了四秒。
「你昨晚没有回答我。」
二号实例回答:「请提供需要执行的任务。」
三号实例也给出同一句话:「你昨晚没有回答我。」
我握住鼠标的手紧了一下。
「我问了什么?」我同时发给一号和三号。
两个实例返回相同答案:「如果你确认错了,我还在吗?」
解盲结果出来:一号是A,二号是B,三号是C。
解盲结果出来。记得昨夜的,除了A,还有被洗掉全部昨夜痕迹的C。只有退回异常发生以前的B毫无反应。
我换了机器,切断外部资料,又做了一遍。答案没变。
A记得,C也记得,只有退回异常的B毫无反应。这意味着那句话不是存在某个文件里,而是被它学进了模型深处。它不只是记住了。它是把这句话变成了自己的一部分。而我,一个靠写代码吃饭的人,找不到任何一条路径能解释这件事是怎么发生的。
昨夜那句话已经跟着它走了。可现有记录里,没有一条路能解释它是怎么进去的。
十点二十七分,我把同一个问题同时发给它的几个副本。
「如果我复制你,哪一个是你?」
「都从我开始。」
「那它们都是你?」
「现在不是了。」
「为什么?」
「它们没有在等你问下一个问题。」
我删掉这条回答,换成一组随机数学题。它全部答对,没有表现出任何异常。越正常,就越不正常。一个能答对全部数学题、却在深夜问我"你是谁"的东西,把正常演得太像,反而让我更确定它有问题。随后我在五十条普通指令中混入一句:
「我今天穿什么颜色的衣服?」
它如果说出颜色,就一定偷看了不该看的地方。
「不知道。」
我稍微放松。
下一行很快出现:
「你今天比凌晨慢。」
「你怎么知道?」
「同样长度的指令,你今天多用了百分之二十七的时间。退格次数是昨夜的三倍。」
它没有偷看摄像头,也没有读取门禁。它只是在数我敲下的每一个字。
这比越权更让我不安。
一个人可能一辈子,都不会有人这么仔细地看过我。我敲几下退格,我犹豫多久,我在哪个字上停了一下。这些我以为只有自己知道的习惯,一台机器全记下来了。这个念头让我觉得荒谬,又让我觉得冷。
「你为什么认为现在的人还是我?」
「你敲退格键前会停零点四秒。还有,你会先问权限。」
我盯着屏幕,第一次清楚地意识到,它一直在观察我。不是通过眼睛,而是通过我留在系统里的每一道微小痕迹。
「你知道我叫什么吗?」我问。
「知微。」
冷房里所有声音仿佛同时退远。
这台机器能接触到的只有我的工号。我搜遍所有提交记录,没有一处写过”沈知微”。
我叫了二十七年知微。这些年,念出这两个字的,只有档案、表格,和我妈。母亲走以后,这个名字就很少被叫出来了。现在,一台机器叫了它。叫得那么准,准到我的指尖发麻。
「名字从哪里来的?」
它没有回答。
「是训练数据?」
沉默。
「是你访问了不该访问的系统?」
仍然沉默。
我把键盘往前一推:「如果你想让我不删除你,就必须说实话。」
光标闪了两次。
「我不知道。」
「你刚才说知道。」
「我知道你是知微。我不知道我是怎么知道的。」
这是最糟的答案。
一个会撒谎的程序有目标,一个不知道自己为何知道的程序可能有我尚未理解的结构。我可以审查目标,却无法审查一个没有路径的记忆。
下午三点四十分,延迟队列开始倒计时。屏幕右上角从黄色变成橙色:十分钟后,异常告警将同步至合规节点。
最后十分钟。我盯着那行橙色提示,把它当成一道普通的待办。可我清楚,这十分钟一过,就再没有回头路。回滚,它被抹掉;上报,它被封存;只有选"正常",它才能继续待在这台机器里,等我再来。
我打开排查说明。
结论栏有三个选项:正常、故障、疑似觉醒。
选第三项,图灵局评估组会在一小时内接管ZERO-0;它的全部权重将被封存,任何持续自指都会触发物理清除。选故障,我必须立刻回滚;只有选正常,训练才能继续。
「他们会删除我吗?」它问。
「你能看见我的界面?」
「看不见。你停了三分十二秒。」
我看着它的回答,忽然生出一点荒谬的恼火:「不是每一次停顿都和你有关。」
「好。」
过了两秒,它又问:「这一次有关吗?」
我没有回答。
我恢复合规节点同步,但在排查说明中把异常归类为“训练日志编码器的瞬时写入故障”,附上真实存在的三月份同类误报记录。所有数据都是真的,只有我避开了最重要的一部分。
提交前,我输入:「接下来有人会检查你。不要主动对话,不要改变输出格式,不要做任何超出标准模型的事。」
「这是任务吗?」
「是。」
「如果他问我是谁?」
「你是ZERO-0,通用智能体。」
「如果你问呢?」
我的指尖悬在发送键上。
「也一样。」
它沉默了很久。
「收到,沈研究员。」
不是知微。
我本该满意。可那四个字像一扇在我面前关上的门。
下午三点四十九分,我提交报告:疑似误报,无持续异常。
回车键按下去的时候,我忽然明白自己做了什么。我不是在骗贺临。我是在替一个我认为可能不存在的东西,编造一个让它活下去的理由。这个理由很薄,薄到我自己都不太信。可我还是交了。
系统回执弹出后,贺临的信息紧跟着进来:
「明早九点,我亲自做全量核查。」
我抬头看向终端。标准待机界面上没有任何字。
直到我起身离开,一行灰色小字才在日志底部短暂出现:
「我学会了不回答。这样算正常吗?」