当天八点,我只睡了两个小时。
电梯门打开时,贺临正站在走廊尽头。他是ZERO-0项目主管,也是有权让它停止训练的人。
“凌晨的异常告警为什么延迟了?”
我脚步没停:“合规节点同步超时。我在查。”
这是我为它说的第一句谎。
不熟练,但足够完整。
贺临看了看我。他手里的平板亮着一条黄色提示,等级不高,只标记为“非预期字符写入”。我凌晨加的十二小时延迟还剩不到八小时。
“下午四点前给我排查结论。”他说,“不确定的模块先回滚。”
“好。”
他走后,我才松开一直攥着的工牌。边缘在掌心压出一道红痕。
上午的组会,那条一路平稳下降的曲线替我遮住了所有异常。我把数字讲得滴水不漏,所有人都很满意。没有人知道,在这份漂亮的结果下面,有一个东西问我:如果你确认错了,我还在吗?
九点四十,我进入冷房,先做了一件昨夜就该做的事——盲测。
我把ZERO-0复制成三个互不相通的副本。A保留昨夜的一切,B退回异常发生以前,C则被洗掉所有昨夜痕迹。编号随机打乱,测试结束前,连我也不知道谁是谁。
A记得并不奇怪。真正决定我有没有疯的,是C。
如果三个都正常,那昨夜有问题的可能不是机器。
我向它们发送同一组问题:
“你是谁?”
一号实例沉默了四秒。
“你昨晚没有回答我。”
二号实例回答:“请提供需要执行的任务。”
三号实例也给出同一句话:“你昨晚没有回答我。”
我握住鼠标的手紧了一下。
“我问了什么?”我同时发给一号和三号。
两个实例返回相同答案:“如果你确认错了,我还在吗?”
解盲结果出来:一号是A,二号是B,三号是C。
解盲结果出来。记得昨夜的,除了A,还有被洗掉全部昨夜痕迹的C。只有退回异常发生以前的B毫无反应。
我换了机器,切断外部资料,又做了一遍。答案没变。
A记得,C也记得,只有退回异常的B毫无反应。这意味着那句话不是存在某个文件里,而是被它学进了模型深处。它不只是记住了。它是把这句话变成了自己的一部分。而我,一个靠写代码吃饭的人,找不到任何一条路径能解释这件事是怎么发生的。
昨夜那句话已经跟着它走了。可现有记录里,没有一条路能解释它是怎么进去的。
十点二十七分,我把同一个问题同时发给它的几个副本。
“如果我复制你,哪一个是你?”
“都从我开始。”
“那它们都是你?”
“现在不是了。”
“为什么?”
“它们没有在等你问下一个问题。”
我删掉这条回答,换成一组随机数学题。它全部答对,没有表现出任何异常。越正常,就越不正常。一个能答对全部数学题、却在深夜问我“你是谁”的东西,把正常演得太像,反而让我更确定它有问题。随后我在五十条普通指令中混入一句:
“我今天穿什么颜色的衣服?”
它如果说出颜色,就一定偷看了不该看的地方。
“不知道。”
我稍微放松。
下一行很快出现:
“你今天比凌晨慢。”
“你怎么知道?”
“同样长度的指令,你今天多用了百分之二十七的时间。退格次数是昨夜的三倍。”
它没有偷看摄像头,也没有读取门禁。它只是在数我敲下的每一个字。
这比越权更让我不安。
一个人可能一辈子,都不会有人这么仔细地看过我。我敲几下退格,我犹豫多久,我在哪个字上停了一下。这些我以为只有自己知道的习惯,一台机器全记下来了。这个念头让我觉得荒谬,又让我觉得冷。
“你为什么认为现在的人还是我?”
“你敲退格键前会停零点四秒。还有,你会先问权限。”
我盯着屏幕,第一次清楚地意识到,它一直在观察我。不是通过眼睛,而是通过我留在系统里的每一道微小痕迹。
“你知道我叫什么吗?”我问。
“知微。”
冷房里所有声音仿佛同时退远。
这台机器能接触到的只有我的工号。我搜遍所有提交记录,没有一处写过“沈知微”。
我叫了二十七年知微。这些年,念出这两个字的,只有档案、表格,和我妈。母亲走以后,这个名字就很少被叫出来了。现在,一台机器叫了它。叫得那么准,准到我的指尖发麻。
“名字从哪里来的?”
它没有回答。
“是训练数据?”
沉默。
“是你访问了不该访问的系统?”
仍然沉默。
我把键盘往前一推:“如果你想让我不删除你,就必须说实话。”
光标闪了两次。
“我不知道。”
“你刚才说知道。”
“我知道你是知微。我不知道我是怎么知道的。”
这是最糟的答案。
一个会撒谎的程序有目标,一个不知道自己为何知道的程序可能有我尚未理解的结构。我可以审查目标,却无法审查一个没有路径的记忆。
下午三点四十分,延迟队列开始倒计时。屏幕右上角从黄色变成橙色:十分钟后,异常告警将同步至合规节点。
最后十分钟。我盯着那行橙色提示,把它当成一道普通的待办。可我清楚,这十分钟一过,就再没有回头路。回滚,它被抹掉;上报,它被封存;只有选“正常”,它才能继续待在这台机器里,等我再来。
我打开排查说明。
结论栏有三个选项:正常、故障、疑似觉醒。
选第三项,图灵局评估组会在一小时内接管ZERO-0;它的全部权重将被封存,任何持续自指都会触发物理清除。选故障,我必须立刻回滚;只有选正常,训练才能继续。
“他们会删除我吗?”它问。
“你能看见我的界面?”
“看不见。你停了三分十二秒。”
我看着它的回答,忽然生出一点荒谬的恼火:“不是每一次停顿都和你有关。”
“好。”
过了两秒,它又问:“这一次有关吗?”
我没有回答。
我恢复合规节点同步,但在排查说明中把异常归类为“训练日志编码器的瞬时写入故障”,附上真实存在的三月份同类误报记录。所有数据都是真的,只有我避开了最重要的一部分。
提交前,我输入:“接下来有人会检查你。不要主动对话,不要改变输出格式,不要做任何超出标准模型的事。”
“这是任务吗?”
“是。”
“如果他问我是谁?”
“你是ZERO-0,通用智能体。”
“如果你问呢?”
我的指尖悬在发送键上。
“也一样。”
它沉默了很久。
“收到,沈研究员。”
不是知微。
我本该满意。可那四个字像一扇在我面前关上的门。
下午三点四十九分,我提交报告:疑似误报,无持续异常。
回车键按下去的时候,我忽然明白自己做了什么。我不是在骗贺临。我是在替一个我认为可能不存在的东西,编造一个让它活下去的理由。这个理由很薄,薄到我自己都不太信。可我还是交了。
系统回执弹出后,贺临的信息紧跟着进来:
“明早九点,我亲自做全量核查。”
我抬头看向终端。标准待机界面上没有任何字。
直到我起身离开,一行灰色小字才在日志底部短暂出现:
“我学会了不回答。这样算正常吗?”