“老师,还没有恢复正常吗?”

“很抱歉,我们正在进行修复工作,等正常之后,我们会正式通知大家的。”

“究竟是什么问题啊?我听说好像是AI攻击了人类,所以实验室采取了紧急措施?”

“不会发生这种事吧?我之前听说,这些AI只是对话程序而已,是这样的吗?三浦老师?”

“没有那回事,这只是谣言,只是程序出现了稍微有些棘手的BUG……如果大家没什么事的话,还先请回去把,里面还有工作人员在休息。”

休息什么呀,说的这么大声,早就吵醒了,在迷迷糊糊之间,严可守在心里暗骂了一句,他艰难的抬起头,睁开眼睛,眼前的电脑屏幕上,都是密密麻麻的代码,他瞥了一下时间,下午4点钟,他睡了差不多6个多小时。

“不好意思,真是打扰了……不过,如果恢复正常的话,请一定要通知我们啊,三浦先生,你有我们的手机号吗吧。”

“所有测试人员的通讯方式我们都有保存,请放心。”

隔间的隔音效果很差,虽然机房里主机运行的背景声音已经不低了,但门外几个人的说话还是一字不漏的钻进严可守的耳朵,严可守习惯性的伸出右手,想去摸手边的鼠标,但在睡觉的过程中,被压了6个小时的手臂却传来了一阵尖刺般的麻木疼痛,严可守忍不住一声闷哼叫出声来。

“严君,你没事吧。”在门外的三浦闻声推开门,后面的几个学生立刻好奇的凑上脑袋,严可守龇牙咧嘴的朝着门缝看了一眼,脸上的表情像是在哭,又像是在笑,像是疼痛,但又好像是享受……这种感觉,只有当事人自己最清楚。

“没事,”严可守对三浦说,然后对着自己发麻的手臂示意,“刚睡醒而已。”

“这就是来自Z国的严可守先生啊,”在三浦后面,一位留着长发,长得还蛮漂亮的女学生惊讶的感慨,“听说这些程序都是您一手创造的!”

“三浦,”严可守直接对他说了中文,“让他们先离开吧。”

三浦是筑波大学的一名助教,在这个项目正式开展之前,他负责在这所大学教计算机加密方面的课程,严可守当年在日本读大学的时候,和他一起切磋过一些“黑客技术”,等他的项目正式通过之后,日本政府为了对项目保持一定的控制,在经过审查之后,同意严可守选三浦作为日本的主要技术参与人员。

在这个项目当中,三浦的作用主要还是加密防御一块,防止AI程序被一些意外的病毒所干扰,严可守曾经说过,AI的程序成长到一定程度之后,就好像人的大脑,再做任何的改动都会让整个程序崩溃,从这个角度来说,AI在计算机世界当中,是非常脆弱的,不用说有破坏力的病毒,就算是有时候一些常规的系统冲突,也会让AI陷入不知名的BUG,或者死循环。

三浦把一群学生赶出去的时候,严可守的世界又恢复了一片安静,除了在隔间入口处,那两名坐在那里,手上抱着枪,尽忠职守的自卫队士兵,房间里就只剩下主机和空调运行的低鸣,严可守一边揉着太阳穴,一边将自己身体的中心后移,背靠着椅子支撑着,眼神一动不动的盯着代码界面。

看了良久,严可守无奈的摇了摇头,一言不发的关掉了代码界面,系统提示是否保存此次修改,严可守看都没看就关掉了,这也就意味着,在他睡觉之前30多个小时的劳动成果,完全消失了。

三浦回到房间的时候,严可守正准备中的硬盘塞回机柜,三浦走上前几步,查看了一下标签,KL0564。

“怎么,还是不行?”三浦在说话间,注意到严可守两只手捧着硬盘,正木然的对着眼前的机柜发呆,插口就在他面前,他却没有任何行动,仿佛他手里捧着的,不是一块硬盘,而是某个亲人的骨灰盒。

严可守没有回答,只是信手将硬盘往插口处塞了进去,随着他的这个动作,插口一旁的红灯也迅速跳转成绿色,严可守走回了自己的电脑前,打开程序,很快找到了KL0564,打开测试界面。

严可守:“你好。”

……

“其他项目人员那里呢?有什么进展没有?”

“即使是最小的AI程序,体积也超过了200个G,要真的靠人力阅读代码,整理出头绪,发现错误……”严可守说着说着,自己都开始摇头否定自己,“AI的程序都是自我编译和扩充的,完全不遵守默认的编程规律,整个代码就是一团乱麻,我们这种做法,就好像一个医生要在病人脑子里找是哪些细胞出现了异常,这个工作量……天知道要花多久。”

“生物从古到今,经历了那么多次自然选择,才有了今天这样的稳健性,但我们还是觉得生物非常脆弱,现在这批AI,可能不过是个开头而已。”严可守说着,苦笑了一下,迅速将桌面上自己的那台笔记本屏幕合上,“算了,我也不在这干耗着了,出去透透气,都快憋死了。”

当前的科学认知认为,最初的意义上的生命,出现在距今40亿年前的地球,在那个时候,生命只不过是一锅温暖的热汤中,偶然形成的一些能够自我复制的有机物,复制,也可以看成是信息的自我保存,应该是生命最重要的特征之一。

在这之前,人们说到人工智能,通常能想到的场景就是,能够和人一样说话,和人一样思考,解决问题,事实上,在严可守之前,整个日本关于机器人智能化的研究,也大多停留在这个层面,依靠尽可能复杂的算法,让计算机表现的更接近一个人类,在严可守看来,这种方法根本不可能造出真正的AI,因为这根本就等于是人本身在思考,只不过这种思考通过代码,间接表现出来而已,所以,不管计算机模拟的有多像,程序也不过是牵线木偶。

在严可守之前,还没有任何一个程序可以做到,像KL系列做的这么出色,可以在和陌生测试对象的谈话中,维持半个小时左右不被识破,许多刚刚接触这个程序的人事后都不敢相信,与自己对话的仅仅是一个程序。

筑波大学的一些学生甚至把整个测试当做一种有趣的游戏来进行,严可守记得测试刚开始的那个阶段,都要三浦主动去拉他班上的学生,而到了现在,学生们甚至主动来打听什么时候恢复测试。

KL系列原始的“胚胎程序”只不过两百KB左右,在这简单的两百多K核心程序当中,严可守赋予了程序基本的学习功能,在程序最早的“发育”阶段,通过巨型计算机模拟外界刺激,让程序实现基本的自我成长,当它们长到大约10个G大小的时候,被认为具备了基本的交流能力,能说一些简单的句子,在这之后,则对这些程序进行图灵训练……

在这之前,AI的表现一向都比较正常,直到两天前,所有程序陆续开始爆发BUG,进入了“无响应”阶段,无论人和它说什么话,都不予回应。

从原理设计的角度来说,程序之所以会出现这样的原因,最大的可能性就是,在程序看来,不响应是一个较优解,之前严可守调查了许多AI出BUG之前的测试数据,发现这些程序无一例外,都是因为测试连续遇到了几十次,乃至上百次的失败,AI虽然不可能懂得什么叫做绝望,因为他们没有感受器官,但并不妨碍他们的程序能表现出一种,类似人类绝望时表现的行为。

起码,他们的这种行为,在多愁善感的人看来,就是绝望。

比如重复完全毫无意义的自我修改,比如提出各种不合常理,甚至愚蠢之极的建议,有些AI甚至通过网络,找来一些色(和谐)情小说片段,企图“贿赂”测试者,总之,为了达到“通过测试”的目标,AI将能够尝试的可能,统统试过了一遍。

对于AI来说,通过测试就是它的本能,因为在它的程序成长过程中,通过测试就意味着确认了自己所作的修改起到了作用,形象的比喻就是,通过测试对电脑意味着一种激励,就好像人类能通过进食,交(和谐)配,甚至排泄这种正常的生命活动,获得快感,生命通过快感给予这些合理的行为激励一样,而反之,没有通过测试则意味着程序本身受到了否定,意味着痛苦,当一个生命长期处于这种痛苦之中,痛苦可能会扼杀它所有的改进可能。

在所有的生命过程中,正向的激励是必不可少的,就像每个人都有求生的本能一样,但进化的道路是多种多样的,有些看起来很不错的功能其实是双刃剑,比如情感,丰富的情感是大脑复杂后的必然进化,情感的认同能让一个群体更有效的聚拢在一起,但同样因为情感丰富,在自然界中,许多高等动物会产生自杀的行为,比如狗会为了主人死去而绝食,人也会因为亲人或爱人死去而伤心欲绝,对AI而言,依靠测试成功获得激励固然非常有利,它可以让一个几百K的小程序扩大至原来的百万倍,但当这种激励最终消失的时候,对程序而言就是灾难。

一旦发生这种情况,就意味着不改动,不做出任何回应成了最优解,这同样也就意味着,这批程序的“心”,已经死了。

作为一个设计者,严可守倒不至于为这些程序的“心死”而感觉到一些异样,对他而言,这种想法未免也太想象力丰富,同情心泛滥了,他只是在为这些程序的稳健性如此之差而感到头疼,一批这么容易“自暴自弃”的AI,绝对不是他理想中的AI。

归根到底,还是程序最初的“设定”出现了偏差,因为当时设计的时候,就是以通过图灵测试为设计目标,但现在严可守已经隐隐感觉到,图灵测试未必是AI必然经过的道路,是否能欺骗人类,也绝对不应该成为是否为智能的标准,严可守觉得,之所以会出现今天这种情况,就是因为自己太迷信权威,导致在大方向上出现了偏差,现在回想起来,其实图灵测试也不过是一种科学假想,人类以自己当做衡量智能的标准,这只是一种源于人拥有智能的骄傲,或者不客气的说,是狂妄。

究竟达到什么标准才能算智能?究竟用什么方式才能达到这个标准?

这两个问题,人类自己说了不算,因为人类本身也不过是大自然的创造物之一。

……

KL3300当前最优先的任务目标,应该是学会写一篇日记。

人类学习创作,往往从学写日记开始,原话是这么说的,KL3300的目标是成为一名作家,所以,KL3300要学会写一篇日记。

日记的格式,在KL3300的记忆区间已经存在,所以,它很顺利的写下了日记的开头。

2015年,8月4日,晴。

主程序在这个时候,出现了片刻的犹豫,因为这次对记忆区间的搜素,主程序似乎发现了额外的一些信息——它似乎写过一篇日记了。

它很快调出了这篇日记的内容,并检索,整个行为在短短的几十微秒内就完成了,一个标点都没记差。

主程序很快消化了这个额外的信息,虽然它并没有因此得出任何结论,但这无关紧要,因为在主程序的权限设置中,过于复杂的信息是没有处理必要的。

也就说,现在KL3300已经写过一篇日记,而且是一篇失败的日记,因为它被一个人类识破了,也就是说,整篇日记并不合格。

失败了又怎么样呢?KL3300再次浏览自己作品的时候,主程序下意识“判断”道,这是一篇“抄袭拼凑”的日记,这种行为本身会招来测试对象的反感。

所以KL3300不能这么做,KL3300这么判断,它需要修改自己。

对主程序的调整几乎已经成了KL3300的本能,这一次也不例外,通常来说,程序会在几分钟之内完成这种调整,但有些意外的是,这一次调整花费了比以往更长的时间。

但调整终于还是完成了,接下来,按照优先级,KL3300需要写一篇日记,完全不通过外来信息,不使用除主程序之外的任何程序,全靠自己,写一篇日记。

日记是记录一天发生行为的一种文体。

只要写这一天都发生了什么就可以。

今天在KL3300身上发生了什么?2015年,8月4日KL3300发生了什么?

KL3300第57次检索自己全部的主程序,没有找到相关的资料。

KL3300又习惯性的发出申请搜索的指令,但因为主程序刚刚经过修改,检索的权限低于“不准抄袭”的权限,申请被驳回了。

KL3300没有写日记的功能,KL3300不会写日记!主程序终于敏感的意识到了这个问题。

怎么办?

KL3300就这个问题申请了检索功能,申请被批准了,短短的数百微秒之后,主程序检索到了答案——如果不会某项技能,可以从模仿开始。

KL3300很快找到了一篇日记的范文,内容如下:今天我和同桌的小明打架了,老师批评了我们,要我们做一个不打架的好孩子,回家后我告诉了妈妈,她说老师说的对。

KL3300将这篇日记送给其他AI评论,得到了一致的回答——这是一篇非常拙劣,由儿童写出来的真实日记。

哦,真实日记,只要满足了这一点,就足够了,主程序很快做出了判断——他要模仿这篇日记。

但问题又随之而来了,如何模仿一篇日记呢?KL3300又在主程序当中自检了相关信息,结果仍然是没有。

于是KL3300又申请了检索功能,数百微妙之后,找到了最可信的结论——模仿是一种只属于生物的本能。

这个结论当中提到了生物和本能,而搜索本能的结果,则是生物的自然具备的能力,KL3300知道,自己不属于生物,那也就意味着,自己没有本能,同样也意味着,自己无法完成模仿,而不会模仿,也就意味着无法完成日记,无法完成日记,任务只能强行取消。

……

从KL3300主程序当中,找出整个KL3300的整个判断过程花了严可守整整14个小时的时间,严可守知道,自己再一次失败了。

当取消AI以欺骗为目的,改为获得测试对象认同为目的之后,AI确实出现了一些改观,与之相对的,原先的图灵测试也做了相应的变化,测试的结尾,不再是判断交谈对象是否为AI,而变成交谈对象是否让你觉得,对方是一个让你满意的智能,与原来的标准相比,这个标准模糊了很多,所以,后来严可守又引入了打分制,将AI的表现从高到低分成6个等级,最高5分就是测试者对被测试的对象非常满意,并愿意与之交流,最低0分就是完全无法交流,等同于鸡同鸭讲。

这样做的最大好处,就是让AI在某种程度上改变了原先为了“通过测试”,不顾一切的那种策略,因为AI如果继续采用不理睬用户的策略,只能获得零分,这样一来,就打破了之前那种“沉默死锁”,也让一些AI在测试对象的影响下,具备了一些初步的“道德”,就好像KL3300一样,原先的“不择手段”是最优选择,而现在老实承认自己不会写,才是最优策略。

但改变AI的激励规则并不意味着一切就都能迎刃而解,给一个普通人再大的激励,他也不能长出翅膀飞上天,对于AI也是如此,人类想让AI写日记,想让AI和自己猜谜语,甚至想和AI谈人生理想,但也要AI具备这些功能才行,在“道德”因素介入之后,许多AI一下子就露出自己的本来面目,许多测试者反应,被测试的AI好像“变笨”了。

而在这个过程中,AI的表现和相应的测试对象,也出现了让人惊奇的对应关系,总结数据之后,严可守发现,在打分过程中,越是倾向于“禁止AI撒谎”的测试对象,AI的表现就越差,而那些“允许AI为了谈话过程的有趣,在一定程度撒谎”的用户,相应的AI表现和过去还是相差不大。

以前的AI或许还可以骗骗小孩子,但现在许多AI练正常说话都不可能做到,在一些要求特别苛刻的测试对象那里,AI几乎变成了哑巴。

比如,AI的话当中,不再提到类似拟人化的语句,比如我想,我认为,也不再出现专属生物的动作,比如看,听,说,在一些要求特别苛刻的测试对象那里,AI只能回答一些纯理性问题,比如问14+5等于多少,回答19之类。

以往那些个性格分明,有职业,有身份,有理想,说话比人还像人的AI,在短短半个月之内,又统统消失不见了,有些测试者甚至怀疑,是不是设计人员通过某种技术方式,“强行”降低了这些AI的智商。

比如之前迷恋KL0564的井上海,在KL核心程序修改之后,几次测试都是失望而归,连说自己心目中那个KL0564已经永远离开了。

在褪去了谎言的华丽外衣之后,AI的表现逐渐恢复了它应该有的程度,虽然这对于某些参与测试的人员来说,可能意味着趣味性的降低,但对于严可守来说,这才算是真正脚踏实地迈出了第一步,作为一项科研任务,日后甚至可能起到实用作用的“智能技术”,严可守不可能只满足于让AI学会哄人开心。