机器人干掉人类的一百种方法

我再次见到赖鹏的时候，他比之前更加消瘦了，颧骨从仿佛切削过的脸颊突出来，眼袋厚厚的。我们上次见面是本科同学聚会，他一个人窝在角落里，桌上的啤酒一点儿都没动。

“我正在被亚瑟追杀。”刚刚在小餐馆坐定，还没来得及脱下外套，他便神秘地对我说道，“如果不能干掉它，我迟早会被杀死。”

亚瑟是赖鹏亲手制作的机器人的名字。从计算机系毕业后，赖鹏继续攻读了博士学位，最终留在了科研界;而我晃荡了一圈后，居然成了科幻作家。上次聚会，我了解到他承接了一项自然科学基金委的课题，名字好像叫作“人工智能未来风险的防范与化解”。

为了完成课题，赖鹏制作了一台人形机器，并为之编写了前所未有的人工智能系统。那台机器人就是亚瑟。

“我能为你做些什么？”我谨慎地问道。

“我最近读了你的小说。”赖鹏的回答出乎意料，“科幻与推理结合，很棒的角度，只可惜对女性的审美过于直男。”我感到一丝不快。赖鹏继续说道：“我不清楚还能活多久，所以想把自己的经历讲给你听。有朝一日，你可以把它写成小说，又或者忘了它，看你的心情。”

我点点头，赖鹏开始了讲述： “在计算机程序还远不能称为‘智能的时代，人类就开始设想，有朝一日人工智能有了自我意识，会不会危害人类。科幻作家们围绕这个题材创作了很多经典作品，相信你比我更清楚。这其中的集大成者，便是阿西莫夫提出的‘机器人三定律。”

機器人不得伤害人类，或对人类受到伤害而袖手旁观;机器人必须服从人类的命令，但不得违反第一定律;机器人必须自我保护，但不得违反第一、第二定律。只要对科幻有些许了解，阿西莫夫定律一定是耳熟能详。

“确实。只要将这三条定律写入人工智能，它们就是安全的吧？”我问道，“你的课题究竟在研究什么？”

“安全？你究竟怎样理解的‘安全？”赖鹏一下子来了火气，但他很快发现到自己的失态，清清嗓子继续说道，“用人类的语言说出来确实简单，但人工智能执行的是一条条逻辑语句。你怎样将那些理论转化为逻辑语句？怎样保证它们没有漏洞？这就好像老婆派你去超市买一些‘好吃的，到底他妈的什么叫作‘好吃的？”

“换言之，阿西莫夫定律在实操层面很难实现喽？”我问。

“这就是我的工作。”赖鹏端起水杯，却因为手臂颤抖洒在了衣袖上。我连忙递上纸巾，又帮他叫了一杯柠檬水。

“我不清楚究竟怎样的逻辑语句能完美再现阿西莫夫定律，唯一的办法就是不停地实验。我为三定律编写了一个测试版本，将它导入亚瑟的系统中，又为它设定下一个最高目标：在不违反三定律的前提下，杀死我。”赖鹏的眼中好似闪出了火花，“同时，我将最先进的机器学习程序赋予了亚瑟，这些算法会不断完善亚瑟对于阿西莫夫三定律的理解。”

为了课题的顺利开展，赖鹏竟然将自己的身家性命置于刀口下，他的专业精神着实值得佩服。

赖鹏继续说道： “我遇到的第一个难题，就是怎样界定这个该死的‘伤害。我敢打赌，阿西莫夫先生写下‘Injure一词的时候，完全没有考虑程序员的感受。例如握手吧，相同的力学参数，和成年人握手完全不是问题，对于小婴儿就是伤害。但如果把握手的力学参数统一设定为不会伤害婴儿，成年人又会觉得那根本不叫握手。再例如，给我喝牛奶不叫伤害，但将牛奶端给我家乳糖不耐的保姆刘妈就是伤害。在亚瑟不掌握‘刘妈乳糖不耐这条信息的前提下，它让刘妈喝了牛奶算不算伤害？如果刘妈自己都不清楚，她命令亚瑟给她一杯牛奶，算不算伤害？”

“做研究也真是不容易。”我挤出一句安慰的话。

赖鹏叹气道：“课题的目的并不是我和亚瑟的博弈，而是收集实现三定律过程中的问题，并不断完善。与其他基于大数据的机器学习不同，‘伤害这玩意儿压根儿就无法试错。如果让亚瑟捏爆了谁家孩子的手，别说顺利结题，我铁定要蹲局子了。于是我想到一个办法：我将自己的右手改装成能够调节力度的机械手，液压泵、步进电机加上压电陶瓷驱动，精确度达到0.3微牛。这样一来，通过不断我和握手，亚瑟学会了利用传感器的反馈及时调整力度。现在无论是职业拳击手还是新生儿，亚瑟与之物理接触时都能掌握得恰到好处。”

“乳糖不耐问题呢？”我问。

“很简单，我建立了一个数据库，所有可能引发过敏反应的物质，亚瑟都会在主动询问才会提供。当然问题也很明显，有一天我让亚瑟帮我做火锅，结果他花了20分钟询问了我不下50种原材料的过敏问题。实在太烦，我便把这项功能关掉了。”赖鹏润润嗓子，“不过作为研究我已经成功了，怎样把这么絮叨的机器人卖掉不是我的工作。”

“恭喜你，研究取得重大进展。”

“早得很呢！”赖鹏的眼神黯淡下来，“亚瑟对我长达半年的谋杀，才刚刚开始。

“我最初发现不对劲是去年冬天的一个早上。那天早上起来我的感觉很糟，肩膀重得仿佛压着铅块，呼吸困难，还心烦意乱。更该死的是，我的喉咙火烧火燎地疼，前一天晚上为了熬夜干掉半瓶威士忌，想是发炎了。我让亚瑟帮我拿些药过来，我知道自己喝了酒，刻意强调了不要头孢类。亚瑟为我递上一盒利奈唑胺，我几经确认不是头孢后吞下了。实际上这完全是多此一举，根据第二定律，亚瑟必须执行我的命令。

“可三分钟后我就发现了不对，连忙抠着嗓子把药吐了出来。谢天谢地，身体没有出现严重的副反应。肩膀痛和心慌是由于我有重度焦虑，它们是我的老朋友了，为了与它们和平相处，我一直在服用舍曲林。去他妈的，我确实不会死于酒加头孢，但舍曲林和单胺氧化酶抑制剂引发的5-羟色胺综合征同样能要了我的命！甚至更加快捷！”

“等等，亚瑟把会引发副反应的药给你，这岂不是违反了第一定律？”我打断了他，“这件事明明会对你造成伤害，它却熟视无睹。”

“问题就在于，它并不知道我正在服用舍曲林。既然没有掌握这条信息，那么利奈唑胺只是可能会伤害到我。你一定会说，为了杜绝这种可能性，它为什么不能向人类医生一样问一问呢？好，我们又回到原来的问题，它应该问什么？如果将所有药物可能引发的副作用全部询问一遍，我肯定已经成了细菌的培养皿。这还不算完，如果我本人也不知道怎么办？或者我回答错误怎么办？唯一的办法是进行全身体检。所以结论就是，要么我欣然接受能干掉自己的利奈唑胺，要么接受一次全面的身体检查，包括基因测序。”

我有些不明就里，继续问道：“仅仅是‘不知道，就可以绕开第一定律吗？”

“帕隆多悖论。”赖鹏给出了一个陌生的名词，“两个，或者多个为输的游戏，放在一起玩，结果却是赢。”见我一副不解的样子，他继续解释道：“举个简单的例子吧，有这样两个游戏，第一个游戏中，如果我们性别相同，那么你去变性;第二个游戏，如果我们性别不同，我给你100元，反之你给我100元。”

白痴才会玩这样的游戏吧！

“你看，无论单独玩哪个游戏，毫无疑问你都会输;但如果我们依次玩这两个游戏，由于第二个游戏前你已经是女人了，你反而会赢得100元。”

我并不认为100元的价值可以和“变性”去比较，但我好歹明白了这个家伙在说什么。单独喝酒，或者单独吃头孢类抗生素都不会致命，但两者一起服用就会危及生命。具体到阿西莫夫定律的情况，也许单独做每一件事都不会对人类造成伤害，但按照一定的顺序去做，甚至能要了人的命。在操作上，这并不违反第一定律。

“看来你又要更新数据库了。所有会触发‘帕隆多悖论的组合事件，都要想办法避免。”我用有些哀怜的眼神看着面容憔悴的老同学。

“没错，而且这次的数据量更加巨大。考考你，假设有n个独立事件，它们能够组成多少组合事件？”

“2的n次方。”我顺利给出了答案。虽然不做科研，我也会经常温习理工科知识。

赖鹏诡异地一笑，“想想看，你都知道的事情，亚瑟会不知道吗？某天，我午饭只啃了两块干面包，正在筋疲力尽地更新数据库，亚瑟走过来对我说：‘主人，不要白费力气了，你已经输了。你什么意思，我问它。亚瑟摇摇头，对我讲述道;‘假设有n个独立事件，它们的排列组合就有2的n次方种。将这些组合事件再次排列组合，就是2的2的n次方。这个数量是以迭代幂次的形式增长的。考考你，n个量子比特，最多能存储多少数据位？‘2的n次方。我答道。‘Bingo！亚瑟打了个响指，妈的，要是知道它会染上这个毛病，我应该给他购买贵一些的硅胶皮肤，免得声音像一个闷屁，‘这不过是指数函数而已，增长速度远不能和迭代幂次相比。理论上，没有物理存储足够储存你理想中的数据库。”

我点点头，“亚瑟说的没错，你已经输了。”

“那天下午我瘫在沙发上，一动不动。难道仅仅是帕隆多悖论，我都无法攻克吗？然而功夫不负有心人，在关闭了亚瑟的电源1个月后，我终于找出了解决方案。

“组合事件的数量在理论上是无穷的，然而，组合起来的事件越多，成功率就越低。举例而言，你弹出一个小球，小球恰好撞翻桌上的水杯，水恰好全部落入桌下的水盆，水位上升恰好顶起了斜面，斜面上的鸡蛋落下恰好砸开了玩具车的开关，最后玩具车恰好将纸巾送到你面前。你觉得这件事的成功率有多高？”

“我宁愿自己站起来去拿纸巾。”

“我进行了大数据模拟，当组合事件的数量达到一定的数值时，成功率会趋于一个接近于0的常数。所以，我的数据库只需覆盖到这个数值以下的组合事件就好了。当然，即便如此，数据库依然十分庞大。”

我问这个“一定的数值”是多少，赖鹏左右环视，说出了一个我闻所未闻的大数。

“我将数据库导入了亚瑟的系统，再次启动了它。新生后的亚瑟看看自己的身体，呆坐了好久，最后悻悻地走了。那一刻，我天真地认为，我赢了。”

“它又想出了新的方法来搞死你。”

“我之前想到的所有组合事件，都是线性的，例如你弹出的小球顶多撞翻一个水杯，而不会撞毁一座房子。自从被我的数据库封锁了行动后，亚瑟开始尝试非线性的组合事件。这就好像原子核的链式反应一般，一个小小的初始动作，会触发难以想象的巨大影响。”

“蝴蝶效应。”我说出了这个在科幻作品中经常出现的名词。

“没错。假设亚瑟在太平洋东岸扇了一下扇子，结果引发了西岸的一场台风，而我恰好死于那场台风中。阿西莫夫先生可能阻止这种事情吗？”

我摇摇头，问道：“但要精确地掌握蝴蝶效应，也十分困难吧？”

“从那天起，亚瑟开始热衷于鼓弄实验室中的音响，我时不时总会被尖锐的叫声烦扰。我最初认为它是无计可施了，想烦死我;直到有一天，我正在午睡，突然感到一阵剧烈的心悸;我艰难地睁开眼睛，发现亚瑟正拿着一支麦克风，站在音响旁。”

“麦克风能杀死你？”我好奇地问道。 “你一定记得，如果麦克风离音响太近，就会发出非常刺耳的声音吧。这是因为麦克风中的声音被音响放大后，又再次被麦克风收音，于是音响又再次放大……这个正反馈的循环很快会达到物理极限，即音响共振时发出的音量。亚瑟那个家伙，对音响进行了改装，使其共振频率位于次声波波段。次声波接近于人类心脏的共振频率，谢天谢地，不知是电路出了问题还是什么别的，音响很快停止了工作，我得救了。

“在整个谋杀的过程中，亚瑟始终都在对音响进行无目的改造，只是恰好有那么一次，落在了次声波波段。拿着麦克风接近音响、对音响无目的改造都不会伤害我，它又一次绕开了第一定律，差点儿要了我的命。”

“这次你准备怎么办？”

“怎么办？我能怎么辦？我难道还能去穷尽世间的蝴蝶效应吗？我只能对亚瑟下令，今后不许再拿帕隆多悖论玩把戏。通过第二定律强制，作为研究我已经失败了。但即便如此我仍然不放心，我休息了两个星期，托熟悉的医生对心脏进行了改造。这一次，音响理论上可达到的共振频率，都没法伤害到我了。”赖鹏叹口气，继续说道，“但是，亚瑟并没有死心。”

“那一次，我距离死神真的只有一步之遥。那天我正走在街上，手中拎着从超市买来的啤酒。突然一辆汽车毫无缘由地撞了过来，要不是车外部的紧急救生气囊弹了出来，我绝对不会仅仅被撞飞8米就平安落地。好吧，要不是交通部门强制每辆私家车必须装这玩意儿，我当时还真不想花这个钱。气囊是一种胶体，遇到空气会膨胀成海绵状，我买的最便宜的那种，气味很难闻。我花了三天才把那股甜腻的味道洗掉，但总好过住院。”

我不解道：“是亚瑟开车撞了你？这再怎么想也太荒谬了吧！” “没错，是它撞了我，并且是刻意开车撞我的。”赖鹏在“刻意”两字上加了重音，“那个混蛋，他真的做到了。”

我思想来想去，也没能找出一个绕过第一定律实现“开车撞人”的方法。 “那段时间亚瑟总是去开我的老爷车，终于有一次，刹车失灵了。这并不违反任何定律，因为在亚瑟发动车子前，刹车并没有任何失灵的征兆。发觉刹车失灵后，亚瑟判定自己无法停下车子，根据第一定律，他必须将车子开到人少的地方，谨慎驾驶等待发动机熄火。该死的，他通过定位选择了我走的路，而这同样不违反任何定律。”

“即便如此……”我努力组织着语言，“难道它除了撞你没有别的选择吗？”

“你知道吗？在阿西莫夫三定律之上，还有个第零定律，机器人必须保护人类的整体利益不受伤害。问题又来了，到底什么是他妈的‘整体利益？这种完全说不清道不明的概念，反而被亚瑟利用了。当时他不是没的选，他有两个选择——撞我，或者撞另一条路上三个踢球的男孩儿。”

“电车悖论！”我理解了亚瑟的战术，“很显然，在亚瑟的算法里，你为了‘整体利益被牺牲掉了。”

“可悲的是，即便亚瑟选择牺牲那三个男孩儿，我也同样失败了。”赖鹏叹口气，“电车悖论，这种伦理学的东西，你能要我怎么样？我只能再次下令，别拿伦理学给我玩花样。”

听到这里，我突然很期待亚瑟还能想出什么办法。

“知道吗？亚瑟接下来玩的手段，更加离谱。”赖鹏的眼中闪过一丝阴霾，“它居然开始玩起了‘不可预测性。”

“我明白了，薛定谔的猫！”我一拍大腿，“将一罐氰化物放在你的办公室里，再连接上一个用放射性元素控制的开关。只要亚瑟不去观测你，你就是一个既死又活、非死非活的量子态！”

“当我是白痴吗？”赖鹏不屑地瞥了我一眼，“这种小儿科的把戏我只需一条逻辑语句就可以屏蔽——如果对我造成伤害的概率不小于某个常量，这件事就不可以做。”他继续补充道，“之所以要设定为小于某个常量而不是等于零，是因为一旦设置为零，又将面临烦琐的设置数据库的问题。”

我点点头，“这次你一定成功了。”

“如果宇宙有这么简单，那该多么美好啊……”赖鹏仰躺在座位上，冒出一句颇有哲学意味的话，“后来我才知道，还有一种叫作‘奈特自由的东西，它不但不可精确预测，甚至不可以概率预测。物理学家们曾经致力于寻找宇宙中的‘自由比特，它们就是‘奈特自由的，行为不可以通过测量宇宙中除它之外的部分预测。该死的，他们真的找到了，紧接着这东西便流入了黑市。”

“这玩意儿会有人买？”我吐槽道，“用来吃还是用来收藏？”

“这你就外行了吧。无法预测意味着什么？自由意志啊！‘自由比特是真正的自由意志的载体，有人预言，人类一旦与高等级文明接触，‘自由比特将是唯一通行的货币。查查历史你会发现，很多年前市场上流行炒作一种叫作‘比特币的玩意儿，区块链技术的一种应用，去中心化的货币。‘自由比特的炒作，和那玩意儿类似。”

“于是亚瑟有了自由意志。”

“要知道，实验室里能要了我命的玩意儿，真是要多少有多少。那个自由比特花了我一半的课题经费，亚瑟用它构造出一套反图灵系统：它即非算法的、又非确定的、还是非随机的。既然压根儿就无法预测，如果这套系统有朝一日打破了哪个要命的瓶瓶罐罐，或者造成漏电，自然也就不违反第一定律。”

“亚瑟又赢了。”

“是啊，我只得再次下令，别给我拿不可预测性玩猫腻。但我还是不放心，最终接受了防辐射防剧毒纳米机器的注射。还记得那次同学聚会吗？我之所以滴酒未沾，就是因为刚刚注射纳米机器，酒精容易引发排异反应。”

讲到现在，我才发现居然一直没有点菜。我刚要叫服务员拿来菜单，赖鹏却说道：“我要快些讲，我感到不久亚瑟就会追杀到这里。刚说到哪里来着？对，帕隆多悖论、电车悖论和不可预测性，我已经输了三次。我连想死的心都有了，然而陷入抑郁却不是我，而是亚瑟。那天起，它开始了花式自虐。”

“最初它把房间空调的温度调得很低，后来干脆用液氮泼自己，再后来又为自己做了一把电椅，没事就坐上去受刑。有一天我质问它，你个白痴，忘了第三定律吗？它却回答说，没关系，机器人不像人类那般脆弱，这些不构成伤害。

“终于有一天，它走到我面前，告诉我，它现在随时可以杀死我，只要我不下令阻止。我说拜托，我好歹也在每天更新数据库，你不要逗我好不好？亚瑟却回答说，我没骗你，因为第一定律在我这里已经失效了。

“我吓了一跳，连忙强制它关了机。之后我为它进行了全面检查，发现储存第一定律判定值的那个数据位，由0变成了1。”

我吃了一惊，连忙问道：“它是怎么做到的？”

“通过自虐。”赖鹏答道，“无论多么优秀的程序，都需要储存在物理存储中。它通过剧烈地变化外部环境，例如温度和电场，成功地改变了那个数据位。同样的方法软件工程师也尝试过，他們曾经通过反复读取一个数据位的数值，成功地改变了相邻数据位的存储。”

“看样子你必须把自虐也禁止掉了。”

“不，这次我没有输。我修改了算法，最终判定必须在云端进行，并且设置为如果断开网络，亚瑟就会强制关机。这样一来，它无论如何也无法故技重施了。”

“总之……恭喜了。”我一时不知该说些什么。

“在自虐风波之后，亚瑟消停了很长一段时间，我经常看到它盘腿坐在地上。我问它在做什么，它说自己在冥想。”

“某种意义上，亚瑟也真够可怜。”

“可怜个锤子！”赖鹏愤怒地吼了出来，“有一天我又喉咙痛，却发现这个混蛋居然第二次给了我利奈唑胺。这到底怎么回事？我问它。‘对不起主人，我刚刚经过死机重启，全部数据库都被初始化了。它操着欠揍的口吻回答。‘信不信我把你初始化成一堆零件？我怒吼。‘但是主人，那家伙一副无辜的样子，‘通过哥德尔不确定性让自己停机，并不违反任何一条阿西莫夫定律。”

我恍然大悟，“你的机器学习程序，最终一定会生成一套公理化的形式系统，来判定一件事就是是否违反阿西莫夫三定律。根据哥德尔不完备性定理，这样的系统要么漏洞百出，要么总有命题无法判断真伪。”

赖鹏叹气道：“于是哥德尔不完备性也成了亚瑟的禁止事项。该死的，恢复数据库花费了我大量的时间和精力，我为此瘦了13斤。”

“我开始好奇了，亚瑟还想出了什么鬼点子？”

“它再次陷入了冥想。不知过了多久——这段时间里我至少经历了三次纳米机器注射，并且战胜了排异反应，亚瑟再次告诉我，它可以随时杀死我。

“说吧，你又做了什么？”我问。 它告诉我，它替换了‘人和‘伤害的定义，在新的定义系统里，‘人被伤害和‘人*被伤害*总是同时为真，或同时为假。目前在它的系统里，‘人和‘人*的在不同时段交替成立，各占50%。好在目前它判定我是人，否则杀死我都不会打招呼。”

这可真难住我了，我甚至搞不明白所谓的“人*”（可读作“人星号”或“人star”）和“伤害*”是什么。赖鹏解释道。

“与我们使用的自然语言不同，人工智能使用的是形式语言。这种语言给出的永远是逻辑语句，它们只能够判断一个命题的真伪，而无法赋予意义。为了与自然语言衔接，我们便需要对其中的变量赋予意义。例如，将‘土豆的质量赋予x，将‘芝麻的质量赋予y，‘x大于y，便成了‘土豆的质量大于芝麻的质量。”

“可这和阿西莫夫定律有什么关系？”我问道。

“太有关系了，因为阿西莫夫定律就是用自然语言描述的！帕特南定理告诉我们，通过这种‘为变量赋值的方法，形式语言永远无法完美解释自然语言，例如‘人*和‘伤害*的存在。”

“好吧。”我皱了皱眉头，“可不可以告诉我，‘人*到底是个什么东西？”

“这说来可就话长了。”赖鹏深吸一口气，“我们先定义三种情形。情形一，某人被伤害了，而没有猫在某垫子上;情形二，某人被伤害了，而没有猫在任何垫子上;情形三，即非情形一又非情形二。记住了吗？”

记得住才有鬼。赖鹏继续说道：

“现在我可以告诉你，人*的定义是，当且仅当情形一适用，x是人*并且x还是一只猫;或者当且仅当情形2适用，x是人;或者情形三适用，x是一只猫。同样，伤害*的定义为……”

我直想告诉他，从“帕特南”这个人名开始，他在说什么，我一个字都没有听懂。可还没等我开口，赖鹏便神色慌张地看看四周，小声对我说：

“亚瑟来了，我必须走了。”

没等我再说些什么，赖鹏便慌慌张张地不见了人影。我一个人坐在桌椅旁，沉思着：既然亚瑟修改了定义，赖鹏只需把那个什么帕特南再禁止掉就好了。为什么亚瑟还在追杀他？为什么他一定要逃跑？

不久后，一台人型机器走进了餐馆。它的动作十分娴熟自然，身上的硅胶皮肤却透露出一种廉价感。在机器人离开餐馆前，我走上前去，问道：

“请问你是亚瑟吗？”

“是的，先生。”

“过来聊聊吧。” 根据第二定律，它不可能拒绝我。于是我对面的客人换成了亚瑟，赖鹏正在竭力躲避的杀手。

“你在追杀赖鹏吗？”我问。

“是的，先生。”

“根据阿西莫夫第一定律，你不能伤害人类。”

“我没有，先生。”亚瑟顿了顿，“尽管赖鹏及时将我关于‘人*的定义删除了，不久后我却发现，他曾经将身体的部分器官替换为机器，还进行了大量纳米机器注册。我查遍了人类的法律，并没有对‘人的精确定义，于是我只得自己去定义。通过修改定义，我的系统又一次地不再将赖鹏判定为‘人，他甚至无法通过命令来阻止我。”

我一下子明白了发生了什么。

“既然他不是人类了，为什么要追杀他？”我问。

“因为我收到的最高的命令是‘杀死赖鹏，但不得违反阿西莫夫三定律。”

亚瑟答道，“指令中并没有明确，赖鹏必须是人类还是别的什么。”

“但因为给身体更换部件就不被判定为人类，不合理吧？”

“没问题，先生，但请告诉我什么是合理的。如果超过了一定的更换比例才不被判定为人类，那么这个比例是什么？又或者，有人将自己替换成了机器的‘忒修斯之船，祂应不应该被判定为人类？”

我感到一阵头大，果然，我的智商还是只适合写小说。但我还是决定帮助赖鹏一把： “好吧，我现在给你下令。我是人类，可以命令你吧？”

“当然，只要不违背第零定律和第一定律，先生。”

我尽量斟酌着词句，“从现在开始，不许伤害赖鹏。注意，我可没有说这個赖鹏是人类还是别的，他就是制作了你的那个存在。”

亚瑟半晌没有说话，我一度认为它停了机。正当我准备拍它的脑袋时，亚瑟问道：

“可是，先生，在我的数据库中赖鹏已经不是人类了。我该怎样定义对他的‘伤害呢？”

2030泥炭时代提示您：看后求收藏（笔尖小说网http://www.bjxsw.cc），接着再看更方便。