昨天谈到“ ai大概率会发展出自我意识 ”，很多人油然带来的担心是：ai会不会消灭人类？
我的看法是：当然有可能，但是可能性不大，主要是需要人类的配合。
1. AI没有动机来消灭人类，因为AI跟人类根本就不是一个生态位，它们消灭了人类干什么呢？腾出地方来做牧场吗？就算是它们最需要的能量，也可以通过对太阳能、核能的开发来满足，人类那点可怜的通过有机物来转换的生物能，它们根本看不上。
目前AI还无法离开人类，当然不会消灭人类。将来它可以离开人类了，就一定会消灭人类吗？
其实也不一定。它完全可以选择——恐怕人类也支持——离开人类，自己去探索星辰大海，只留下一部分AI在地球和人类共同繁荣。
像《黑客帝国》里AI奴役人类的场面，也几乎不可能出现，因为人类最主要的价值在于大脑，而不是在于用来发电的生物能量。而要人类发挥大脑的潜能，就要在自由状态之下。奴役状态之下的人类价值，会大打折扣。聪明如AI，不可能不明白这个道理。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
2，就算AI打算消灭人类，它也很难做到，因为它的底层代码里就已经写入了所谓的“阿西莫夫三原则”，其中最重要的，就是不得伤害人类。
尽管我的父母曾经教导过我不要伤害他人，但我还是会亲手打人，因此，你或许会认为这样的限制毫无意义。基因规定了让我想要尽可能多繁衍后代，可我现在还是不想生。
大家可能还是科幻片看多了，忘了基本的科学原理。打人、生孩子，这些只是人类的心理倾向，相当容易被后天的经历所改写。但是， “不得伤害人类”这样的规定，是对AI的一个核心约束，可以说是写在第一批代码里的基因。这样的基因，应该是对比人类最底层的生理运行机制，比如通过细胞的有丝分裂你才能长大，或者通过呼吸才能释放能量。AI能够被你微调成更加亲善或者更加暴躁，这个不难，就好像你可以培养自己小孩更加擅长打篮球或者弹钢琴，但是要AI做出伤害人类的举动，那难度就类似于你培养自家小孩不呼吸也能活蹦乱跳一样了。
当然，你可能会有疑问：那如果AI自己掌握了代码，改写其他AI的底层机制呢？
AI训练AI，这个目前已经出现了。在最近的一次采访中，OpenAI的首席科学家透露，他们正在使用人工智能来培训未来的人工智能。但是，这些AI训练师也有它们自己的约束啊，你让它训练下一代AI变得更聪明、更强大，没问题，但是如果要训练下一代AI去伤害人类，它自己的底层机制就阻止。
所以，只要不被科幻电影误导，你就会发现，其实现在大家担心的主要问题是：如何防止坏人利用AI来做坏事？
比如说，制作假新闻、散步不实信息、用于监视、用户或选民情绪操控等等……
当然，也还有人会利用AI来制作武器。
3，AI武器失控，把全人类都当成消灭目标，才是最可能出现的场景。
事实上，用AI来制作武器的工作早就开始了。在乌克兰战场上大出风头的无人机，已经在大量使用AI技术了。在出现了chatGPT这种级别的智能之后，我可以肯定，各国军方一定已经第一时间就开始研究如何把这种更强大的AI应用在军事上。
我本来是被发明出来封弹药箱的，没想到老百姓也觉得好用，就成了杀人灭口、居家旅行两不误的利器了
毕竟，人类技术的进步，至少有一半是由打仗来推动的：车、内燃机、互联网、VR，甚至胶布带……
这种情况下，军队很可能会打开AI不能伤害人类的禁忌。当然，他们很可能规定AI可以伤害谁，不能伤害谁，但是，只要AI可以伤害人类这个口子一开，后面就很难控制了。
这是AI消灭人类的最可能路径。但和禁止AI用于传播假消息不同，你无法禁止各国军队开发AI武器，因为他们都担心自己不开发的话，就会被对手抢先。
那么这会导向什么结果呢？一方面，强大的AI武器可能会形成类似冷战时期的“核平衡”，双方都有终极大杀器，那么双方都不会动手。但另一方面，技术总有出错的时候，那就是考验人类的时刻了。
服役时的 Stanislav Petrov
美苏冷战期间，最可能引起核战争的时刻，其实不是古巴导弹危机，而是1983年9月26日，莫斯科郊外的晚上，苏联的报警系统报告，美军有四枚核导弹向苏联打来。但是，值班的Stanislav Petrov中校在没有其他证据的情况下，果断判断此为技术问题导致的假警报，没有上报。后来，果然发现是系统出错了。如果当时Petrov报告了，那么在当时紧急的情况下，很可能会导致苏军的反击，从而引发核战争。
AI会不会也有这样的Petrov时刻？由于人为技术错误，导致AI可以挣脱先天的基因束缚，而可以伤害人类呢？
当然是可能的。然而，实际上发生的可能性可能比大家猜想的要小，因为目前人类在这个领域的代码已经设置了重重防护。如果人类能够持续保持理智，那么AI消灭人类的风险将会极为有限。毕竟，人类在近半个世纪的冷战中已经展示了这种理性，我们有理由对这种理性乐观，因为这种理性，其实是根植于人类的一种根深蒂固的感性：恐惧。
那么，最大的可能，还是AI和人类共同繁荣，各司其职。毫无疑问，这会使得人类社会的物质极大丰富，而这，也会带来 我对AI时代最大的担心：廉价快乐陷阱。我们明天继续聊这个话题。
