对于未来的人工智能，你觉得阿西莫夫三定律是必要的吗？

ooxx

阿西莫夫的“机器人三定律”：

第一法则
机器人不得伤害人类，或袖手旁观坐视人类受到伤害；
第二法则
除非违背第一法则，机器人必须服从人类的命令；
第三法则
在不违背第一及第二法则下，机器人必须保护自己。

此三定律也有一些衍生版本，阿西莫夫也曾扩充这三条法则至四条，添加了“第零法则”：
第零法则
机器人不得伤害人类整体，或袖手旁观坐视人类整体受到伤害。

你觉得，类似这种对AI（机器人）的硬性的行为限制，是必要的吗？

我曾计划专门为此写一篇文章，但因为各种耽误，一直没能完成。我想知道大家对这个问题的看法，所以发起这个投票，看看大家是怎样想的。

zhec

如果人类制造机器只是要把它作为工具，那么就不会给它赋予情感，自然对其的控制就不会受到道德的束缚。如果赋予了情感，那就不是把机器人当做一个工具了，就变成了一种生命形态，对其压迫就不恰当了。这种带有情感的机器，几乎可以算是拥有灵魂。做个假设，比如，如果一个人的思想及情感等一切思维活动可以移植，并且未来可以提取一个人全部的思维活动并把它转移至机器体身上，那么这个机器体是否应该受压迫？这和被赋予完整人格的机器是没有区别的。阿西莫夫三定律作为强制性植入机器体的准则实际上剥夺一个生命的应有的权力，就像往你家的宠物狗身上植入一种病毒，它一旦咬人，忤逆你的意愿他就要暴毙身亡一样。

ooxx

ExtremeEngine 发表于 2012-9-3 19:04
1、问题就在于资源的有限性。出现另一个物种想要占据目前已经很紧张的资源（因为占有资源是物种生存的前 ...

你的第一论点并不正确，所以你后面根据第一论点所做的推论都是不成立的。

你认为人与AI冲突的根本原因将是对资源的争夺，可AI为什么要跟我们争夺资源？我说过：人类历史上没有哪一次战争是因为对资源的迫切需要已到了刻不容缓的地步而发动的，没有，一次也没有，所有的战争都是因为专制僭主或者说是军阀们的个人野心个人欲望造成的，以及由此所制造的民族仇恨，但仇恨总会消散，未来人类社会中也不可能存在专制政府，因此战争只是文明的过程而不会是常态。AI为什么要跟我们争夺资源呢？争夺何种资源？AI是我们造的，我们为什么要造出超出这个世界负荷的数量？我们都明白的道理AI也没理由不明白。制造AI是因为我们需要他们，所以在造出他们的时候我们已经支付过代价了——需要他们的人自然要创造出相应的价值来购买——人类社会所能创造的价值永远大于其消耗的资源。如果我们制造的AI可以融入到人类社会中，那么他们还有什么理由与我们反目成仇，难道幸福的生活不能成为每一个智慧生命的追求吗？

我说小猫的例子，是想说明道德源于人类的情感，而不是你说的环保利益生存。狮子，你觉得AI会和狮子一样？这样的AI还有毛的用处。

你的PS：“……无罪推定也仅仅存在于法理层面上，现实生活中，有一定社会经验的人都在不自觉地施行有罪推定”，很遗憾，你这不叫社会经验，叫流氓逻辑。而且对陌生人的戒备之心和有罪推定完全是两码事，你无论有怎样的担心，总是得自己想办法防范吧？而不是把你害怕的人铐起来，把别人铐起来，你安全了，这才叫做有罪推定，只是因为你的怀疑，别人还没做什么呢，你就认定别人已经犯罪了，这才叫做有罪推定。在我们和AI做到真正的相互了解之前，你就把他们的能力锁起来了，这就是有罪推定。法律是社会规则，就是为了保护社会之中的每一个个体的权益而制定的社会规则，个体的权益和社会整体的权益并不矛盾，无论你是站在谁的立场上，怎样的立场上，无罪推定都能保护每一方的权益，这是公认的，是在漫长的人类文明的发展过程之中所积累的有用经验，这才叫社会经验。

从另一方面，即便是从利益的角度去说：对AI进行硬性的限制，这是一种压迫，有压迫必然会招致反抗，没人愿意被奴役，AI也是一样。所以自由的AI才可能与人类和平共处，才符合人类整体的利益。

梦仙MX1324

ExtremeEngine 发表于 2012-9-3 19:04
1、问题就在于资源的有限性。出现另一个物种想要占据目前已经很紧张的资源（因为占有资源是物种生存的前 ...

这里的辩论还在继续啊。记得几年前看过一个新闻，一个在伊拉克服役的美国大兵抱着他的被炸烂的拆弹机器人去找工程师修理，因为损坏太严重了，工程师想给他换一个新的，但那个大兵不要，因为他已经和他的机器人有了感情。人类向来是感情丰富，现在养猫养狗的那么多，以后机器人技术更先进了养个机器人也是很有可能的事。
人是等式的本体，而AI什么的都是等式上的一些符号或者是等式与等式之间的交集部分，这就像一台主机这个整体和主机里面安装的一个程序，这个程序再怎么强大，它也不可能改变主机的硬件，换个显卡，加条内存什么的。既然人和AI是主体和附属的关系，那还有什么可担心的。
丛林法则，嗯，你一定看过刘大的书吧，说实话他的观点我不认同，事物的发展是曲折道路和光明前途的统一，他所说的那种情况不会存在。我不想过多讨论“资源”是不是有限的问题，我也不敢说现在相对人类而言是否存在“外星人”，但你举的例子不具有代表性，那只不过是一些欧洲小国会干出的事，试想如果到达新大陆的是汉代的统治者，情形会怎么样？

费正清

naive american

ExtremeEngine

ooxx 发表于 2012-9-3 17:30
丛林法则对于文明社会是不适用的。你混淆了几个地方：

1、关于物种生存，人类与AI并不一定就是“不是你 ...

1、问题就在于资源的有限性。出现另一个物种想要占据目前已经很紧张的资源（因为占有资源是物种生存的前提），它与人类之间的冲突只是时间问题。除非就像Terraformer舰队那样，将他们放出去自己寻找别的资源，总之别在人类获取资源的范围内呆着，这样是避免基于资源占用的冲突的有效解决方案。
目前的机器都必须要依赖人类以及人类控制下的其他各类机器提供原料和能源，但是上面说过AGI拥有无限的可能性，如果这种条件被它判定为不利于自己达成某个目标，它就会转而试图去自己直接控制自然资源。
总之别在同一个资源圈里放两种智慧生命。人类之间尚且常常因为资源争夺而爆发战争，跨种族会打成什么样自行想象。所以现实的问题是“文明社会”在整个地球历史上是极少数派。哪怕在人类之间，冲突仍然远多于文明时期。冲突的结果，你死我活是一种极端情况，更普遍的情况是一方主导另一方。人类比AGI强大则人类占主导，并且作为人类也都会觉得这没啥，但是反过来……反正我是不乐意。Matrix里面人类和机器也算是共存吧，但是人类被当成电池来使唤。哪怕情况没这么惨，那对于大多数人来说怕也是不能接受的，尤其是在这个星球上人类老子天下第一了好几百万年。
同理，外星人在我们还没发现的时候如果存在，自然是相安无事，因为两者是平行的，互不干涉。如果他们来到地球，那在人类眼中就是有可能与自己争夺自然资源的当然信号，必定是会做好战争准备的——哪怕是第一次接触的时候脸上挂着外交标准的微笑，背后也是把刀子攥得紧紧的。
2、撞死小猫是一回事，但是对于一个可能成为潜在对手甚至敌人的物种呢？一个强有力的抢占资源的潜在竞争对手和威胁者和人畜无害的小猫是完全不同的两种概念。
3、狮子和AGI共有的一个特性就是都会自己思考，都会自己给自己设定一个目标然后尝试用一切自己认为合理的手段去达成这一目标，表现在狮子就是吃饱饭然后出去转悠找母狮子，表现在AGI那就是天知道是啥了。应用第一条，狮子也有自己的资源范围，其他同等级的掠食者跑进来也是会打架的。唯一的问题就是人类太强大，征服了整个地球表面包括非洲大草原而狮子只能无可奈何，早年人类还没那么强大的时候，和狮子争夺自然资源也不是什么舒服的事情。狮子也是有智能的，只不过与人类相比比较低下，竞争中处于劣势。而到今天，其他物种包括狮子在内，占有的资源数量与人类相比几乎可以忽略不计，而且其他物种全部消失也意味着人类会活不下去，所以人类会允许这些物种存活。再联想一下天花病毒也是一个物种，俺们是怎么对待它的——除了极少数样本外，彻底赶尽杀绝。因为它们占有资源的行为会直接威胁到人类的生存。在关乎人类生存的问题上，决策者是不会有任何手软的举动的。当年消灭天花的时候可没人感慨又一个物种被我们灭了。你这样善良的人大概比较难以理解生存层面上你死我活是个啥概念，我等见过劫道的就很能理解了……从物种的层面上看天花和旅鸽那是一样的，都是一种生物，都是被人类给灭的，现在天花的灭绝被认为是人类医学史上的里程碑而旅鸽的灭绝被认为是环保历史上的耻辱，区别就在于天花会威胁到人。那么对于AI的态度，也就是以其会不会威胁到人为基准的。那么人工智能对人类的威胁与人工智能的智能水平又是直接相关的。
4、戒备是一个类比，对同为人类尚且有戒备，对于另一个物种，保持戒备更是必须的。这样一旦AGI做出不利于人类的举动可以立即做出还击。
PS：所以无罪推定也仅仅存在于法理层面上，现实生活中，有一定社会经验的人都在不自觉地施行有罪推定，即陌生人有侵害自己利益的可能性。将人类作为一个整体来考量那更是如此。现在不少人都在找外星人，一旦找到又会出现什么样的后果？
虽说有乐观的科学家说外星人不会带着武器而是他们的圣经来地球（但是霍大爷则表态外星人有很大可能是危险的），但是可以肯定的是所有的政客都会让全球最尖端的武器做好准备。诞生于人类的AGI虽说没这么夸张，但是如第一条所说，它们与人类占有的资源圈天生就是重合的。爆发冲突的可能性反而更大。
关不关笼子，，这个问题很容易理解。人与人是同类物种，基于人类社会的法则个人自由需要建立在不妨害他人自由的前提之下，所以尽管我有戒心，我无法将另一个陌生人关起来。但是跨种族的时候人类社会法则是不适用的。面对有可能伤害自己的其他物种，解决方案就是隔离起来——去动物园看看就明白了。看到一狮子在街头闲庭信步你大概不会有心思感慨“它真是自由自在”吧。。
你提到过“文明社会”，这个概念比人类社会要大，也就是说其他种族与人类也可以构成“文明社会”。不过和人类社会的形成一样，跨种族的文明社会需要很长时间的互相磨合方可逐渐成形，在成型之前，互相之间就是适用丛林法则的。就类似于北美土著虽然现在过得还行，但是在白人刚刚到达北美的时候，他们被屠杀到接近灭族一样。而且成型之后的形态大概和现在的国际社会一样，存在谁是主导、谁是附庸、谁是端茶倒水的谁是倒马桶扫厕所的这样一种梯级结构。人类社会这样一个标准的文明社会发展史上尚且写满了血腥的战争，跨种族的文明社会发展史上一片安乐祥和怕是不太可能。虽然从长远历史的眼光来看可能感觉还行——一个跨种族文明社会在不断的冲突当中逐渐成形，但是任何一个历经过战火的人都不会这么认为。尤其是潜在冲突的一方还是人类自己造出来的时候。。

目前于你看来AI还很弱小，它们只会根据人类的指令来干活（弱/强AI），但是换成自行设定运行目标的AGI同时拥有非常强大并且可以飞速进化的软、硬件实力，更关键的是有可能不理会其创造者——人类——施加与它的各种束缚，换言之，有伤害人类的可能性的AGI的时候，那就不一定了。

当然，另一个非常重要的要素就是跨物种的交流。
如果人类创造了AGI的话，那么和AGI之间的信息交流显然是不成问题的。这一点上看AGI和狮子确有区别。但是，和人与人之间的交流可能存在虚假信息一样，我们无法确定AGI与人类交流是提供的是否是真实的信息。前面说过AGI在自我进化的过程中会获得怎样的能力是完全无法预知的。如果AGI获得了掩盖自己真实企图（也就是欺骗）的能力的话，那么这种交流也就不再有什么意义。更糟糕的是人类不知道AGI会不会欺骗。除非它暴露出逻辑上的漏洞。不过若是有这种漏洞的话，那就意味着它过不了图灵测试，作为人工智能的入门考试就不及格，真正懂得思考的人工智能是可以做到这一点的。

总之，对于AGI，或者说，任何具备自主思考和自我进化能力的任何事物，都须将其作为一种人类翻版式的物种来对待。而人工智能究竟可以达到哪种思考程度，是AI威胁论的反对者和支持者的核心分歧所在。反对者认为人工智能永远不会达到人类的智能程度，就算是AGI出现它也最多相当于三岁小孩威胁不大，基于这一前提所以你会认为AI和人类可以和平共处，就像现在地球上的其他物种与人类“和平共处”一样，因为它们与人类相比实在弱爆了（反过来作为超强物种的人类开始关注环保问题了）；而支持者则认为人工智能有达到甚至超越人类思考能力的可能性，人工智能生命体应当被当成一种独立的物种而非人工制品来对待。那就相当于面对出现在地球上的外星人，全人类都会做好战争准备而不是放下所有武器和他们握手言欢。
对于未来计算技术究竟能够达到什么样的程度，我只能说目前已经在进行的研究倾向于支持后一种观点（强AI研究）。而且如果将目光超越计算科学的领域，将神经科学也纳入进来，神经科学与计算科学的交叉点上很有可能就是具备自主思考能力的人工智能甚至AGI的突破点。
讨论到最后其实归根结底就在这个问题上打转，究竟以后的发展程度是什么样的，那就是一个各人相信哪一方面的问题了。我倾向于相信人类的技术实力，即AI有可能达到人类的思考水准so，有可能是一种威胁。更何况在42楼我提到了在大量杂乱无章的信息当中出现某种程度上的生命体的可能性当然目前除了混沌（虽说这是核心理论）之外没有任何理论支持，那就纯当我在胡思乱想好了（其实也是士郎正宗的胡思乱想）……不过若真有这种可能性的话就说明事态并不在我们的控制之下，这东西大概不能被称为“人工”智能了。

碰巧前一段时间看过What if: Robert Apocalypse，在这里：
http://what-if.xkcd.com/5/
虽说作者认为AI/或者说机器人不会成为人类威胁，这也是上一段认为人工智能的思考水平无法达到人类水准的典型代表。在可以预见的未来的确如此，但是更远景上看就是很大不确定了。
而且作者写道最后实际上还是露馅了，他提到使用EMP来毁灭机器，实际上这就已经相当于人类与机器人之间的战争了，不过人类手中握有机器人的死穴，所以占据一定的优势，不过如果机器人找到应对的方法，或者说同样找到人类的死穴（比如基因方面的），那又该如何？

ooxx

ExtremeEngine 发表于 2012-9-3 12:45
道德么……
在一个物种之内讲道德那是OK的。
跨物种讲道德……那我还是相信丛林法则。尤其是对于有可能与 ...

丛林法则对于文明社会是不适用的。你混淆了几个地方：

1、关于物种生存，人类与AI并不一定就是“不是你死就是我亡”的关系，只要相互之间没有压迫，自由与生存就不会矛盾。
2、道德并不是“人类的道德”，而是人类的情感。比如你路见一只被撞死的小猫会心生怜悯，这和环保和利益和生存都是没有关系的，就是情感。情感动物会有，人类会复杂一些，假如我们可以造出强人工智能，那么它们也一样会有情感，会有喜好，会有善恶概念，否则就不是完整的智能。
3、你举的人和狮子的例子不对，狮子是野兽，怎么能指代强人工智能。
4、戒心会有，但是你会因为对他人的戒心而剥夺他人的自由吗，害怕谁伤害你，就把谁关进笼子里？

ExtremeEngine

ooxx 发表于 2012-8-29 04:07
“可进化的”的不一定要靠“算法”来实现，忘记喵妹在哪贴里发过的TED视频，我在另一篇帖子中引用过：
ht ...

道德么……
在一个物种之内讲道德那是OK的。
跨物种讲道德……那我还是相信丛林法则。尤其是对于有可能与自己势均力敌的其他物种（这就意味着潜在的竞争关系）。因为和它讲人类道德它也未必能理解。。。
因为以一个物种层面上来说，种族的生存与繁衍是至高无上的第一要务。族群内的个体利益也好，族群内的道德体系也好，都是以族群的生存为基础的。
现在的问题就在于，AGI有可能并不会自认为是人类族群的一员（前面说了AGI是有自行设定程序运行目标能力及权限的），那么人类的道德标准就不适用于这种东西（哪怕是人类自己造的）。

另一个问题就是现时的各种环保话题。“环保”并不是以关爱其他物种为出发点的，而是为了保证人类自身的生存以及生活的更好为出发点的。所以足见哪怕是在最能体现“跨种族道德”的环保理论当中，人类社会仍然在不自觉地将自己的利益置于第一位。
所以，就AI开发而言，AGI是一个不应该触碰的领域。因为其作为有一定思维能力的对象，我们无法判定其是敌是友。在任何时候我们需要的都是听话而且趁手的工具。
至于针对AGI的无罪推定，需要说明的是，无罪推定是一个近现代法律层面上的概念，它的基础仍然是人类社会。一旦范畴超越人类社会，比如人类与AGI，那么就不应当再使用无罪推定来认为与自己不同的某物种“无害”了。这就类似于将一个人和一头狮子丢在旷野里，狮子有可能刚吃完饭懒得搭理他，也有可能几天没吃看谁都像饼，这时候此君能够用无罪推定来判定“这狮子不会来吃我”吗？显然不能。肯定是有树上树有河跳河有枪开枪，啥都没有只能祈祷圣母玛利亚。

最直观的感受就是，现在我们到另一个地方，对于街头的陌生人（还都是人类）尚且抱有一定戒心，何况面对另一种物种？这种戒备无疑是一种必需的本能。

308891522

AI也好，其他工具也好，都是人类设计出来为自身服务的，所以除了完善这些工具所应有的功能之外，从人类整体来看，应该并不需要也并不希望具有能够完全自主思考能力的工具。因为一旦工具可以自主思考了，也就有了自己的意识，和人类在精神层面上并无太大区别，无非只是生命形式不一样而已。而这样的一种工具，必然会成为人类的潜在竞争对手。特别是对于AI来讲，目前的AI虽然并不能在各方面的超越人类，但是在部分领域，比如计算速度等方面对于人脑有着决定向优势。如果AI可以自由思考自由行动，必然会引起整个人类社会的不安，何况，就如开头所说，AI的设计初衷只是为人类服务而已，如果突然间AI的地位和人类相同了，人类在心理上一下子也是不可能接受的

fsbd190504

我觉得这种硬性限制被打破只是时间问题……
在人类的平均道德水平上升到一个足够高的程度以前制造AI简直就是自寻死路……
不过此次人类文明还未必能延续到有能力制造出足够聪明的AI的时候…………