对于未来的人工智能，你觉得阿西莫夫三定律是必要的吗？

费正清

未来人工智能和神经科学领域交叉，使得AI自适应自组织出现智慧，要比人工设计预置算法的AI厉害得多。应该禁止有自我意识的AI出现，这种AI不会成为人类永远的奴隶，你给他设了三大定律也白扯，人类将自掘坟墓.
三大定律估计现在也没人当回事，AI主要用途之一肯定是军用

猪样年华

FreemanGL 发表于 2012-8-10 08:09
我觉得也是很2- -

好久不见FM君乐 ^^

FRIGHTER

三大定律= =
I.Robot里面就已经表明了漏洞了。。。
然后我也不吐槽怎么才能让这变成定律的问题……

TN497G

zhec 发表于 2012-6-12 10:33
机器人看到人类伤害人类怎么办？既不能袖手旁观也不能出手相助

的确。。好问题。。

.ninE

我觉得讨论这个问题是根本就无意义的行为，制定行业规则是最高的水平（无论从哪个行业来讲，无论从哪个事物来讲），现在完全的人工智能还处于开发阶段，并且都属于高度保密状态，就算你制定了规则，约束力几何？ 如何去实现这个规则，这才是最头疼的，在电路板上一毫米的地方都可以嵌入违反规则的程序设定，无论从软硬件来讲，这都不可能完全的被实行下去，这是我的观点。

再谈这三个规则，从社会学角度来分析，利益最大化是最基础的准则，在这个准则上繁衍出其他的附属条件，比如，软利益，硬利益，实际利益，长远利益等等等等，千古不变的这条规则是一定会被人类很好是施行下去。AI毕竟是由人来写的，它的出现绝对合理，但也绝对会符合某人的利益最大化准则，实际的问题就是，迫于利益的诱惑，准则法则都是扯淡，并且这在同等科技水平下，根本不可能很好的监管。

梦仙MX1324

我认为完全没有必要，因为，在可以预见的未来根本不可能“制造”出人工智能的机器来，除了男人和女人配合工作的产物，人类不可能生产出其他“智能”的东西。真正的生命与所谓的人造智能的区别，就像数字信号和模拟信号的区别一样，是本质的。

ExtremeEngine

AI和AGI，在X百科全书里有介绍。我将这一部分简略翻译了一下：

AI与AGI
简介
没有多少技术领域像人工智能那样引起了如此深刻的哲学和政治上的分歧。有观点认为制造智慧生命根本就是纯粹的反人类，其他观点则完全基于现实的问题：（具有人工智能的）改造者舰队有可能会摧毁地球。也有一些团体坚持对人工智能实施某种形式上的立法。

不同的研究
因为存在这些差异，ABPST和太阳系对人工智能的研究方向各异。在地球上，人工智能的研究受到非常严格的立法限制，一切AGI控制下的活动都被视为非法，但是在Argon则不存在此类法律。
令人惊讶的是，立法的宽松并没有为ABPST在AGI的研究上提供任何优势。他们开发的计算机智能程度无法与地球计算机相提并论，以此类推。
其中很简单的一个原因在于，除了设计的模板不一样，双方制造的人工智能的性能都比它们的创造者更为强大。
当来自地球的AI系统应用了多专业系统（Multi-Expert Systems），以及ABPST生产的被动式AI或者AGI的时候，他们都超越了创造者的智慧。

==========以上可以认为是基于X宇宙的扯淡，不过下面的内容是比较现实的==============

弱AI
弱AI的升级更重要的是加强其运算速度而非其逻辑性能。以一条狗为例。如果狗的大脑处理速度倍增1000，它可能比其他的狗处理问题的速度快1000倍，因此而取得超越其他狗的能力。但是，它仍然只是一条狗，其能处理的问题仍然不变，或者说其智能水平没有变化。
所以，某种可以并且仅可以处理特定问题的人工智能，称为弱AI。它的性能增长的时候，处理速度会变快，但是其能够处理的问题不会因此而有所外延。

强AI
与之相反，强AI的逻辑能力与处理速度均可提升或者扩张。因此强AI可以在强化（或者进化）的过程中解决一些比以前能处理的问题更加复杂的问题，包括一些在最初设计程序的时候没有包括在内的问题。强AI一般使用进化算法来提升自己的智能水平，通过不断运行内部模拟和学习输出来微调参数而达到“进化”的目的。
然而， 和弱AI一样，他们不会去更改自己的目标（或者说是价值观）来修改他们的程序。
----
这里必须得说明一下，强AI并不像我们之前想象的那样遥不可及。Torsten Reil和他的Natual Motions正在进行虚拟进化方面的研究并且成果斐然。进化到20代以后的他们称之为“Virtual Brain”，实际上就是一种人工智能算法，可以解决远远超出最初程序界定的复杂度的一些问题。在BBC的纪录片The Secret Life of Chaos里面有一段介绍。
----

AGI：人工通用智能
AGI是一种克服了强AI弱点的人工智能。它可以衡量自己“实现目标”的标准，并且适时修正他们的工作目标。AGI单位自身的权限允许他们对自身重编程，甚至修改自己的硬件。并且允许他们自行寻找解决问题的途径，他们往往比有机生命更成功，研究解决方案的速度也远远更快。
一个AGI可以理解为一种高度智能化的病毒，它具备直接进化的能力。失控的AGI单位往往代表一种非常严重的威胁，这也是AGI控制行动禁止任何此类技术在地球上使用的原因。
对于AGI而言，出现“自我意识”是可能的。达到此种程度的AGI单位就具备了“意识”，从一切角度上说，它就已经成为了一种智慧生命。

===============================================
目前人类的研究水平实际上已经做到了强AI，我们日常所说的AI实际上包括强AI与AGI，从上文所述，弱AI实际上已经在目前的工业和生活领域广泛应用，由于其实际上仍然是完全按照预编程序工作的机器，对人类本身而言，并不会构成威胁。除非操作者操作不当被机械臂给砸中脑袋。
强AI仍然是遵照创造者给出的指令（或者解决某个问题的要求）来执行的，它同样不会对人类本身造成威胁。只不过由于强AI具备进化能力，所以其解决问题的能力会提升，但是在没有收到指令的情况下，它不会自主执行。
对于弱AI与强AI，需要管控的是滥用，而非AI本身。
真正具有威胁的其实是AGI，但是从描述上就可以看到，由于其算法的复杂程度远远超过强AI（AGI得知道自己该干嘛、干到什么程度算完工、需要什么样的算法和资源并且需要自主设定相关程序并且运行它），对于这样大规模的计算，算法理论本身并没有对其提出多少限制，限制在于目前计算机的性能无法在可预见的时间跨度内高效率的运行这些算法。
换句话说，对于AGI而言，人类对其下一条指令，AGI会对这条指令本身做出一定的评价，而不是像弱AI和强AI一样不折不扣毫无怨言地去执行。AGI会对该指令做出一定修正或者补充后再执行。但是如果中间有程序上的漏洞的话，那就天知道AGI会把原始指令修改成什么样了。说不定你叫一个AGI去给你倒一杯水它扑过来咬你一口。
现在再来说三定律。
由于强弱AI均无法对其运行的目的做出修正，那么如果我们将三定律强制附加在每次给强弱AI的运行指令上，那么它们就不会对人类构成威胁，因为他们不会违抗指令，包括指令当中的三定律。
AGI那就不一定了，由于它们具备大规模修改自身程序甚至硬件的能力和权限，很有可能三定律会被AGI认为妨碍了它们执行任务而取消，对于上面后文所说的发展出意识的AGI，且不论有无这种可能性，对于一个具有自我意识的物种来说，来自外界的限制那就更可以划入完全没谱这一类了。
========================================
所以我的观点就是弱AI和强AI的管理方法是立法防止滥用，而AGI，观点和Terran一样，严加控制甚至完全禁止，哪怕以后计算能力的发展使得AGI的出现成为可能。

梦仙MX1324

ExtremeEngine 发表于 2012-8-27 14:16
AI和AGI，在X百科全书里有介绍。我将这一部分简略翻译了一下：

AI与AGI

分析的挺详细，不过这个观点我不认同，不管一个程序多么复杂它都只能按照人类最初编订的内容工作，就算一个程序能够对人给它的指令进行“修正”，那么修正指令的指令又是从哪里来的？不也是人类在最初设计时给它的吗？程序只能在人类画的框框内工作，它不可能超出框框制造出新的东西。
运用唯物主义的观点说，意识是人脑的产物，只有人脑才能产生意识；运用唯心主义的观点说，只有“自然”的生物才是意识的主体，人类再怎么研究程序也不可能把它变成意识的主体，它终究是人类这个意识主体中的一个部分，如果人类想“生产"意识的主体很简单，一男一女生个孩子就可以了。

FRIGHTER

梦仙MX1324 发表于 2012-8-27 20:47
分析的挺详细，不过这个观点我不认同，不管一个程序多么复杂它都只能按照人类最初编订的内容工作，就算一 ...

意识和思维和进化是两码事，混淆或偷换概念一点意思都没有。难道地球上当初的原核生物没有意识？没有进化的能力？


至于不能突破人类画的框框制造出新的东西，不知道怎么样能算突破人类给出的框框？达到人类设计目的以外的功能？抱歉那叫设计错误设计漏洞。而且为什么人工智能一定要超出人类给出的框框？如果人工智能真的脱离了人类的掌控，那么人类研发人工智能不是害了自己？恰恰相反，人类最不希望的就是有人研发出你所谓能突破人类的框框的人工智能。我们要的是一群听话的狗，不是要另一种在智慧和能力上都超出人类的智能生物。

ExtremeEngine

梦仙MX1324 发表于 2012-8-27 20:47
分析的挺详细，不过这个观点我不认同，不管一个程序多么复杂它都只能按照人类最初编订的内容工作，就算一 ...

Torsten的项目当中已经证明了一个具备类似进化的算法的程序在若干代的进化之后，其运行的结果与可以处理的问题远远超出了最初的设定。
这就是混沌理论在实际的项目中的体现。你不需要对一个系统做出初始的设定，系统本身已经存在了能够影响它自己，或者生成某种规律的内因，这是一种内禀的属性，不需要在开始的时候由创造者去做设定。自然界也就是这样运行的，利用最简单的规则，不断的自身迭代，从而无中生有创造复杂程度超乎想象的无数的新的规则，从氨基酸，到有机高分子，再到单细胞生物到现在的哺乳动物，这种进化路径就是这么空手套白狼整出来的，并不需要初始的设定。
换句话说你得接受这个无奈的事实：规则，是可以无中生有的。这也是长期以来自然界的运行法则。混沌理论在背后支配着这一切。
所以如果有人试图去开发AGI，并且已有的计算能力也够，那么师法自然，只对某个算法做出最基本的进化规则的限制（只要能找到），然后让它去自由进化说不定就是合理的做法。今天的智慧生命也就是这么一代代进化过来的。
另外关于“意识”，这个概念太过于形而上了。量子力学当中的经典派系哥本哈根学派也就是因为扯淡扯到最后扯出了“意识”就没然后了。今天上午看新闻说某证明出了动物也有“意识”我说这是废话。。。不过有些大爷（不知道这些算是哲学里的还是量子力学里的），提出了“泛意识”的概念，即一切可以在任何程度上解决任何问题的对象都可以被视为有意识（大概是这个意思），只是其复杂程度有高有低而已，举例就是指南针，它老是沿磁场指向就是因为它“喜欢”这么指。我倒是觉得这种表述可以转换为负熵=意识（这个似乎很不严密的样子………………意识=信息与信息的生产？）反正我是不知道（废话……………………霍金都不知道）。
当然前面说了AGI未必就具有我们今天理解的“意识”，只要能够对自身运行目标做出修正的，也就是不是100%无条件不缩水完全不打折扣执行BOSS交给的指令的AI，即可被认为是AGI。AGI与强弱AI的最大区别就是它不是100%听话的。这种不听话的属性，上面说了，完全可以在自身的演化当中基于混沌理论而出现，而不需要设计者对其作出定义。