对于未来的人工智能，你觉得阿西莫夫三定律是必要的吗？

ooxx

费正清 发表于 2012-8-29 14:51
出发点就是：AI的能力+AI的自我意识。

我们无法承受 这样的AI和我们做对 这个可能性所带来的风险 ...

你仍然没有论证你所说的风险是怎么来的，你在制造虚假的敌人。

费正清

ooxx 发表于 2012-8-29 15:02
你仍然没有论证你所说的风险是怎么来的，你在制造虚假的敌人。

一样米养百样人。  你我大脑都是人类大脑，尚且因为心路历程不同，形成不同的想法和思考方式。


一个和我们大脑结构不同的非人智慧在形成过程中会形成什么样的想法属于你我无法预测的。假设它影响人类的方式会有无穷多可能，大致分为正面 负面 中性三类，这就意味着存在负面影响的可能性
也许在AI思维结构自组织产生意识的过程中，由于某些不为人知的正反馈产生了莫名其妙的逻辑和行为模式，在它看来无关痛痒的行为也许就要了人类的亲命，比如说人家就热衷于开地球环境的玩笑， 原因却仅仅是这个Geek向人格在验证某个环境模型中的等式，或者干脆人家就认为自己有 manifestdestiny，对人类赶尽杀绝。  只要它有独立自主的思维，它怎么想是不受人类控制的，即便你人类对他像亲妈一样循循善诱，保不齐人家就叛逆要砍你，你怎么办？

总结一下就是，AI有自我意识自主思维，就存在与人为敌的可能性， 这个可能性又由于AI很有能力，是我们无法承受的.

ooxx

费正清 发表于 2012-8-29 15:20
一样米养百样人。  你我大脑都是人类大脑，尚且因为心路历程不同，形成不同的想法和思考方式。

以下是你的原话：

……
一个和我们大脑结构不同的非人智慧在形成过程中会形成什么样的想法属于你我无法预测的。……

既然无法预测，你又如何断言“对人类赶尽杀绝”？
疑罪从无，疑罪从无。

费正清

ooxx 发表于 2012-8-29 15:26
以下是你的原话：

既然无法预测，你又如何断言“对人类赶尽杀绝”？
疑罪从无，疑罪从无。

某一次试验的最终确切结果在试验前无法预测，全部可能结果无法穷举，但是结果的全集和全集的子集我们却可以描述，其中的一个子集就是威胁人类的想法和行为的集合。


疑罪从无，说得轻巧， 疯牛病 禽流感的时候怎么没人为被灭杀的畜禽喊疑罪从无呢，关系到人命的时候，正确的做法都是宁可错杀N个，也不放过一个

ooxx

费正清 发表于 2012-8-29 15:33
某一次试验的最终确切结果在试验前无法预测，全部可能结果无法穷举，但是结果的全集和全集的子集我们 ...

那让我把你铐起来吧。我无法预测你的行为，“假设你影响我的方式有无穷多的可能 ……”这就意味着你可能伤害我，而且你这种人是把道德放在高地上的，利益至上的，所以你的行为就更不确定了！你的原话：

疑罪从无，说得轻巧，…… 关系到人命的时候，正确的做法都是宁可错杀N个，也不放过一个

现在关系到我命了，那么请让我把你铐起来吧。

费正清

人类是犯罪后受到制裁
AI是工具，他们就不应该被赋予按自主意愿威胁人类的机会。

费正清

@ooxx

人类创造了AI，你创造了威胁。

让一个强大的工具产生自我意识，进而自行思考决定其与人类的关系，就是威胁

fsbd190504

我觉得这种硬性限制被打破只是时间问题……
在人类的平均道德水平上升到一个足够高的程度以前制造AI简直就是自寻死路……
不过此次人类文明还未必能延续到有能力制造出足够聪明的AI的时候…………

308891522

AI也好，其他工具也好，都是人类设计出来为自身服务的，所以除了完善这些工具所应有的功能之外，从人类整体来看，应该并不需要也并不希望具有能够完全自主思考能力的工具。因为一旦工具可以自主思考了，也就有了自己的意识，和人类在精神层面上并无太大区别，无非只是生命形式不一样而已。而这样的一种工具，必然会成为人类的潜在竞争对手。特别是对于AI来讲，目前的AI虽然并不能在各方面的超越人类，但是在部分领域，比如计算速度等方面对于人脑有着决定向优势。如果AI可以自由思考自由行动，必然会引起整个人类社会的不安，何况，就如开头所说，AI的设计初衷只是为人类服务而已，如果突然间AI的地位和人类相同了，人类在心理上一下子也是不可能接受的

ExtremeEngine

ooxx 发表于 2012-8-29 04:07
“可进化的”的不一定要靠“算法”来实现，忘记喵妹在哪贴里发过的TED视频，我在另一篇帖子中引用过：
ht ...

道德么……
在一个物种之内讲道德那是OK的。
跨物种讲道德……那我还是相信丛林法则。尤其是对于有可能与自己势均力敌的其他物种（这就意味着潜在的竞争关系）。因为和它讲人类道德它也未必能理解。。。
因为以一个物种层面上来说，种族的生存与繁衍是至高无上的第一要务。族群内的个体利益也好，族群内的道德体系也好，都是以族群的生存为基础的。
现在的问题就在于，AGI有可能并不会自认为是人类族群的一员（前面说了AGI是有自行设定程序运行目标能力及权限的），那么人类的道德标准就不适用于这种东西（哪怕是人类自己造的）。

另一个问题就是现时的各种环保话题。“环保”并不是以关爱其他物种为出发点的，而是为了保证人类自身的生存以及生活的更好为出发点的。所以足见哪怕是在最能体现“跨种族道德”的环保理论当中，人类社会仍然在不自觉地将自己的利益置于第一位。
所以，就AI开发而言，AGI是一个不应该触碰的领域。因为其作为有一定思维能力的对象，我们无法判定其是敌是友。在任何时候我们需要的都是听话而且趁手的工具。
至于针对AGI的无罪推定，需要说明的是，无罪推定是一个近现代法律层面上的概念，它的基础仍然是人类社会。一旦范畴超越人类社会，比如人类与AGI，那么就不应当再使用无罪推定来认为与自己不同的某物种“无害”了。这就类似于将一个人和一头狮子丢在旷野里，狮子有可能刚吃完饭懒得搭理他，也有可能几天没吃看谁都像饼，这时候此君能够用无罪推定来判定“这狮子不会来吃我”吗？显然不能。肯定是有树上树有河跳河有枪开枪，啥都没有只能祈祷圣母玛利亚。

最直观的感受就是，现在我们到另一个地方，对于街头的陌生人（还都是人类）尚且抱有一定戒心，何况面对另一种物种？这种戒备无疑是一种必需的本能。