于兴中：有关人工通用智能、奇点和超级智能的争论

我最近几年一直在关注智能科技的发展，读的书大多也与此领域有关。我发现2024年关于人工智能的言说中有三个概念炒得很热：人工通用智能（AGI）、超级智能(superintelligence)和奇点（singularity）。2024年是科技进步的关键时期。在前几年取得突破的基础上，研究人员和技术专家在开发更复杂的人工智能系统方面取得了重大进展，似乎正在逐渐接近一些人提倡的人工通用智能和超级智能的理论门槛。与此同时，这些发展也加剧了围绕人工通用智能、超级智能及奇点等领域的辩论。

这三者其实是同一个问题，只不过表述不一样罢了。其核心观点乃是一个假设，即随着人工智能的快速发展，技术增长将变得不可控制、不可逆转，从而给人类文明带来深不可测的甚至致命的变化。这场辩论20多年前早就开始，随着两位研究人工智能的专家获得2024年的诺贝尔物理学奖和化学奖，加之生成式人工智能语言大模型的出现，这些概念的重要性便在2024年凸显出来。两位诺奖获得者不止一次地强调了超级智能到来的可能性及其深不可测且难以把握的危险后果。一时间，空气中弥漫着非常浓厚的科技乌托邦和人工智能神秘主义，使人难以辨别，无所适从。

目前的讨论不仅涉及技术可行性和时间表，还涉及其深远的社会、伦理和生存意义。这些争论的核心是两种截然不同的观点：技术现实主义和技术乌托邦主义，前者强调对技术的可能性和挑战进行脚踏实地的批判性评估，后者则憧憬技术进步带来的乐观结果和变革利益。本文试图通过介绍一些相关的书籍来简介正在就这些问题进行的辩论及其所带来的伦理和社会影响。本文也涉及了这些争论的历史与现状，强调了在技术现实主义和技术乌托邦主义框架下，人工智能、奇点和超级智能等概念之间的相互作用。

人工通用智能：梦想会成真吗？

人工通用智能（Artificial General Intelligence）是指机器对各种任务的理解、学习和知识应用能力的水平可与人类的认知能力相媲美。与擅长特定领域的狭义人工智能不同，AGI包括多用途和适应性强的智能。自1999年库茨韦尔预言2029年AGI就会出现以来，计算机技术界乃以此为目标开展研究。但山姆·奥托曼不久前却说，AGI这个概念基本没什么用处，应该有更新颖的概念代替它。

约翰·麦卡锡（1927－2011）通常被誉为“人工智能之父”，他在人工智能领域的创立中发挥了重要作用。虽然他没有明确创造“人工通用智能”这一术语，但他的远见卓识和奠基性工作为追求AGI奠定了基础。马文·明斯基(1927－2016)是一位认知科学家，也是麻省理工学院人工智能实验室的创始人之一。他强调理解人类认知对于人工复制人类认知的重要性。他在《心智社会》一书中提出智能产生于非智能代理间的互动，为AGI奠定了哲学基础。在这些奠基人之后，众多研究人员对AGI概念进行了完善和扩展。狭义人工智能和AGI之间的区别变得更加明显，AGI代表着创造具有通用认知能力的机器这一更远大的目标。

对AGI的追求引发了有关技术可行性、安全性和伦理方面的问题。技术现实主义者以谨慎的态度对待AGI，强调仍然存在巨大的技术障碍。他们强调复制人类认知的复杂性，以及AGI超越人类控制所带来的潜在风险。与此相反，技术乌托邦主义者则认为，AGI将带来科学、医学和社会福祉方面前所未有的进步，并设想在未来，AGI将减轻人类痛苦，提高生活质量。

AGI的支持者设想，在未来，智能机器将大大增强人类的能力，解决复杂的全球挑战，并在各个领域推动前所未有的进步。他们认为，首先，AGI可以推动技术和科学的进步。倡导者认为，AGI可以加速科学研究，从而在医学、环境可持续性和太空探索方面取得突破。例如，AGI可以分析庞大的数据集，找出治疗疾病的新方法，或优化能源使用以应对气候变化。博斯特罗姆在2014年由牛津大学出版的《超级智能：路径、危险、战略》就持这种观点。

其次，AGI能提高经济增长和生产力。支持者认为，AGI可以使复杂的任务自动化，提高效率，并创造新的产业，从而推动经济大幅增长。这种转变可以提高生产率，并通过创新的经济模式减轻全球贫困。乐观主义者认为，AGI可以解决饥饿、疾病和环境退化等紧迫的全球问题。通过利用其卓越的问题解决能力，AGI可以设计可持续的农业实践，开发治疗流行病的方法，并创建高效的资源分配系统。更为重要的是，AGI可以增强人类智能，为更好地决策、教育和个人发展提供工具。智能助手可以帮助个人管理过载的信息，促进建立一个更知情、更有能力的社会。

然而，并不是所有的人都是乐观主义者。批评者对开发和部署 AGI表达了极大的担忧，强调潜在的风险和道德困境。他们认为，最令人担忧的问题之一是，AGI可能会对人类的生存构成威胁。如果 AGI系统超越了人类智能，却没有与人类价值观保持适当的一致，那么它们的行为可能会对人类生存造成损害甚至灾难。而且，AGI可能会导致人类失去对关键系统的控制。将决策权下放给自主AGI可能导致人类无法预测或影响这些智能代理的行动。AGI的自动化能力可能会导致各行各业的大量工作岗位流失，加剧经济不平等和社会不稳定。由AGI驱动的生产力提高所带来的利益可能无法公平分配，从而导致社会分化加剧。同时，AGI可能会被恶意利用，如开发先进的网络攻击或自主武器。AGI技术的扩散可能导致新形式的战争和全球安全威胁。AGI的发展引发了有关机器意识、权利和智能机器道德地位的复杂伦理问题。人们还关注创造具有潜在超人智能的实体所涉及的伦理问题。

总之，围绕AGI的讨论囊括了各种信念，既有对其改变人类进步潜力的深刻乐观，也有对其存在的道德风险的深深忧虑。乐观的观点强调了AGI可能带来的巨大利益和进步，而悲观的观点则强调了必须小心应对的重大威胁和道德困境。中间立场呼吁采取平衡的方法，提倡负责任的开发实践，优先考虑安全性、道德协调和利益的公平分配。随着AGI研究的推进，社会必须参与知情和细致的讨论，确保对AGI的追求与人类更广泛的价值观和福祉相一致。

超级智能：人类会沦为奴隶吗？

超级智能是指在科学创造力、一般智慧和社交技能等各个领域超越人类最佳大脑认知能力的智力。它不仅包括先进的解决问题的能力，还包括卓越的情感和社交智能。诺奖获得者辛顿最近的演讲中，充满了对超级智能的恐惧。英国数学家和统计学家古德（1916－2009）是早期讨论超级智能概念的学者之一。他在1965年发表的开创性论文中提出了“智能爆炸”的概念，即一台超智能机器可以设计出更多的智能机器，从而导致智能呈指数级增长。他的《关于第一台超智能机器的推测》被认为是最早正式阐述超级智能概念的论文之一。

尼克·博斯特罗姆的研究方法深深植根于严谨的哲学和风险评估，力求系统地理解和减轻与超级智能人工智能相关的潜在威胁。他在2014年出版的《超级智能：路径、危险、战略》是一部探讨人工智能未来及其超越人类智能潜力的重要着作。博斯特罗姆细致地勾勒了超级智能系统发展的各种情景，研究了超级智能系统带来的巨大好处和重大风险。他将超级智能分为三种形式，即速度型超级智能、集体型超级智能和质量型超级智能，而每种形式都具有不同的特点和含义。他强调，必须制定强有力的战略，确保这种先进的人工智能符合人类的价值观和安全。这本书在人工智能伦理和安全领域极具影响力，引发了关于如何负责任地驾驭快速发展的技术以减轻生存威胁，同时利用人工智能的潜力产生积极影响的重要讨论。

博斯特罗姆的《超级智能：路径、危险、战略》影响深远，但也招致了不同学者和从业者的批评。批评者认为，博斯特罗姆关于超级智能的设想是高度推测性的，更多地依赖于理论推断，而不是具体的经验数据。这使得他的一些预测看起来更像是科幻小说，而不是可能的结果。

鉴于科学突破和潜在范式转变的不可预测性，技术进步将沿着某些可预测的路径迈向超级智能的假设受到质疑。一些人认为，博斯特罗姆过度关注超级智能带来的遥远、假设性威胁，可能会转移对当前人工智能伦理、偏见和社会影响等紧迫挑战的注意力和资源。批评者质疑博斯特罗姆对超级智能带来的生存风险所赋予的高概率，认为这些估计可能缺乏强有力的理由。

博斯特罗姆的分析通常围绕类人智能和与人类价值观的不一致展开。批评者认为，这种观点可能过于狭隘，忽略了其他形式的智能或超级智能系统可能与人类福祉内在一致的方式。把对齐问题主要归结为目标和价值观的对齐，被认为是一种简化论。批评者认为，人类与超级智能人工智能之间的关系可能更加复杂和微妙。一些学者认为，博斯特罗姆概述的通往超级智能的路径并没有涵盖人工智能可能发展的全部范围，有可能忽略了其他可信的轨迹或混合模式。有人对超级智能系统可以轻易规避人类控制机制的观点持怀疑态度。一些人认为，在人工智能进步的同时，还可以开发出强大的控制方法。

博斯特罗姆关注超级智能带来的风险，有时会忽略对先进人工智能实体的道德地位和权利的讨论，从而引发对所应用的伦理框架的质疑。批评者认为，博斯特罗姆对人工智能的发展提出了某种决定论观点，低估了人类制度、社会价值观和监管措施在塑造技术成果方面的作用。有人认为，博斯特罗姆建议的降低风险的策略，如广泛的全球协调和先发制人的监管，在当前的地缘政治格局下是不切实际或过于理想化的。虽然博斯特罗姆概述了潜在的危险和广泛的战略，但批评者指出，该书往往没有提供具体的、可操作的步骤，让利益相关者可以实施这些步骤来应对已识别的风险。

虽然AGI和超级智能是不同的概念，但它们之间有着内在的联系。AGI代表了超级智能的功能基础。从AGI到超级智能的过渡不仅涉及实现人类水平的认知能力，还涉及在所有可能的领域超越人类水平的认知能力。AGI的发展通常被视为超级智能出现的前奏。一旦机器具备了一般的认知能力，迭代式的自我完善循环就可能导致超级智能系统的出现。从AGI到超级智能的过程会引发对控制、与人类价值观的一致性以及生存风险的担忧。博斯特罗姆等学者强调，需要强有力的安全措施和伦理框架来引导这一过渡。这两个概念都需要对智能机器的权利、对人类社会的影响以及权力和资源的分配进行深入的伦理考虑。

具有远见卓识的思想家们预见到了先进人工智能的变革潜力和内在风险，他们对AGI和超级智能的探索形成了影响。从约翰·麦卡锡在人工智能领域的奠基性工作，到古德对超智能机器的早期推测，再到博斯特罗姆的详细框架，这些论述不断发展，以应对技术进步与伦理治理之间复杂的相互作用。了解这些开创性的贡献为当前的辩论和发展奠定了重要的基础，以便创造出既能造福人类又能减少潜在危险的智能系统。

超级智能背景下的技术现实主义强调需要健全的人工智能调整和控制机制。它主张开展跨学科研究，以确保超级智能系统按照人类道德标准和社会目标行事。技术现实主义者还呼吁人工智能开发的透明度和公众参与，以降低与超级智能相关的风险。

另一方面，技术乌托邦主义侧重于超级智能的潜在积极成果。它认为，超级智能人工智能可以彻底改变医学、环境管理和教育等领域，从而建立一个乌托邦社会，在这个社会中，人类的局限性将通过技术的提升而被克服。

奇点：人类文明的终结者抑或是杞人忧天

在物理学领域，特别是在爱因斯坦的广义相对论中，奇点是一个深奥而神秘的概念。与涉及人工智能飞速发展的技术奇点不同，引力奇点指的是时空中的一个点，在这个点上，引力导致物质具有无限的密度和零体积。到了这个地步，已知的物理定律不再可靠地发挥作用，这对我们理解宇宙提出了重大挑战。

约翰·冯·诺依曼是最早讨论加速技术变革概念的人之一，他推测了机器自我改进的潜力。古德提出了“智能爆炸”的概念，即超智能机器可以递归地增强自身的智能，从而导致无节制的增长。

佛农·文基因其在科技进步的背景下普及了“奇点”一词而备受赞誉。文基是着名的计算机科学家和科幻小说作家，他在1993年发表的开创性文章《即将到来的技术奇点：如何在后人类时代生存》中提出了技术奇点的概念。文基的描写通常以推测和叙事为主导，融合了科学预见和想象预测。文基将奇点定义为未来科技发展变得不可控制、不可逆转，导致人类文明发生不可预见变化的一个点。他认为超级智能机器的诞生是奇点的主要催化剂，并设想这些机器将在所有领域超越人类智慧。文基的科幻小说背景为他的探索提供了灵感，使他能够以生动的想象力预测潜在的未来场景。他强调人类需要为奇点做好准备，以便在后人类时代生存和发展。文基假设奇点可能会在未来几十年内出现，强调了采取积极措施的紧迫性。文基强调了超级智能人工智能带来的生存风险，主张制定战略，确保人类在变革性技术转变中生存下来。

雷·库兹韦尔在《奇点临近》一书中进一步发展了奇点概念。库兹韦尔就奇点可能如何展开提供了详细的预测和机制，强调了人工智能和生物技术的作用。库兹韦尔是着名的未来学家和发明家，他提出了一个即将到来的时代愿景，在这个时代，技术进步，尤其是人工智能、生物技术和纳米技术的进步，会加速到从根本上改变人类文明的地步。他的乐观预测在学术、技术和大众领域引发了广泛的讨论，既有赞扬也有批评。

库兹韦尔将“奇点”定义为技术增长变得不可控制、不可逆转，从而导致人类文明发生不可预见变化的时间点。库兹韦尔的核心观点是，技术进步，尤其是计算机技术的进步，遵循的是一条指数曲线。这意味着每一次进步都是在前一次进步的基础上以加速度发展的。库兹韦尔认为，技术创新的速度大约每12个月到14个月翻一番。这一原理是他预测“奇点”迅速到来的基础。在库兹韦尔的设想中，未来人类将利用先进技术强化自己的生物体，从而延长寿命，增强认知能力，甚至有可能实现数字永生。开发人脑与机器之间的无缝接口是实现这种融合的关键因素。库兹韦尔预测，到21世纪中叶，人工智能将超越人类智能，使机器能够完成人类所能完成的任何智力任务。他预见人类与人工智能之间将形成一种共生关系，机器将增强人类的能力，而不是取而代之。

“奇点”这一概念已成为有关未来科技，尤其是人工智能、机器人技术和生物技术领域讨论的核心主题。它概括了这样一种思想：当技术发展变得无法控制和不可逆转时，一个关键时刻就会到来，从而导致人类文明发生不可预见的变化。

技术现实主义者对“奇点”理论进行了批判，质疑了指数增长和向AGI线性发展的假设。他们认为，这种预测往往忽视了技术发展的复杂性和潜在瓶颈。此外，技术现实主义者强调监管框架和道德准则对于负责任地管理人工智能进步的重要性。与此相反，技术乌托邦主义将奇点视为一个变革性的里程碑，它将解决人类的许多问题。支持者认为，奇点引发的富足繁荣时代不可避免，并引用历史上的技术进步作为类似轨迹的指标。

2024年，库兹韦尔又出版了《奇点更近：当我们与AI合为一体》。在这本全新的书中，雷·库兹韦尔以全新的视角审视了奇点的发展，评估了他在1999年作出的人工智能将在2029年达到人类智能水平的预测，并审视了技术的指数级增长。在不久的将来，人类的智能将增长一百万倍，人类的生活将从此改变。他讨论的话题包括：利用纳米机器人等设备逐个原子地重建世界；彻底延长生命，超越目前120岁的年龄限制；通过将我们的大脑连接到云端来重塑智能；指数级技术如何推动各行各业的创新，改善我们福祉的方方面面，如减少贫困和暴力以及可再生能源和3D打印的发展。他还探讨了生物技术、纳米技术和人工智能的潜在危险，包括人工智能将如何影响就业和自动驾驶汽车的安全性等当前备受争议的话题以及“After Life”技术，该技术旨在通过结合死者的数据和DNA虚拟复活死者。

库兹韦尔的预测有多少能成为现实，人们拭目以待。不过，人的解释能力是无拘无束的。届时，说不定又有新的说法来替代旧的预测。人类文化就是在现实与乌托邦互为依托的进程中不断发展的。

（作者系澳门大学法学院讲座教授、澳门大学人文社科高等研究院院长）