© ROOT-NATION.com - 本文由人工智能自动翻译。如有不准确之处，敬请谅解。若要阅读原文，请选择 English 在上面的语言切换器中。
OpenAI神秘的 Q* 项目引起了专家们的担忧。它对人类有危险吗？人们对它了解多少？在上周萨姆·奥特曼首次被解雇后，他和他的团队几乎搬到了 Microsoft然后他回到了工作岗位（我们在这里写到了这件事）， OpenAI 再次成为新闻焦点。这次是因为一些研究人员称之为对人类的潜在威胁。是的，你没看错，对人类的威胁。
Q* 项目给科技界带来了真正的冲击，这是一个未公开的通用人工智能 (AGI) 项目，发音为 Q-Star。尽管该项目还处于早期阶段，但它被认为是 AGI 发展中真正具有开创性的项目。然而，一些人认为它对人类构成危险。
著名人工智能实验室开发的秘密人工智能项目 OpenAI 有可能彻底改变整个技术和社会。但它也引发了一些有关风险的伦理问题。随着 Q* 项目惊人能力的细节浮出水面，人们越来越多地猜测它对人类未来意味着什么。
另请阅读： Microsoft 副驾驶：游戏规则改变者还是错误道路？
什么是通用人工智能（AGI）？
要了解围绕 Q* 项目（Q-Star）的炒作，我们首先尝试了解通用人工智能 (AGI) 的概念到底是什么。虽然当今的人工智能系统擅长执行狭窄的特定任务，例如下棋或生成图像，但通用人工智能是指能够在许多领域以人类水平学习和思考的机器。也就是说，他们可以像学校里的小孩子一样学习数学、化学、生物等基础知识。
通用人工智能（AGI）是一种机器智能，可以假设模仿人类智能或行为，具有学习和应用这种能力来解决各种问题的能力。 AGI也被称为强人工智能、完全人工智能或人类水平的人工智能。通用人工智能不同于弱人工智能或狭义人工智能，后者只能在给定参数内执行特定或专门的任务。 AGI将能够独立解决来自不同知识领域的各种复杂任务。
AGI的创建是DeepMind、Anthropic等公司人工智能研究的主要焦点。 AGI 是科幻小说中非常流行的话题，可能会影响未来的研究。一些人认为，在几年或几十年内创建通用人工智能是可能的，而另一些人则认为这可能需要一个世纪或更长时间。但也有人认为这一目标永远无法实现。有些人已经在 GPT-3 中看到了 AGI 的雏形，但它似乎还远远没有达到基本标准。
通用人工智能 (AGI) 的诞生被研究人员视为人工智能的圣杯；这种潜在的可能性早已吸引了他们的想象力。这就是为什么像这样的项目的出现 OpenAI Q* 项目在人工智能算法研究领域引起了巨大共鸣。尽管每个人都几乎盲目地意识到，这只是迈向人工智能与人类拥有同等能力，甚至更高能力的世界的第一步。
另请阅读： 自动驾驶汽车：革命还要等多久？
Q* 项目是什么？
Project Q* 不是一个典型的算法，因为它是一个越来越接近通用人工智能 (AGI) 模型的人工智能模型。这意味着，与 ChatGPT与其他算法相比，Project Q* 展现出了更好的思维和认知能力。目前， ChatGPT 基于大量事实材料回答查询，但借助 AGI，人工智能模型将学习推理以及独立思考和理解的能力。众所周知，Project Q* 能够解决不属于其训练材料的简单数学问题。在这方面，一些研究人员认为这是朝着创建通用人工智能 (AGI) 迈出的重要一步。 OpenAI 将AGI定义为比人类更聪明的人工智能系统。
Project Q* 的开发由 OpenAI 首席科学家 Ilya Sutzkever，其创立得到了研究人员 Jakub Pachocki 和 Szymon Sidor 的支持。
该算法能够自行解决数学问题，即使这些问题不是训练数据集的一部分，这被视为人工智能领域的一项突破。该项目团队内部的分歧归因于 OpenAI 首席执行官山姆·奥特曼。据悉，在奥特曼被解雇之前，公司一组研究人员曾致信董事会，警告一项可能对人类构成威胁的人工智能发现。据报道，这封信讨论了 Q* 计划的算法，被认为是导致奥特曼被解雇的因素之一。然而，由于细节未知，Q* 计划的能力及其可能带来的潜在风险尚未完全了解。没有向公众公布任何信息。
从本质上讲，Project Q* 是一种无模型强化学习方法，它不同于传统模型，不需要先验环境知识。相反，它通过根据奖励和惩罚调整行动来从经验中学习。技术专家认为，Project Q*将能够通过获得类似于人类认知能力的能力来获得卓越的能力。
然而，正是这一新的人工智能模型中最令人印象深刻的特征，让研究人员和批评者对该技术的实际应用以及所涉及的重大风险感到担忧和担忧。科学家和研究人员到底害怕什么？让我们来一探究竟。
另请阅读： Windows 12：新操作系统是什么
对未知的恐惧
害怕未知、不可知的事物一直是人类的特征。它是人类的本质，是我们性格和生活方式的特征。
2023 年 月，路透社报道了一位担忧人士撰写的内部信件后，科技界才了解到 Q* 项目。 OpenAI 开发人员。信的内容很模糊，但据说它认真分析了 Project Q* 的功能。正如我上面提到的，甚至有人猜测，正是这封信引发了 Sam Altman 的辞职。
这一爆炸性发现引发了有关 Q* 项目性质的各种假设。科学家推测它可能是人工智能的革命性自然语言模型。一种新算法的发明者，将为其他形式的人工智能或完全在该领域的其他事物创建新算法。
Altman 关于通用人工智能是“普通员工”的挑衅性言论已经引发了人们对工作保障和人工智能影响力迅速扩张的担忧。这种神秘算法被认为是通用人工智能 (AGI) 发展的一个里程碑。然而，每个人都意识到这个里程碑是有代价的。现在还不是钱的问题。新人工智能模型承诺的认知技能水平带来了不确定性。 OpenAI 科学家承诺人工智能将具有人类水平的思维。这意味着我们无法知道或预测很多后果。未知的东西越多，就越难准备控制或修复它。也就是说，新算法能够自我改进和发展。我们以前在某个地方见过这种情况……
阅读： 人脑计划：尝试模仿人脑
关于 Project Q* 能力的惊人细节
当更多信息开始出现时，许多研究人员感到震惊。早期迹象表明 Project Q* 具有惊人的数学天赋。与执行机械计算的计算器不同，Project Q* 据说可以使用逻辑和推理来解决复杂的数学问题。这种数学概括能力暗示着广泛智力的发展。
Q* 项目的自主学习，无需用于训练典型人工智能的特定数据集，也将是向前迈出的一大步。 Project Q* 是否掌握了任何其他技能仍不得而知。但其数学能力本身就令人惊叹，甚至让经验丰富的研究人员望而却步。
阅读： 什么是神经网络以及它们如何工作？
Project Q* 的统治之路是什么？
对于这个问题，有乐观的也有悲观的。乐观者会说，Project Q* 可能会成为带来技术突破的火花。随着系统不断自我完善，其超自然智能可以帮助解决从气候变化到疾病控制等非常重要的人类问题。 Q* 项目可以使无聊的工作自动化，并为我们腾出空闲时间来做其他活动。
尽管还有很多更悲观的选择。有时候，他们说的很有道理，也有一定的道理。
失业
技术发展的快速变化可能会超过人们的个人适应速度。这将导致一代或多代人的损失，他们将无法获得必要的技能或知识来适应新的现实。这反过来意味着能够保住工作的人将会减少。它将由机器、自动化系统、机器人来完成。然而，对于合格的专家来说，答案并不那么明确。此外，可能会出现与人工智能算法的发展精确相关的新职业。但风险依然存在，人类没有权利忽视。
不受控制的权力的危险
如果像 Project Q* 这样强大的人工智能落入不怀好意的人手中，人类将面临灾难性后果。即使没有潜在的恶意意图，Q* 项目的决策水平也可能导致有害结果，这凸显了仔细评估其使用的至关重要性。
如果 Q* 项目没有针对人类需求进行优化，那么它可能会损害其最大化某些任意指标的能力。或者它可能具有政治层面，例如用于政府监视或镇压。围绕分析 Project Q* 的影响进行公开辩论将有助于确定 AGI 发展的可能场景。
我们是在对抗男人吗？机器对抗？
好莱坞已经在电影中创造了许多此类对抗场景。我们都记得著名的天网以及这种发现的后果。也许 OpenAI 研究人员是否应该再次重温这部电影？
人类需要接受信号和挑战，并为可能发生的事情做好准备。能够像人类一样思考的人工智能模型有一天可能会成为我们的敌人。许多人可能会争辩说，未来科学家将确切地知道如何控制事物。但对于机器来说，你不能完全排除它们试图战胜人类的可能性。
阅读： 7 个计算机神话：虚构与现实
为什么 OpenAI 沉默的？
尽管公众对 Q* 项目有着浓厚的兴趣，但 OpenAI 管理层只是对算法的特殊性保持沉默。但泄露的内部信息表明，实验室在开发优先级和开放性方面日益紧张。尽管许多 OpenAI 内部人士支持创建 Q* 项目，批评者则认为，为了不惜一切代价加速科学进步，透明度已被搁置一旁。一些研究人员担心，那些目标不一定符合人类价值观和道德标准的系统被赋予了不可思议的权力。这些研究人员认为，围绕监督和问责制的讨论已经变得非常沉默。他们要求更多的宣传和细节。
作为 Q* 项目的创造者， OpenAI 应该意识到，它拥有的技术既可以极大地增强社会的力量，也可以无情地破坏社会。这种有意义的创新应该有更大的透明度，以建立公众信任。任何机器时代的先兆都需要仔细审查其风险和好处。而 Q* 项目的开发人员需要运用足够的智慧和谨慎，安全地引领社会进入通用人工智能的新时代，而这个时代可能比我们想象的要早到来。
为了使通用人工智能对人类有用且安全，有必要确保其安全、合乎道德地运行并符合人类的价值观和目标。这需要制定和实施适当的法规、标准、规则和协议来控制和约束人工智能的行动和行为。此外，必须解决可能导致人类毁灭的滥用、事故、不兼容、操纵和冲突的潜在威胁和风险。与此同时，投资者和 Microsoft 急切地等待一种可以产生利润的适销对路的产品，这无疑与负责任地行事的需要相冲突。希望常识能够胜出。
阅读：
