神秘 项目Q* OpenAI 的出现引起了专家们的关注。 他真的会对人类构成危险吗？ 关于他，人们知道什么？ 在萨姆·奥尔特曼上周最初被解雇后，他和团队几乎搬进了 Microsoft，然后他确实回到了他的工作场所（大约 我们在这里写的），OpenAI 再次成为新闻焦点。 这次是因为一些研究人员称其可能对人类构成威胁。 是的，你没有看错，这是对人类的威胁。
技术世界真正的剧变是由 Q* 项目引起的，这是一个未公开的通用人工智能 (AGI) 项目，发音为 Q-Star。 尽管该项目还处于早期阶段，但它被认为是 AGI 开发中真正的开创性成果。 然而，一些人认为它对人类构成危险。
著名人工智能实验室 OpenAI 开发的秘密人工智能项目有可能彻底改变技术和社会。 但它也引发了一些有关风险的道德问题。 随着 Q* 项目惊人能力的细节浮出水面，越来越多的猜测浮出水面，它对人类的未来可能意味着什么。
也很有趣： OpenAI 的历史：公司的过去和未来
什么是通用人工智能（AGI）？
要了解围绕 Q* 项目（Q-Star）的炒作，我们首先尝试了解通用人工智能 (AGI) 的概念是什么。 虽然当前的人工智能系统擅长执行狭窄的特定任务，例如下棋或生成图像，但通用人工智能是指能够在许多领域以人类水平学习和思考的机器。 也就是说，他们可以像学校里的小孩子一样学习，例如数学、化学、生物等基础知识。
通用人工智能（AGI）是一种机器智能，可以假设模仿人类智能或行为，具有学习和应用潜力来解决各种问题的能力。 AGI也称为强人工智能、全人工智能或人类水平的人工智能。 通用人工智能不同于弱人工智能或狭义人工智能，后者只能在给定参数内执行特定或专门的任务。 ZHI将能够独立解决不同知识领域的各种复杂问题。
创造人工智能是DeepMind、Anthropic等公司人工智能研究的主要焦点。 CSI 是科幻小说中非常流行的主题，可能会影响未来的研究。 一些人认为，有可能在几年或几十年内创建 UCI，而另一些人则认为这可能需要一个世纪或更长时间。 但有些人认为这永远无法实现。 有些人已经在 GPT-3 中看到了 URI 的雏形，但它似乎还远远没有达到基本标准。
通用人工智能（AGI）的创造被研究人员认为是人工智能的圣杯，这种理论上的可能性长期以来一直激发着他们的想象力。 因此，OpenAI Project Q*这样的项目的出现，在人工智能算法研究界引起了极大的共鸣。 尽管每个人都明白，这些只是第一步，几乎是盲目地迈向人工智能将拥有与人类相同甚至更高能力的世界。
也很有趣： 关于一切 Microsoft 副驾驶：未来还是方向不对？
Q* 项目是什么？
Project Q* 并不是一个典型的算法，因为它是一个越来越接近通用人工智能（AGI）模型的人工智能模型。 这意味着，与 ChatGPT 不同，Project Q* 与其他算法相比表现出更好的思维和认知能力。 ChatGPT 目前基于大量事实材料来响应查询，但通过 AGI，AI 模型将学习推理以及自行思考和理解的能力。 众所周知，Project Q* 能够解决不属于其培训材料的简单数学问题。 一些研究人员认为，这是朝着创建通用人工智能（AGI）迈出的重要一步。 OpenAI 将 AGI 定义为比人类更聪明的人工智能系统。
Q* 项目的开发由 OpenAI 首席科学家 Ilya Sutzkever 管理，其基础由研究人员 Jakub Pakhotsky 和 Shimon Sidor 证实。
算法自行解决数学问题的能力，即使这些问题不是训练数据集的一部分，也被认为是人工智能领域的突破。 团队中关于该项目的分歧与 OpenAI 首席执行官 Sam Altman 的临时免职有关。 据了解，在奥特曼被解雇之前，一群公司研究人员向董事会发出了一封信，警告人工智能的发现可能对人类构成威胁。 据报道，这封信讨论了 Project Q* 算法，被认为是导致 Altman 被解雇的因素之一。 然而，由于细节未知，Project Q* 的功能及其可能带来的潜在风险尚未完全了解。 没有向公众发布任何内容。
从本质上讲，Project Q* 是一种无模型强化学习方法，它与传统模型不同，不需要先验环境知识。 相反，它通过经验学习，根据奖励和惩罚调整行动。 技术专家认为，Project Q*将能够通过获得类似于人类认知能力的能力来获得卓越的能力。
然而，正是人工智能新模型中最令人印象深刻的这一特征，让研究人员和评论家感到担忧，并引发了他们对该技术在现实世界中的应用以及所涉及的潜在风险的担忧。 科学家和研究人员到底害怕什么？ 让我们弄清楚一下。
也很有趣： 如何更新您的家庭设备以支持 Wi-Fi 6
他们害怕未知
人类一直对未知、不可知的事情感到恐惧。 这是人类的本质，是我们性格和生活方式的特征。
路透社报道后，科技界于 2023 年 月了解到 Q* 项目 报告 关于 OpenAI 相关研究人员撰写的一封内部信。 这封信的内容很模糊，但据报道它认真分析了Project Q*的能力。 正如我上面提到的，甚至有人猜测正是这封信引发了萨姆·奥尔特曼的辞职。
这一爆炸性发现引发了有关 Q* 项目性质的各种假设。 科学家认为这可能是人工智能的革命性自然语言模型。 一种新算法的发明者，他将为其他形式的人工智能或该领域完全不同的东西创建新算法。
奥特曼将通用人工智能视为“普通员工”的挑衅性言论已经引发了人们对工作保障和人工智能影响力不可阻挡扩张的担忧。 这个神秘的算法被定义为通用人工智能（AGI）发展的里程碑。 然而，每个人都明白，这个里程碑的代价是昂贵的。 现在这不是钱的问题。 新人工智能模型所承诺的认知技能水平具有不确定性。 OpenAI 科学家承诺人工智能将具有人类水平的思维。 这意味着我们无法了解很多事情并预测其后果。 未知越多，准备控制或修复它就越困难。 即新算法具有自我完善和发展的能力。 我们已经在某处看到过这个......
也很有趣： Windows 12：新操作系统是什么
关于 Project Q 功能的惊人细节*
当更多信息开始出现时，许多研究人员感到震惊。 早期迹象表明 Project Q* 拥有惊人的数学天赋。 与执行机械计算的计算器不同，Project Q* 据称可以使用逻辑和推理来解决复杂的数学问题。 这种数学概括能力暗示着广泛智力的发展。
Q* 项目的自主训练，无需用于训练典型人工智能的特定数据集，也将是向前迈出的一大步。 目前尚不清楚 Project Q* 是否掌握了任何其他技能。 但他的数学能力本身是如此惊人，以至于即使是经验丰富的研究人员也感到困惑。
另请阅读： 人脑计划：模仿人脑的尝试
Project Q* 的统治之路是什么？
对于这个问题，有乐观的也有悲观的。 乐观者会说，Project Q* 可能会成为带来技术突破的火花。 随着系统不断自我完善，其超自然智能可以帮助解决人类一些最重要的问题，从气候变化到疾病控制。 Project Q* 可以自动化枯燥的工作，并腾出我们的空闲时间进行其他活动。
尽管还有很多更悲观的选择。 有时，它们是相当合理的并且具有一定的意义。
失业
技术发展的快速变化可能会超过人们的个体适应速度。 这将导致一代或多代人的损失，他们将无法获得必要的技能或知识来适应新的现实。 也就是说，这反过来意味着能够保住工作的人将会减少。 它将由机器、自动化系统和机器人来执行。 然而，对于合格的专家来说，答案并不那么明确。 此外，可能会出现专门与人工智能算法开发相关的新职业。 但风险依然存在，人类没有权利忽视它们。
不受控制的权力的危险
如果像 Project Q* 这样强大的人工智能落入心怀恶意的人手中，人类就有可能面临灾难性后果。 即使没有潜在的恶意意图，Q* 项目的决策水平也可能导致有害结果，这凸显了仔细评估其应用程序的至关重要性。
如果 Q* 项目没有针对人类需求进行优化，那么它可能会因其最大化某些任意指标的能力而造成损害。 或者它可能具有政治层面，例如用于国家监视或镇压。 围绕 Q* 项目的影响分析进行公开辩论将有助于确定 ZHI 发展的可能方案。
我们即将迎来一场“人与机器”的对决吗？
好莱坞已经在电影中创造了很多这样的对抗场景。 我们都记得著名的天网以及这一发现的后果。 也许 OpenAI 研究人员应该再看一遍这部电影？
人类需要接受信号和挑战，并为可能发生的事情做好准备。 能够像人类一样思考的人工智能模型有一天可能会成为我们的敌人。 许多人认为，未来科学家将确切地知道如何控制局势。 但当谈到机器时，你不能完全排除它们试图接管人类的可能性。
也很有趣： 并非所有我们称为 AI 的东西实际上都是人工智能。 这是你需要知道的
OpenAI为何沉默？
尽管公众对 Q* 项目产生了浓厚的兴趣，但 OpenAI 的管理层对该算法的具体细节却保持沉默。 但内部泄密事件表明，实验室内部在优先事项和开发开放性方面的紧张关系日益加剧。 尽管许多 OpenAI 内部人士支持创建 Q* 项目，但批评者认为，为了不惜一切代价加速科学进步，透明度已经退居二线。 一些研究人员担心，那些目标不一定符合人类价值观和道德的系统被赋予了令人难以置信的权力。 这些研究人员认为，围绕监督和问责制的争论已经变得危险的沉默。 他们需要更多的宣传和细节。
作为Project Q*的创造者，OpenAI必须明白，他们拥有的技术要么可以极大地拓展社会发展的可能性，要么可以无情地摧毁它。 如此重大的创新值得更大的透明度以建立公众信任。 机器时代的任何预测者都必须仔细权衡风险和收益。 Project Q* 的开发者需要表现出足够的智慧和关怀，安全地将社会带入一个可能比我们想象的更早到来的通用人工智能新时代。
为了使通用人工智能对人类有用且安全，必须确保其安全、合乎道德地运行，并符合人类的价值观和目标。这需要制定和实施适当的监管法案、标准、规则和协议，以控制和约束 CSI 的行动和行为。此外，必须消除与可能导致人类毁灭的虐待、事故、不兼容、操纵和冲突相关的潜在威胁和风险。与此同时，投资者和 Microsoft 急切地等待一个可以产生利润的适销对路的产品，这无疑与负责任地行事的需要相冲突。希望常识能够占上风。
另请阅读：