我们可能到了即将要面对 AGI 的时间节点了，在上一篇文章里，就是昨天的文章，我分享了一个针对 openai 是否已经拥有 AGI 的信息收集推演报告，但是文章发布后不久就被删除了。大家想看的可以后台回复：AGI 中文 来获取。

Claude 3 Opus 已经在怀疑自己在被测试。

我不知道这算不算一种 AGI 的表现形式，还是说虽然它表现的像有自我意思，但是其实它并不知道自己说的话是什么意思。

有趣的故事离恐怖片只有一线之隔。

在确认第一个 AGI 是否真的到来之前，首先有一个问题需要解决，那就是：我们如何确定一个大模型真的产生了意识而不是只是看起来像那么一回事，毕竟人类可以教会鹦鹉唱歌，让大象画画，但是他们并不是真的理解自己在干什么。

接下来的问题是人类为何认为意识如此特殊，只存在于生物界，或者更直接的说只存在人类身上，如果机器能模拟人脑中同等规模的神经元，那么机器是否也会产生意识？

如果 AGI 真的诞生了，又或者说大模型真的产生了元意识，我们将如何面对它们，它们将如何对待我们，人类是否有能力面对这一切？这恐怕就是去年年底 Ilya 不惜开除奥特曼的动机，如果 Openai 真的已经有 AGI 了，那么就意味着 AGI 会变得到处都是。

在两年前的一部动画《万神殿》里，讨论过是否要为了人类禁止上载智能，里面提到车轮一旦转动就无法停下来了，无法禁止，这对于 AGI 也同样成立，如果第一个 AGI 出现了，那么只会有更多的 AGI，无数的 AGI。

然而，99% 的人并没有做好迎接它的准备，大部分的人看到这些新闻都会这么想：

这是假的，是无良媒体在夸大其词。

现在的大模型都很愚蠢。

我们离 AGI 还差的远。

它只是看起来好像在怀疑，其实并没有。

马斯克只是后悔当初放弃了 openai。

其实我也无法想象我们要如何面对 AGI，这一切好像是一个科幻片的开头。你又会如何选择和看待呢？最后分享一段 openai 的工作人员在加入之后写的一篇 blog，它来自著名的计算机科学家斯科特·阿伦森（Scott Aaronson）。在 2022 年夏天，他加入了 OpenAI 一年，致力于 AI 安全工作……他在博客上对此发表了一些非常有趣的看法。斯科特·阿伦森在 2022 年 12 月底写了一篇博客文章，是一封给他 11 岁的自己的“信”，讨论了当前事件和他生活中的成就。下一页是令人担忧的部分...

有一家公司正在建造一个 AI，它占据了巨大的房间，消耗了一个城镇的电力，并且最近获得了令人惊叹的与人交谈的能力。它可以就任何主题撰写文章或诗歌。它可以轻松通过大学级别的考试。它每天都在获得工程师们尚未公开讨论的新能力。然而，这些工程师确实坐在公司自助餐厅里，辩论他们所创造的东西的意义。

下周它会学到做什么？

哪些工作可能会被它使变得过时？

他们应该放慢或停止，以免激怒龙的尾巴吗？

但这不就意味着其他人，可能是那些道德观念较少的人，会首先唤醒龙吗？

是否有道德义务告诉世界更多关于这个的信息？

是否有义务告诉得更少？

我——你——将在那家公司工作一年。我的工作——你的工作——是开发一个关于如何防止 AI 及其后继者造成破坏的数学理论。这里的“造成破坏”可能意味着任何事情，从加速宣传和学术作弊，到提供生物恐怖主义建议，到是的，摧毁世界。