AI 一直是一个“黑盒子”。尽管人们形容神经网络是按照人脑神经工作原理设计的，它具体怎么工作，输入的数据是如何转化成输出的，具体的原理和各环的作用，一直很难被真正解释。在一小部分研究者看来，考虑到 AI 正在被应用到越来越高风险的系统当中，比如自动驾驶、医疗诊断、药物发现，甚至军事当中……它的不可解释性将会阻挡技术的真正进步，并且如果被持续忽视的话，甚至可能会引发不可逆转的严重恶果。不过，自从深度学习在十年前左右取得重要突破，这项技术已经成为了 AI 技术进步的根基。越来越大的模型、更强的算力，让 AI 变得似乎“无所不能”，而不可解释性一直没有被公众看作是大问题——这也是为什么虽然目前 AI 领域内很多人，特别是那些从事应用领域的，并没有关注 AI 的黑盒子问题。AI 的黑盒子问题：黑盒子是一个算法，能够将数据转变成其它东西。问题在于，黑盒子在发现模式的同时，经常无法解释发现的方法。 图片来源 | Topbots
2015年底成立的 OpenAI，其使命是实现通用人工智能，打造一个能够像人的心智那样，具有学习和推理能力的机器系统。成立以来，OpenAI 一直从事 AI 基础研究，主要以 GPT 语言生成模型（特别是 GPT-3）被人们所熟知。但其实，增强 AI 的可解释性，让它能够更加安全地应用，也是 OpenAI 的研究方向之一。只不过，这部分工作在名气更大的 GPT-3 的面前，似乎显得没有那么重要。
而在去年年底离职的这一批员工，认为随着模型变大、算力变强，通用人工智能离我们越来越近，在可预见的未来就有可能实现——而在这样的前提下，AI 可解释性和安全性变得无比重要。这批员工，被认为是AI领域的“有效利他主义者”。简单来说，他们不仅认为应该投入重金进行 AI 基础研究让世界变得更好，并且也要注重实际功效。他们的理念和 OpenAI 并没有本质上的冲突，但是 OpenAI 变得越来越不透明，且逐渐功利化的趋势，令他们感到担忧。一个最直接的例子，就是 OpenAI 尚未解决偏见和安全问题，就把 GPT-3 开发成了商用化的 API，提供给行业里的大公司使用。最终，这批核心员工在去年年底集体离职。其中不少人，都参与到了今天硅星人介绍的这家 Anthropic 公司当中。所以其实这样解释 Anthropic 可或许更准确一些：一家重拾 OpenAI 慢慢忘却的初心的“正统” AI 基础科研机构。Anthropic 的官网这样介绍自己：我们是一家AI 安全和研究公司，致力于开发可靠、可解释和可调整的 AI 系统。“今天的大规模的通用（AI）系统能够带来很高的收益，但他们同时却是不可预测、不可靠，和不透明的。我们的使命是在这些问题上做出进步。”“Anthropic 的使命是从事基础科研，让我们可以打造能力更强、更通用、更可靠的 AI 系统，并且应用这些系统从而让人类获益，”Anthropic 联合创始人兼 CEO Dario Amodei 表示。对于“神经网络到底是什么”这类问题，通常的白话答案是“一种模仿人脑神经工作方式的计算系统”。然而很多专业人士都不愿意提及的是：我们对人脑的工作原理至今并未完全了解。而深度学习领域的现状是：我们正在疯狂地把这些“一知半解”的知识用于神经网络，并且把这样开发出来的 AI 系统用于越来越高风险的场景，却又缺乏对可解释性，对安全的思考。比如，我们知道一个神经网络的参数量越大、泛用性似乎就越强，但无法解释某几个参数之间的关系到底是什么，进行怎样的调整会导致输出结果怎样变化；再比如，我们知道偏见在社会中客观存在，也必然会投射到社会资料聚合而成的数据集当中，而为数据集是 AI 系统带有偏见的重要原因，但除了低效地改善数据集之外，我们对于消除 AI 系统的偏见暂时别无他法。Amodei 接受美国媒体 Vox 旗下 Future Perfect 采访时表示，AI 研究人员应该增加对机器学习系统内在工作原理的了解，并且用这些知识来开发更安全的系统，而不是执迷于“放卫星”似的盲目开发越来越大的神经网络。为什么呢？举个例子：深度学习有一个经典的激励“扭曲”现象，比如你想让机器 agent 走出迷宫，设计分数（豆子）激励它——结果它执迷于获得更高的分数，遍历了每一条错误的路，吃掉了所有的豆子，却从未将走出迷宫当作真正目标。当神经网络变得更大、更强，如果中间出现了某种主观或客观导致的激励扭曲，它真正做的事情和它的设计初衷之间的差距只会越来越大，应用在现实场景中，有可能导致严重后果。如果我们能够获得一种工具，能够更清楚直白地了解神经网络的工作原理，知道如何调整网络的哪个部分，能够避免此类情况，对于接下来的 AI 进步将有很大帮助。所有研究者都希望掌握这个工具，但问题就在于，我们现在并没有这样的工具。
而 Anthropic 的任务就是开发出这样的工具，并把它送到更多 AI 研究者的手上。去年年底从 OpenAI 离职的核心员工当中就包括 Dario Amodei 和他的同胞姐妹 Daniela。LinkedIn 资料显示，他们于今年2月创办了 Anthropic 公司，Dario 任 CEO，Daniela 任总裁。Dario是 OpenAI 的早期员工之一，曾发表多篇 AI 可解释性、安全等方面的论文，离职前在 OpenAI 担任研究 VP。在此之前，Dario 还曾在百度担任研究员，在前首席科学家吴恩达手下工作。他博士毕业于普林斯顿大学，后回到本科毕业的斯坦福大学担任博士后学者。他是 OpenAI 的前核心成员，也被认为是深度学习领域最为前沿的研究员之一。
Dario Amodei 图片来源 | RedHat
Dario 的胞妹 Daniela Amodei 之前也在 OpenAI 从事和 Dario 相同方向的工作，曾担任安全和政策 VP。Daniela 过往的任职经历包括 Stripe（其创始人是 OpenAI 投资人之一）、美国国会等。
OpenAI 部分成员合影，Amodei 兄妹用红箭头标出 图片来源 | OpenAI