梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI一次性拿出20%总算力，投入全新研究方向
超级智能对齐（Superalignment）。
先说说OpenAI的20%总算力什么概念？
光是微软此前专门给他们打造的一台超级计算机，就有285000块CPU和上万块英伟达A100 GPU。
外界没人知道OpenAI现在拥有多少H100 GPU，只知道他们总融资113亿美元，还要算上微软额外提供的Azure云算力。
这番大手笔，仿佛直接在科技圈扔下一个炸弹。
再看这份公告中的微妙用词区别：
不是通用人工智能（AGI），甚至干脆去掉了人工二字。
直接越级瞄准如何控制超级智能，其定义为比人类聪明得多的AI系统（much smarter than us）。
正文则明晃晃地写着：虽然看起来还很遥远，但我们相信超级智能将在这个十年段到来。
现在是2023年下半年，总共留给人类的时间还有6年半。
OpenAI给自己定的时限更短，只有4年。
控制“奥创”需要“贾维斯”
有网友将OpenAI公布的研究方法形容为“贾维斯vs奥创”。
OpenAI明白靠人类自己已无法完成，提出新概念自动对齐研究员（automated alignment researcher）
也就是先训练一个大致达到人类水平的AI研究员，再投入大量算力快速迭代。
翻译一下：先努力达到技术奇点，然后直接开启大爆炸。
整个计划的基石，就是先打造第一个自动对齐研究员。
为此OpenAI提出一个临时解决方案，分为三项：
开发一个可扩展的训练方法
为了在人类难以评估的任务上提供训练信号，需要利用AI来协助评估其他AI系统，称为“可扩展的监督”。
验证第一步产生的模型
为了验证系统的一致性，自动搜索有问题的行为和有问题的内部结构。
对整个管道流程做压力测试
通过故意训练不对齐的模型来测试整个管道，并确认技术可以检测到最糟糕的错误类型，也就是对抗性测试。
为什么说是临时解决方案？
OpenAI预计随着对问题进一步了解，研究重点将发生实质性变化，很可能增加全新的研究领域。
再翻译一下：只能走一步看一步。
首席科学家带队，成立全新部门
研究顶级的问题需要顶级的团队。
OpenAI联创和首席科学家Ilya Sutskever将与此前的对齐团队负责人Jan Leike共同领导新部门。
而成员不光包括OpenAI自己的员工，也包括来自其它公司的研究人员。
Ilya Sutskever是2012年开启深度学习时代的AlexNet作者之一，也是AlphaGo作者之一，此前已将AI对齐作为他的核心研究重点，总引用数超过40万。
Jan Leike则是ChatGPT的前身InstructGPT论文作者之一，并且早在2017年就参与了OpenAI与DeepMind合作的人类反馈强化学习方法。
Jan Leike认为，OpenAI此次投资很可能比全人类此前对AI对齐研究的所有投资加起来还多。
算上这二位，目前新团队已有10位成员。
新一轮招聘也随之开启，分为研究经理（年薪42万-50万美元），研究科学家与研究工程师（年薪24.5万-45万美元），两种级别三个岗位。
谁来监管监管者？
对于OpenAI的大动作，学术界有不同观点。
认同的学者表示：自然智能通过竞争的进化奖励产生，AI通过对齐人类利益的进化奖励产生，并期待未来的效果。
但也有人表示OpenAI从根本上就错误地理解了“对齐”这个概念。
他认为对齐不能是强制控制，而应该是使双方利益一致，类似于“堵不如疏”。
有网友吐槽“真不敢相信，AGI很可能在鸽了很久的《上古卷轴6》游戏之前到来。”
评论区有人指出，到时候你想玩什么游戏让AI去做就好了。
也有网友灵魂发问，谁又来监管监管者呢？
参考链接：
[1]https://openai.com/blog/introducing-superalignment
[2]https://twitter.com/OpenAI/status/1676638358087553024
[3]https://www.reddit.com/r/singularity/comments/14rh1l1/superintelligence_possible_in_the_next_7_years/
完
量子位 QbitAI 头条号签约
关注我们，第一时间获知前沿科技动态
