IAS统计物理学家Mike Winer:用方程而非试错,给神经网络行为上”数学保险”
目前绝大多数让AI变安全的努力,本质上都落在“测试”两个字上:戳一戳模型,看看它怎么反应,然后祈祷自己戳中的正是要害位置。 统计物理学家Mike Winer想要一种更结实的东西——不是靠反复试跑,而是用方程式推导出神经网络行为方式的数学保证。 Winer是谁,他在造什么 Winer在普林斯顿高等研究院(IAS)拥有Marvin L. Goldberger Member的头衔,专攻无序系统的统计物理,以及这一领域如何应用于深度学习。他同时隶属于位于伯克利的Alignment Research Center(ARC),该机构专注于让先进AI系统与人类意图保持一致。 他当前的研究对象是多层感知机,也就是MLP。可以把MLP理解为一叠滤波器:数据从顶部进入,逐层被变换,最终在底部输出一个答案。MLP是深度学习中最基础的构件之一,因此如果你希望从底层理解神经网络,从这里入手是合理的起点。 Winer的工作围绕两个问题展开:第一,一个网络平均而言应该给出什么样的输出?第二,那些罕见却极端的输出——很少露面、却可能造成真实损害的那一类——出现的概率有多大? 用方程取代掷骰子 回答上述问题的标准...
- 深度
- Ai安全
- 机制可解释性