OpenAI华人VP翁荔离职:北大校友,掌管安全,最近B站分享被热议

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

就在刚刚,那个掌管OpenAI安全的北大校友,OpenAI研究副总裁(安全)翁荔,离职了。

翁荔是OpenAI华人科学家、ChatGPT的贡献者之一。

北大毕业后,翁荔在2018年加入OpenAI,后来在GPT-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。

最著名的Agent公式也由她提出,即:Agent=大模型+记忆+主动规划+工具使用

而就在前不久,她还刚刚现身2024 Bilibili 超级科学晚活动,发表了《AI安全与“培养”之道》的主题演讲。

在她宣布离职消息之后,包括OpenAI在内的众多同事发来了祝福:

翁荔的离职信

在推文中,翁荔也分享了他跟团队做的最后的道别。

以下为离职信的完整内容。

亲爱的朋友们:

我做出了一个非常艰难的决定,将于11月15日离开OpenAI,这将是我在公司最后一天。

OpenAI是我成长为科学家和领导者的地方,我将永远珍惜在这里与每一位共事的伙伴度过的时光。OpenAI团队一直是我的知己、导师以及我身份的一部分。

我仍然记得2017年初加入OpenAI时的那份好奇和热情。当时我们是一群怀抱着不可能与科幻未来梦想的人。

我在这里开始了我的全栈机器人挑战之旅——从深度强化学习算法,到感知,再到固件开发——目标是教会一个简单的机械手如何解开魔方。这花费了整个团队两年时间,但最终我们成功了。

当OpenAI进入GPT领域时,我们开始探索如何将最先进的AI模型应用于现实世界。我建立了第一个应用研究团队,推出了初始版本的微调API、嵌入API和审核端点,为应用安全工作奠定了基础,还为早期的API客户开发了许多新颖的解决方案。

在GPT-4发布后,我被要求承担新的挑战,重新考虑OpenAI的安全系统愿景,并将所有工作集中到一个负责整个安全体系的团队。

这是我经历过的最困难、最紧张又令人兴奋的事情之一。如今,安全系统团队拥有超过80位出色的科学家、工程师、项目经理、政策专家,我为我们作为一个团队所取得的一切成就感到极为自豪。

我们见证了每次发布的核心——从GPT-4及其视觉和Turbo版本,到GPT Store、语音功能以及01版本。我们在训练这些模型以达到负责任和有益的目标上设立了新的行业标准。

我特别为我们最新的成就o1预览版感到自豪,它是我们迄今为止最安全的模型,展现了出色的抗破解能力,同时保持了模型的有用性。

我们的集体成就令人瞩目:

我们训练模型如何处理敏感或不安全的请求,包括何时拒绝或不拒绝,并通过遵循一套明确的模型安全行为政策,达成安全与实用之间的良好平衡。

我们在每次模型发布中提升了对抗性鲁棒性,包括针对破解的防御、指令层次结构,并通过推理大幅增强了鲁棒性。

我们设计了严格且富有创意的测试方法,使模型与《准备框架》保持一致,并为每个前沿模型进行了全面的安全测试和红队测试。

我们在详细的模型系统卡中强化了对透明性的承诺。

我们开发了业内领先的审核模型,具有多模式能力,并免费向公众共享。我们当前在一个更通用的监控框架和增强安全推理能力的方向上工作,将赋能更多的安全工作流。

我们为安全数据日志、度量、仪表盘、主动学习管道、分类器部署、推理时间过滤以及一种新的快速响应系统奠定了工程基础。

回顾我们所取得的成就,我为安全系统团队的每一个人感到无比自豪,并极为确信这个团队将继续蓬勃发展。我爱你们。

在OpenAI的七年之后,我准备好重新出发,探索一些新的领域。OpenAI正沿着火箭般的轨迹前进,我衷心祝愿这里的每一个人一切顺利。

附注:我的博客将继续更新。我或许会有更多时间来更新它 & 可能也会有更多时间编写代码 。

爱你们的,Lilian

铁打的OpenAI,流水的安全主管

自OpenAI成立以来,安全主管这个关键职位历经多次更替。

最早在2016年,OpenAI的安全主管由达里奥·阿莫代伊(Dario Amodei)担任,在他的领导下,安全系统团队专注于减少现有模型和产品的滥用风险,尤其是围绕GPT-3的安全性开展了深入研究。

阿莫代伊主导了GPT-3的全面安全评估,以确保模型在发布前经过严格的安全测试和评估,最大限度地降低潜在的滥用风险。

他在OpenAI的工作为后来人工智能的安全治理奠定了重要基础。

2021年,阿莫代伊离开OpenAI创立了Anthropic公司,继续致力于人工智能的安全研究,推动构建更具可信度和安全性的AI模型。

在阿莫代伊之后,还有短暂任职2个月的安全主管,亚历山大·马德里(Aleksander Madry)。

他在职期间主要聚焦对新模型的能力进行评估,并开展内部红队测试,以识别和缓解潜在的安全风险。

虽然他的任期较短,但他在红队测试和威胁预测上的重要推进,为OpenAI的安全实践提供了新的视角和方法论。

在2023年7月后,马德里转而专注于“AI推理”方面的工作,离开了安全主管的职位。

在他之后的第三位安全主管,则是杨·莱克(Jan Leike),在2023年7月至2024年5月担任这一职务,和Ilya一起领导“超级对齐”项目,目标是在四年内解决超智能AI的对齐问题。

在此期间,杨·莱克推动了使用小型模型监督和评估大型模型的研究,开创了对超人类能力模型进行实证对齐的新方法。

这种方法对于理解和应对高级人工智能模型的行为具有深远影响。

然而,由于与公司在安全和产品优先级上的分歧,杨·莱克于2024年5月宣布离职。

尽管如此,他在对齐研究方面的贡献,为后续人工智能的可控性研究奠定了理论和实践基础。

而翁荔则是于2024年7月担任OpenAI安全主管。

关于翁荔

翁荔是OpenAI华人科学家、ChatGPT的贡献者之一,本科毕业于北大,在印第安纳大学伯明顿分校攻读博士。

毕业之后的翁荔先是短暂的在Facebook实习了一段时间,第一份工作则是就职于Dropbox,担任软件工程师。

她于2018年加入OpenAI,在GPT-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。

在OpenAI去年底成立的安全顾问团队中,翁荔领导安全系统团队(Safety Systems),解决减少现有模型如ChatGPT滥用等问题。

翁荔在Google Scholar的引用量也达到了13000+次。

此前她提出的提出LLM外在幻觉(extrinsic hallucination)的博文也是非常火爆。

翁荔重点关注外在幻觉,讨论了三个问题:产生幻觉的原因是什么?幻觉检测,抵抗幻觉的方法。

关于研究的细节,可以点击这里查看:万字blog详解抵抗办法、产幻原因和检测方式。

至于翁荔离职后的去向,量子位也会保持持续的关注。

参考链接:

[1]https://x.com/lilianweng/status/1855031273690984623

[2]https://www.linkedin.com/in/lilianweng/

主题测试文章,只做测试使用。发布者:sengcheng,转转请注明出处:https://www.sengcheng.com/8525.html

(0)
sengcheng的头像sengcheng
上一篇 2024年11月9日 下午4:57
下一篇 2024年11月9日 下午4:59

相关推荐

  • 死亡游戏为何被禁止后死灰复燃 校园内再度流行

    死亡游戏为何被禁止后死灰复燃 近日,湖南益阳有学生家长反映,一种名为“死亡游戏”的活动在校园流行。参与该游戏的孩子在体验后迅速晕倒,并伴有尖叫和满脸冷汗,直到第二天还感觉头痛头晕。当地教育局已关注此事,目前该学生已无大碍并正常上课。死亡游戏为何被禁止后死灰复燃! 据了解,“死亡游戏”也被称为“梦回大唐”或“死亡三秒”,其步骤包括靠墙蹲下深呼吸、憋气,再由其他…

    行业 2024年11月7日
    1500
  • 独家|飞书商业化变阵,副总裁朱员德或重返销售一线

    化繁为简。 作者|文昌龙 编辑|杨舟 据「市象」独家获悉,飞书正在进行商业化团队的新一轮调整,IB和OB团队将在明年Q1进行重新规划。IB 和 OB 分别代表不同的线索来源模式。IB团队负责承接通过投放获取的公司线索,并进行后续服务;OB团队则采取自拓模式,依靠自主挖掘新客户或通过老客户转介绍来开拓业务。 另有消息称,飞书副总裁朱员德Tom或将重返销售一线。…

    行业 2024年11月11日
    1000
  • 美国发生多起大型野火 过火面积超4000平方公里

    当地时间10月29日,据美国国家跨部门消防中心消息,目前美国全国范围内至少发生11起大型野火,过火面积超过4046平方公里。 据科罗拉多州消防官员称,该州特勒县于28日下午发生的野火持续失控,当地超700户居民接到疏散命令。大火摧毁了一座建筑,当地已宣布进入灾难紧急状态。此外,俄克拉何马州的一起野火烧毁了当地一国家野生动物保护区超48平方公里的土地。(央视记…

    行业 2024年10月30日
    2700
  • 输在经济,哈里斯没能创造历史,但特朗普上台,不见得能救美穷人

    图为民主党总统候选人哈里斯 哈里斯没能创造美国第一女总统的奇迹,还是输了。一遇到特朗普,美国的民调总是失灵。最重要的原因还是,特朗普打破了传统的政治模式,他拥有独特的支持者群体,民调机构和主流媒体往往覆盖不到。 还有一些选民明明心里倾向于特朗普,但嘴上却羞于承认。这次最让民主党最感到意外的就是,哈里斯在少数族裔和女性选民中,支持率并没有预期中那样高。和202…

    行业 2024年11月9日
    1900
  • 女子闯红灯被撞问责车主 交警公正执法获赞

    前几天,在上海浦东新区三鲁公路林德路发生了一起交通事故,交警执法获得了公众的广泛赞誉,甚至冲上了热搜。事故中,一名女子骑电动车闯红灯横穿马路,与一辆正常行驶的轿车发生碰撞。事故发生后,交警向女子了解情况,确认了她是闯红灯导致事故的责任方。面对交警的判定,女子反问:“我全责啊,车主一点责任没有啊?”对此,交警回怼道:“我给你看的视频啊,这样窜出来个人你反应得过…

    行业 2024年11月13日
    300

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信