OpenAI华人VP翁荔离职:北大校友,掌管安全,最近B站分享被热议

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

就在刚刚,那个掌管OpenAI安全的北大校友,OpenAI研究副总裁(安全)翁荔,离职了。

翁荔是OpenAI华人科学家、ChatGPT的贡献者之一。

北大毕业后,翁荔在2018年加入OpenAI,后来在GPT-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。

最著名的Agent公式也由她提出,即:Agent=大模型+记忆+主动规划+工具使用

而就在前不久,她还刚刚现身2024 Bilibili 超级科学晚活动,发表了《AI安全与“培养”之道》的主题演讲。

在她宣布离职消息之后,包括OpenAI在内的众多同事发来了祝福:

翁荔的离职信

在推文中,翁荔也分享了他跟团队做的最后的道别。

以下为离职信的完整内容。

亲爱的朋友们:

我做出了一个非常艰难的决定,将于11月15日离开OpenAI,这将是我在公司最后一天。

OpenAI是我成长为科学家和领导者的地方,我将永远珍惜在这里与每一位共事的伙伴度过的时光。OpenAI团队一直是我的知己、导师以及我身份的一部分。

我仍然记得2017年初加入OpenAI时的那份好奇和热情。当时我们是一群怀抱着不可能与科幻未来梦想的人。

我在这里开始了我的全栈机器人挑战之旅——从深度强化学习算法,到感知,再到固件开发——目标是教会一个简单的机械手如何解开魔方。这花费了整个团队两年时间,但最终我们成功了。

当OpenAI进入GPT领域时,我们开始探索如何将最先进的AI模型应用于现实世界。我建立了第一个应用研究团队,推出了初始版本的微调API、嵌入API和审核端点,为应用安全工作奠定了基础,还为早期的API客户开发了许多新颖的解决方案。

在GPT-4发布后,我被要求承担新的挑战,重新考虑OpenAI的安全系统愿景,并将所有工作集中到一个负责整个安全体系的团队。

这是我经历过的最困难、最紧张又令人兴奋的事情之一。如今,安全系统团队拥有超过80位出色的科学家、工程师、项目经理、政策专家,我为我们作为一个团队所取得的一切成就感到极为自豪。

我们见证了每次发布的核心——从GPT-4及其视觉和Turbo版本,到GPT Store、语音功能以及01版本。我们在训练这些模型以达到负责任和有益的目标上设立了新的行业标准。

我特别为我们最新的成就o1预览版感到自豪,它是我们迄今为止最安全的模型,展现了出色的抗破解能力,同时保持了模型的有用性。

我们的集体成就令人瞩目:

我们训练模型如何处理敏感或不安全的请求,包括何时拒绝或不拒绝,并通过遵循一套明确的模型安全行为政策,达成安全与实用之间的良好平衡。

我们在每次模型发布中提升了对抗性鲁棒性,包括针对破解的防御、指令层次结构,并通过推理大幅增强了鲁棒性。

我们设计了严格且富有创意的测试方法,使模型与《准备框架》保持一致,并为每个前沿模型进行了全面的安全测试和红队测试。

我们在详细的模型系统卡中强化了对透明性的承诺。

我们开发了业内领先的审核模型,具有多模式能力,并免费向公众共享。我们当前在一个更通用的监控框架和增强安全推理能力的方向上工作,将赋能更多的安全工作流。

我们为安全数据日志、度量、仪表盘、主动学习管道、分类器部署、推理时间过滤以及一种新的快速响应系统奠定了工程基础。

回顾我们所取得的成就,我为安全系统团队的每一个人感到无比自豪,并极为确信这个团队将继续蓬勃发展。我爱你们。

在OpenAI的七年之后,我准备好重新出发,探索一些新的领域。OpenAI正沿着火箭般的轨迹前进,我衷心祝愿这里的每一个人一切顺利。

附注:我的博客将继续更新。我或许会有更多时间来更新它 & 可能也会有更多时间编写代码 。

爱你们的,Lilian

铁打的OpenAI,流水的安全主管

自OpenAI成立以来,安全主管这个关键职位历经多次更替。

最早在2016年,OpenAI的安全主管由达里奥·阿莫代伊(Dario Amodei)担任,在他的领导下,安全系统团队专注于减少现有模型和产品的滥用风险,尤其是围绕GPT-3的安全性开展了深入研究。

阿莫代伊主导了GPT-3的全面安全评估,以确保模型在发布前经过严格的安全测试和评估,最大限度地降低潜在的滥用风险。

他在OpenAI的工作为后来人工智能的安全治理奠定了重要基础。

2021年,阿莫代伊离开OpenAI创立了Anthropic公司,继续致力于人工智能的安全研究,推动构建更具可信度和安全性的AI模型。

在阿莫代伊之后,还有短暂任职2个月的安全主管,亚历山大·马德里(Aleksander Madry)。

他在职期间主要聚焦对新模型的能力进行评估,并开展内部红队测试,以识别和缓解潜在的安全风险。

虽然他的任期较短,但他在红队测试和威胁预测上的重要推进,为OpenAI的安全实践提供了新的视角和方法论。

在2023年7月后,马德里转而专注于“AI推理”方面的工作,离开了安全主管的职位。

在他之后的第三位安全主管,则是杨·莱克(Jan Leike),在2023年7月至2024年5月担任这一职务,和Ilya一起领导“超级对齐”项目,目标是在四年内解决超智能AI的对齐问题。

在此期间,杨·莱克推动了使用小型模型监督和评估大型模型的研究,开创了对超人类能力模型进行实证对齐的新方法。

这种方法对于理解和应对高级人工智能模型的行为具有深远影响。

然而,由于与公司在安全和产品优先级上的分歧,杨·莱克于2024年5月宣布离职。

尽管如此,他在对齐研究方面的贡献,为后续人工智能的可控性研究奠定了理论和实践基础。

而翁荔则是于2024年7月担任OpenAI安全主管。

关于翁荔

翁荔是OpenAI华人科学家、ChatGPT的贡献者之一,本科毕业于北大,在印第安纳大学伯明顿分校攻读博士。

毕业之后的翁荔先是短暂的在Facebook实习了一段时间,第一份工作则是就职于Dropbox,担任软件工程师。

她于2018年加入OpenAI,在GPT-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。

在OpenAI去年底成立的安全顾问团队中,翁荔领导安全系统团队(Safety Systems),解决减少现有模型如ChatGPT滥用等问题。

翁荔在Google Scholar的引用量也达到了13000+次。

此前她提出的提出LLM外在幻觉(extrinsic hallucination)的博文也是非常火爆。

翁荔重点关注外在幻觉,讨论了三个问题:产生幻觉的原因是什么?幻觉检测,抵抗幻觉的方法。

关于研究的细节,可以点击这里查看:万字blog详解抵抗办法、产幻原因和检测方式。

至于翁荔离职后的去向,量子位也会保持持续的关注。

参考链接:

[1]https://x.com/lilianweng/status/1855031273690984623

[2]https://www.linkedin.com/in/lilianweng/

主题测试文章,只做测试使用。发布者:sengcheng,转转请注明出处:https://www.sengcheng.com/8563.html

(0)
sengcheng的头像sengcheng
上一篇 2024年11月9日 下午7:10
下一篇 2024年11月9日 下午7:11

相关推荐

  • 中国有最强政府最强工业最强消费,还不行?有种躁动在孕育|第1668期

    俄罗斯能源业在俄乌冲突中不但没倒下反得到增长 10月28日,俄罗斯总统普京说了,俄罗斯经济今年将继续保持增长,预计2024年俄国内生产总值(GDP)增长率为3.9%。他说,从主要宏观经济指标来看,尽管今年俄罗斯第三季度GDP增速有所放缓,但国家经济仍然保持增长态势。据俄经济发展部的统计数据,今年1月至8月其GDP增长4.2%,预计到今年年底这一数字将达到3.…

    行业 2024年10月30日
    1300
  • 周润发说没有个人社交平台账号 还用着诺基亚

    11月5日和6日,刘嘉玲通过个人社交平台发布了与周润发、权志龙、冯德伦、陈柏霖等人参加活动的合影。其中,刘嘉玲、周润发和权志龙三人的合照引发了网友们的广泛讨论。 照片中,刘嘉玲身穿黑色装扮,显得非常有气质;周润发则穿着白色衬衣搭配深色开衫,看起来年轻而精神;站在中间的权志龙身着粉色外套,染了红色头发,格外抢眼。 在现场采访中,周润发回忆起上次见到权志龙是在多…

    行业 2024年11月6日
    2300
  • 尼泊尔的民族情况和民族政策

    尼泊尔是一个多民族国家,全国有30多个民族。主要民族包括: 1. 廓尔喀人:主要分布于加德满都谷地以及西部廓尔喀、帕尔帕等地区,属欧罗巴人种印度帕米尔类型,是尼泊尔的主体民族之一。他们在历史上有着重要的政治和军事地位,为尼泊尔的统一和发展做出了贡献。 2. 尼瓦尔人:是尼泊尔的一个古老民族,有着独特的文化和传统。他们在艺术、建筑、手工艺等方面有着很高的成就,…

    行业 2024年11月9日
    1800
  • 拜登无法解决的地缘冲突,特朗普能解吗?

    2024年美国总统大选尘埃落定,特朗普即将重返白宫,成为第47任美国总统。 此前,俄乌和巴以这两大地缘冲突的解决方案陷入僵局。在特朗普的外交观点中,他主张让两场地缘冲突尽快停火,声称自己会在“一个月内解决”冲突。 至于具体解决手段,不少分析认为,他似乎更倾向于首脑外交,与以色列总理内塔尼亚胡和俄罗斯总统普京等人进行面对面谈判。 那么特朗普重返白宫之后,美国对…

    行业 2024年11月9日
    1300
  • 被问美元还好吗?美财政部徽章应声倒塌,美网民呜呼:天亡我也!

    一、耶伦被问美元地位是否稳固,美国财政部徽章应声倒塌 我算是发现了,这越临近美国的大选月,美国的咄咄怪事就越多了。这两天我在俄媒“今日俄罗斯”(RT)的官方社媒账号上刷到一条短视频:当地10月22日,在美国财长耶伦召开的新闻发布会上,有一位记者向她询问:“您觉得美元作为全球储备货币的地位是否还稳固?”结果话音刚落,演讲台上挂着的美国财政部的徽章便应声倒塌,掉…

    行业 2024年11月3日
    2500

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信