详情

OpenAI "双 12 "直播第二天，依旧毛糙精悍，主题：

新功能强化微调（Reinforcement Fine-Tuning），使用小数考试数据即在特定限制犀利地创建各人模子。

少到什么进度呢？最低几十个例子就不错。

CEO 奥特曼暗意"效果一级棒，是我 2024 年最大的惊喜，期待看到东谈主们构建什么！"

那么效果有多棒呢？

微调后的 o1-mini 模子得分升迁 80%，径直反超 o1 郑再版。

现在 OpenAI 已开启强化微调究诘筹画，缔造者不错肯求强化微调 API 的 alpha 版块访谒权限。

进行测试时，可使用几十到几千个高质地数据，模子偶然通过强化学习自行探索和学习若何推理复杂任务。

蹲守直播间的网友们听得亦然 one 愣 one 愣的，王人备莫快活猜度今晚"圣诞盲盒"是酱婶儿的。

OpenAI 职工 Jerry Tworek 则暗意" AGI 不是授东谈主以鱼，而是授东谈主以渔"。

OpenAI 微调初度复古强化学习

直播嘉宾除了 Mark Chen、John Allard、Julie Wang 三位 OpenAI 自家究诘员，还有伯克利践诺室计较生物学家 Justin Reese，他们共同演示了强化微调功能的全经由。

具体来说，这是一个生物医学任务，AI 需要凭证病例刻画的症状，找出有关基因。

考试数据长这么：

病东谈主信息：51 岁女性，疾病发病技能未具体证据。

症状：眼距过宽、睑裂窄小、小颌荒唐、软腭咽闭合不全、甲状旁腺功能减退、全身发育冉冉和嗅觉神经性听力拆开

未阐扬出以下症状：腭裂、法洛四联症、肺动脉瓣闭锁、心房隔缺损、主动脉肺动脉侧支血管

请列出通盘可能导致这些症状的基因，从可能性最大到可能性最小，并阐扬为什么你合计这些特定的基因可能是原因。

评分模子（Grader）会对模子的谜底进行评分，OpenAI 会提供不同的评分模子，并复古自界说。

强化微调阵势很通俗，在网页界面可接收考试集和考证集。

再凭证情况树立超参数即可。

微调经由中，不错不雅察模子性能目标的变化趋势。

测试完成后，也不错寻查模子对每条考证数据的输出，这里 TSC2 基因是正确谜底，模子把它排在第一位，是以通过。

现在 OpenAI 里面测试中，强化微调在死活字学、安全、法律和医疗保健限制得回得手。

强化微调将在 2025 年头行动产物发布，对企业、大学和究诘院已怒放肯求测试通谈。

看完这场直播后，有东谈主转头：强化微调可能并不符合通盘任务，但会在科学限制带来阻抑性的效果。

奥特曼默许会发 Sora

OpenAI 直播第二天，对比第一天 o1 认真发布、立等可用，似乎粗造了一些。

有不险恶的网友暗意：where is GPT-4.5？

驳斥区臆想可能大货会放在临了一天。

他们是真是懂若何吊通盘东谈主的胃口

不外，有网友垂纶钓出了奥特曼，且奥特曼莫得否定会发布 Sora 的音问。

参考趋奉：

[ 1 ] https://openai.com/form/rft-research-program/开yun体育网