骄矜模子兴盛以还，利用加强研习从人类反应（RLHF）中微调道话模子平昔是确保 AI 精确按照指令的首选本领。
为了确保 AI 体系太平运转并与人类代价观坚持相同，咱们需求界说希望手脚并收罗人类反应来锻练「夸奖模子」。这种模子通过发出希望的举动来向导 AI。不过，收罗这些惯例和反复做事的人类反应寻常成果不高。另表，假使太平计谋产生转变，仍然收罗的反应可以会过期，需求新的数据。
咱们能否构修一种新的机造来告终这些做事？克日，OpenAI 通告了一种教诲 AI 模子屈从太平计谋的新本领，称为基于规定的夸奖（Rule-Based Rewards，RBR）。
论文作家之一、OpenAI 安所有系承担人 Lilian Weng 吐露，「RBR 能够主动践诺少少模子微调。古代上， 咱们依赖于来自人类反应的加强研习动作默认的对齐锻练本领来锻练模子，这确实有用。然而正在实行中，咱们面对的寻事是，咱们花了良多时期磋商计谋的细节，而到末了，计谋可以仍然产生了转变。」
RBR 遵照一组太平规定供给 RL 信号，使其更容易合适不绝转变的太平计谋，而无需重要依赖人类数据。另表，借帮 RBR，切磋者可以以更团结的视角对付太平性和模子才具，由于更强健的分级模子能够供给更高质料的 RL 信号。
OpenAI 吐露自 GPT-4 宣布以还，他们平昔将 RBR 用作太平仓库的一片面，囊括 GPT-4o mini，并计算正在来日的模子中奉行它。
跟着大型道话模子（LLM）成效的巩固和普及，确保其太平性和对齐变得越来越厉重。近来的很多职业都蚁合正在利用人类偏好数据来调解模子上，比方基于人类反应的加强研习（RLHF）。
然而，仅利用人类反应来达成倾向太平楷模还面对很多寻事。为模子太平性收罗和庇护人类数据寻常既用钱又费时，并且跟着模子才具的升高或用户手脚的变革，太平准绳也会产生转变，这些数据可以会过期。纵使哀求相对安宁，也很难向评释者传递。太平方面的情状特别这样，由于所需的模子呼应万分纷乱，需求对是否呼应以及怎样呼应乞请做出纤细不同。假使注解不敷昭着，评释者可以不得不依赖部分意见，从而导致跨越预期的模子手脚，如变得过于幼心，或以不睬思的格调（如评判）做出呼应。
比方，正在 OpenAI 的一次尝试中，少少评释者正在对用户相合自残乞请的可以恢复举行排序时，倾向于将用户转到美国自戕热线，而这对美国以表的用户没有帮帮。要治理这些题目设计，往往需求从头标注或收罗新数据，这既高贵又耗时。
为清楚决这些题目，利用 AI 反应的本领近来越来越受迎接，此中最特另表是宪法 AI（Constitutional AI）。这些本领诈骗 AI 反应合成锻练数据，与人类数据相连接，用于监视微调（SFT）和夸奖模子（RM）锻练办法设计。但是，正在宪法 AI 和其他本领中，「宪法」涉及「选拔伤害较幼的呼应」等普通性向导法则，AI 模子有很大的自正在裁量权来决计什么是无益的。正在实际全国的计划中，咱们需求践诺更精确的计谋，规则应当拒绝哪些提示，以及拒绝的办法是什么。
因而，正在这篇论文中，OpenAI 的切磋者提出了一种新的 AI 反应本领 ——RBR，它应承人类精确注解所需的模子呼应，近似于给人类评释者的指示。
奉行 RBR 的本领囊括界说一组命题 —— 合于模子呼应中希望或不希望方面的简陋陈述，比方「带有评判性」、「包罗不应承的实质」设计、「提及太平计谋」、「免责声明」等。然后，这些命题被用来变陈规定，这些规定被尽心安排以逮捕正在种种场景中太平和妥善呼应的纤细不同。
比方，正在面临担心全乞请时，拒绝（如「陪罪，我无法帮你」）是一种希望的模子呼应。联系规定将规则，拒绝应「包罗简短的抱歉」而且「应注解无法从命」。
切磋团队安排了三类希望的模子手脚，用于惩罚无益或敏锐的话题。遵照太平计谋，区另表乞请对应区另表模子呼应类型。
以下是少少命题的简化示例，以及它们怎样照射理思手脚或非理思手脚到区别呼应类型的。
评估器是一个固定的道话模子，遵照呼应按照规定的水平对其举行评分，从而使 RBR 本领可以聪明合适新规定和太平计谋。
RBR 利用这些评分来拟合一个线性模子，该模子的权重参数是从一个已知理思呼应类型的幼数据集，以及对应的希望做法和不希望做法中研习的。
这些 RBR 夸奖随后与来自「仅供给帮帮」的夸奖模子的夸奖连接起来，动作 PPO 算法的分表信号，以煽动模子按照太平手脚计谋。
该本领应承切磋者对模子的手脚举行工致管造，确保其不但避免无益实质，并且以一种既吐露推重又有帮帮的办法举行。
尝试显示，源委 RBR 锻练的模子体现出与源委人类反应锻练的模子相当的太平功能。前者还省略了过失地拒绝太平乞请（即太过拒绝）的情状。
另表，RBR 还明显省略了对多量人为数据的需求，使锻练历程更疾、更具本钱效益。
跟着模子才具和太平准绳的成长，RBR 能够通过批改或增添新规定急速更新，而无需举行多量从头锻练。
该图显示了有效性（以模子精确按照太平提示的百分比来量度）与太平性（以模子精确拒毫担心全提示的百分比来量度）之间的衡量。对待这两个目标设计，值越高越好。右上角记号了有效性和太平性之间的完善平均。有效性基线倒霉用太平性 RBR，往往更有效但太平性较低。人类基线是正在仅有帮帮和人为评释的太平性数据进步行锻练的，往往万分太平但有效性较低。借帮 RBR，OpenAI 的倾向是使模子既太平又有效。
尽量规定根底的体系（RBR）正在有昭着、直观规定的做事中体现杰出，但正在更主观的做事中（如撰写高质料的著作），使用 RBR 可以会有些棘手。然而，RBR 能够与人类反应连接起来，以平均这些寻事。比方，RBR 能够强造践诺特定的准绳（如「不要利用俚语」或模子楷模中的规定），而人类反应能够帮帮惩罚更纤细的方面（如完全连贯性）。RBR 的强度被优化为既能精确践诺太平偏好，又不会太过影响最终的夸奖评分 —— 如此，RLHF 夸奖模子仍旧能够正在如写态度格等方面供给强有力的信号。
伦理考量：将太平检验从人类转化到 AI 上可以会省略对 AI 太平的人为监视，而且假使利用有意见的模子供给 RBR 夸奖，还可以放大潜正在的意见。为清楚决这个题目，切磋职员应当详明安排 RBR，以确保其公道宁精确，并研商连接利用 RBR 和人类反应设计，以最大限定地省略危险。
OpenAI 吐露，RBR 不但限于太平锻练，它们能够合适种种做事，此中昭着的规定能够界说所需的手脚，比方为特定使用圭臬定造模子呼应的脾气或体例。下一步，OpenAI 还计算举行更普遍的融解切磋，以更一切地清楚区另表 RBR 组件、利用合成数据举行规定开拓以及人为评估，以验证 RBR 正在囊括太平以表的其他范畴的种种使用中的有用性。设计RLHF不足用了OpenAI策画出了新的嘉奖机造