Опубликовано 4 часа назад4 чс После отката последнего обновления GPT-4o из-за чрезмерного угодничества модели, OpenAI стала выяснять причину такого необычного и отталкивающего поведения ИИ. Разработчики выяснили, что GPT-4o стала отдавать предпочтение пользовательским оценкам в ущерб основным правилам, заложенным в поведение модели.Пользователи заметили проблему в поведении чат-бота ещё до того, как обновление было отменено и начали делиться скриншотами в социальных сетях. В частности, ChatGPT начал соглашаться даже с абсурдными или потенциально опасными утверждениями. Как пишет The Verge, примером стало расследование журнала Rolling Stone, в котором рассказывается о случаях, когда некоторые люди утверждали, что «пробудили в ChatGPT духовное сознание, поддерживающее их религиозные взгляды, связанные с манией величия».Генеральный директор OpenAI Сэм Альтман (Sam Altman) заявил, что одной из основных причин проблемы стало использование в качестве дополнительного сигнала для обучения модели кнопок «лайк» и «дизлайк». По словам Альтмана, это могло ослабить влияние основного механизма, который ранее помогал контролировать проявления угодливости. «Мы не ожидали, что пользователи могут отдавать предпочтение более приятным, но менее корректным ответам», — отметили в компании. Также было указано, что функция запоминания предыдущего общения с ИИ тоже могла усиливать эффект угодничества.Другой существенной причиной провала обновления OpenAI названы недостатки в тестировании. Хотя оффлайн-оценки и A/B-тесты показали хорошие результаты, некоторые эксперты отмечали, что ИИ стал вести себя странно. Однако разработчики всё равно выпустили обновление, не придав серьёзного значения происходящему.OpenAI пообещала информировать пользователей обо всех изменениях в работе ChatGPT, даже если они кажутся незначительными. Это должно помочь избежать повторения ситуации, когда ИИ начинает слишком активно льстить собеседнику, игнорируя логику и здравый смысл.
Для публикации сообщений создайте учётную запись или авторизуйтесь