Chat-GPT теперь не будет лгать? OpenAI придумали новую стратегию
Сейчас остро стала проблема дезинформирования пользователей искусственным интеллектом, и для борьбы с этим явлением OpenAI предложили решение.
Дезинформация, или «галюцинации» ИИ, возникают, когда модели, подобные ChatGPT, полностью фабрикуют информацию.
«Даже самые современные АІ-модели склонны разглашать ложные сведения. Они демонстрируют тенденцию придумывать факты в моменты неопределенности, – пишут исследователи OpenAI в своем отчете. – Эти галлюцинации вызывают много проблем в отраслях, требующих многоуровневых соображений, поскольку одной логической ошибки достаточно, чтобы сорвать более масштабный результат».
Поэтому OpenAI введет стратегию борьбы с вымыслами. Она состоит в том, чтобы учить модели ИИ вознаграждать себя за каждый отдельный, правильный шаг рассуждений, когда они приходят к ответу, вместо того чтобы вознаграждать только за правильный окончательный вывод. Исследователи назвали этот подход «контролем процесса». По их мнению, он может привести к созданию более логического искусственного интеллекта, поскольку эта стратегия побуждает модели придерживаться «цепочки мыслей», подобной человеческому.
