habr.com
45%
251
В OpenAI рассказали, почему ИИ галлюцинируют
На сайте OpenAI опубликована научная работа, посвященная причинам галлюцинаций больших языковых моделей и предлагаемым способам борьбы с ними. Исследователи компании отмечают, что обучение начинается с больших корпусов текстов, в которых нет меток "правда" или "ложь" — только примеры, как пишут люди. Из этих данных ИИ может усвоить регулярности вроде грамотного письма и расстановки знаков препинания, но не редкие факты. Например, если показать модели миллион фотографий собак и кошек, помеченных как "собака" и "кошка", то она поймет, как различать эти два вида животных. Если же показать миллион фото кошек с указанием даты рождения каждой, то модель не научится указывать дату рождения, так как здесь нет закономерности — и вместо этого будет уверенно пытаться просто ее угадать.