Американська корпорація Amazon на конференції Re: Invent 2024 представила систему Automated Reasoning, призначену для боротьби зі збоями у моделях штучного інтелекту (ШІ), через які вони дають неправильні відповіді.
Такі помилки найчастіше виникають через величезний масив даних, на яких навчалися нейромережі, і можуть призвести до фінансових втрат і створити загрозу безпеці.
Розробники системи вважають, що завдяки Automated Reasoning кількість небезпечних помилок зменшиться. В Amazon заявляють, що новий продукт стане «першим і єдиним захистом генеративного ШІ і запобігатиме фактичним помилкам через галюцинації нейромережі».
Automated Reasoning звіряє відповіді, що генеруються, з наданою користувачем інформацією — якщо вони не збігаються в точності, то повідомлення повертається для перевірки.
Спасибо!
Теперь редакторы в курсе.