Нейромережу навчили в реальному часі перетворювати малюнки в фотографії

“Протягом останніх років розробники створили безліч алгоритмів для генерації зображень, які деколи складно відрізнити від реальних фотографій. Наприклад, помітних результатів досягли розробники з NVIDIA, навчили нейромережі синтезувати фотографії неіснуючих людей, а також реалістичні відеоролики. Пізніше розробники стали створювати доступні звичайним користувачам програми, в яких т перетворити простий начерк або кольоровий малюнок в фотореалістичні зображення. Однак ці програми працюють або не в реальному часі, або вимагають від користувача самостійно малювати повний нарис”, — йдеться у повідомленні порталу.

Таким чином, розробники під керівництвом Елі Шехтман з Adobe Research створили додаток, який в реальному часі самостійно домальовує малюнок і перетворює його в синтезовану фотографію. Додаток складається з двох вікон і допоміжних кнопок. У першому вікні користувач малює начерк, а в другому бачить створене нейромережею зображення. Для початку користувач вибирає клас об’єкта, наприклад, ананас, і алгоритм відразу ж видає типовий для нього малюнок. Після початку малювання нейромережа постійно оновлює начерк, доповнюючи частина, намальовану користувачем.

ЧИТАЙТЕ ТАКОЖ: Створено нейромережу, яка дозволяє змішувати усі живі істоти та об’єкти в одне зображення

Автори розбили проблему на дві частини і використовували для її вирішення зв’язку з двох генеративно-змагальних нейромереж. На першому етапі алгоритм, навчений на начерках певного класу, отримує первісний начерк користувача і домальовує його до повного. На другому етапі на основі домалювати начерку формується реалістичне зображення.

Розробники створили власну базу для навчання нейромереж, що складається з фотографій і начерків об’єктів десяти типів. Начерки створювалися автоматично на основі контурів об’єктів на фотографіях. У своїй роботі автори провели тестування двох схем, і створили не тільки десять окремих нейромережевих моделей для кожного класу, а й многоклассовий генератор, який створює різні зображення в залежності від умовного вектора.

Як відзначають у виданні, цікавим є те, що існує і зворотний проект, який перетворює фотографії в ескізи.

“У минулому році австралійський інженер створив картонну камеру, яка після натискання кнопки знімає фотографію, перетворює її в начерк, а потім відразу ж друкує на вбудованому термопринтері”, — резюмує портал.

Нагадаємо, штучний інтелект навчився створювати портрети неіснуючих людей в повний зріст.