Нейромережу навчили реалістично озвучувати панорамні знімки
Київ • УНН
КИЇВ. 1 березня. УНН. Американські розробники створили алгоритм, здатний самостійно додавати на панорамні знімки звуки від об’єктів, таких як автомобілі і люди. При аналізі знімка алгоритм враховує розташування об’єктів на ньому і має в своєму розпорядженні джерела звуку відповідним чином, завдяки чому користувач може зрозуміти звідки виходить той чи інший звук, розповідають автори статті, яка буде представлена на конференції CHI 2019, передає УНН.
Оскільки шоломи віртуальної реальності набувають все більшого поширення, розробники програмного забезпечення приділяють більше уваги програмному забезпеченню для них, в тому числі програм для перегляду панорамних знімків. Для досягнення більшого ефекту занурення в світ на знімку інженери і програмісти пропонують різні розробки. Наприклад, Google і Disney створили експериментальні багатокамерні установки, що дозволяють створити панорамні знімки за імітацією ефекту об’ємного сприйняття. Крім того, компанії представляють шолом віртуальної реальності з усе більш якісними екранами та іншими візуальними технологіями, наприклад, підтримкою фовеальній рендеринга. Однак всі ці розробки націлені на поліпшення візуального сприйняття, тоді як в області звуку в VR-пристроях подібних робіт набагато менше.
Лап Фай Юй (Lap-Fai Yu) з Університету Джорджа Мейсона і його колеги створили алгоритм, що дозволяє додавати на панорамні знімки реалістичні звуки, розташування і тип яких відповідає об’єктам на знімку. Єдині дані про реальний світ, зображеному на знімку, які отримує алгоритм — це сам панорамний 360-градусний знімок. Звуки, які алгоритм накладає на панораму, не заносяться під час її зйомки, а беруться з бази даних, складеної авторами. Вона складається з 512 аудіозаписів, розбитих на два типи — фонові звуки, такі як звуки моря або вулиці, а також звуки від конкретних об’єктів, наприклад, розмови людей, шум автомобілів або звуки від тварин. Всього в обох типах зібрані звуки від об’єктів приблизно 50 типів, кожному з яких присвоєно відповідна позначка.
ЧИТАЙТЕ ТАКОЖ: Український проект віртуальної реальності показали на книжковій виставці у Франкфурті
Під час аналізу знімка алгоритм спочатку визначає тип оточення, наприклад, вулиця, пляж або ліс, і привласнює відповідну мітку для накладення фонових звуків. Для цього він нарізає панораму на десять частин, визначає тип оточення для кожної з них, а потім привласнює всьому знімку найбільш часто зустрівся під час класифікації тип. Потім сверточное нейромережа, навчена на відомому датасета різних об’єктів COCO, приступає до більш ретельного аналізу і визначає на знімках окремі об’єкти і присвоює їм мітки, відповідні їх типу. Після цього алгоритм визначає не тільки просторове розташування цих об’єктів, а й розраховує їх відстань від центру панорами. Для цього користувачеві необхідно один раз ввести відстань до одного з об’єктів, після чого алгоритм буде використовувати його в якості калібрувальних даних. Завдяки цьому звуки від об’єктів, розташованих далеко від центру, будуть тихіше.
Після того, як нейромережа розмістила всі об’єкти і розрахувала їх розташування, користувач може запустити програму для перегляду панорам. У ній можна бачити саму панораму, а також чути звуки всієї сцени і звуки конкретних об’єктів, взяті з бази даних. При використанні шолома віртуальної реальності людина сприймає ці звуки об’ємними завдяки тому, що при русі голови розташування їх джерела змінюється щодо людини, як і в реальному світі.
ЧИТАЙТЕ ТАКОЖ: Facebook представила окуляри віртуальної реальності Oculus Quest
У 2015 році американські дослідники навчили нейромережу озвучувати ролики без звуку, на яких користувачі вдаряють по об’єктах різних типів і матеріалів. Оскільки під час навчання алгоритм отримував ролики зі звуком, після цього він навчився самостійно підбирати найбільш підходящий звук для “німих” роликів.
Як повідомляв УНН, Microsoft представила друге покоління шолома доповненої реальності HoloLens.
Нейромережу навчили реалістично озвучувати панорамні знімки
40 тисяч громадян скористалися правом зміни місця голосування - ЦВК
В Аргентині стався потужний землетрус
Зінченко встановив унікальний рекорд АПЛ за кількістю перемог
Еквадор продовжив режим НС в декількох регіонах через приплив венесуельських мігрантів
На сьогодні встановлено ціну на банківські метали
Офіційний курс гривні встановлено на рівні 26,86 грн/долар
Після спорудження "Північного потоку-2" РФ вже не дотримуватиметься жодних правил - Клімкін
Опозиція в Японії зажадала зміщення міністра за помилки в державній статистиці
Аутсайдер УПЛ орендував першого ісландського футболіста в історії турніру
Популярні
Британська розвідка: Харківщину атакувало нове угруповання армії рф
Партизани зафіксували прибуття до окупованого Джанкоя нової групи військових рф, включаючи співробітників фсб - "АТЕШ"
"Торговий безвіз" ще на рік: назвали умови доступу українського агроекспорту на ринок ЄС
Буданов: ресурси ворога на Харківщині - обмежені
Протидія демпінгу та аудит постачальників: в ДОТ розповіли, на яких умовах оголосили нові тендери з постачання харчування для ЗСУ
Публікації
Російський слід бачать тільки боржники: як ярлик співпраці з рф використовують у бізнес-війнах
Проти в.о. заступника голови ДПС Сокура відкрита кримінальна справа через перешкоджання забезпеченню пальним армії
Кредитний лабіринт: як повернути кредит, коли ніхто в цьому не зацікавлений та має зовсім інші плани
Відкриття власного бізнесу як шлях адаптації ветеранів у цивільному житті: з якими проблемами стикаються колишні військові
Слабка ланка: хто в регіонах тягне на дно партію Юлії Тимошенко
Нейромережу навчили реалістично озвучувати панорамні знімки
Американські розробники створили алгоритм, здатний самостійно додавати на панорамні знімки звуки від об’єктів, таких як автомобілі і люди. При аналізі знімка алгоритм враховує розташування об’єктів на ньому і має в своєму розпорядженні джерела звуку відповідним чином, завдяки чому користувач може зрозуміти звідки виходить той чи інший звук, розповідають автори статті, яка буде представлена на конференції CHI 2019, передає УНН.
40 тисяч громадян скористалися правом зміни місця голосування - ЦВК
Майже 40 тисяч громадян України скористалися правом зміни місця голосування. Про це повідомила голова ЦВК Тетяна Сліпачук, передає УНН.
В Аргентині стався потужний землетрус
Землетрус магнітудою 5,5 стався на півдні аргентинської провінції Сунчо Корраль. Про це повідомила Геологічна служба США (USGS), передає УНН.
Зінченко встановив унікальний рекорд АПЛ за кількістю перемог
Лівий оборонець "Манчестер Сіті" та представника збірної України Олександр Зінченко увійшов у історію Англійської Прем'єр-ліги, повідомляє УНН з посиланням на Twitter організації.
Еквадор продовжив режим НС в декількох регіонах через приплив венесуельських мігрантів
Влада Еквадору продовжила до кінця березня режим надзвичайного стану, введений в ряді регіонів країни через наплив венесуельських мігрантів. Про це повідомив у четвер МЗС республіки у своєму мікроблозі в Twitter, передає УНН.
На сьогодні встановлено ціну на банківські метали
Національний банк України на 1 березня 2019 року встановив офіційний курс банківських металів, повідомляє УНН із посиланням на сайт НБУ.
Офіційний курс гривні встановлено на рівні 26,86 грн/долар
На 1 березня 2019 року, офіційний курс гривні встановлено на рівні 26,86 грн/дол. , передає УНН із посиланням на сайт Національного банку України.
Після спорудження "Північного потоку-2" РФ вже не дотримуватиметься жодних правил - Клімкін
Міністр закордонних справ заявив, що після спорудження “Північного потоку-2” Росія вже не дотримуватиметься жодних правил. На його думку, завершення будівництва другої гілки Північного потоку, що сполучатиме Росію з Німеччиною, може призвести до своєрідної газової війни. Про це він заявив у інтерв’ю виданню Польске Радіо, передає УНН.
Опозиція в Японії зажадала зміщення міністра за помилки в державній статистиці
Шість опозиційних партій Японії внесли в п'ятницю в парламент колективний проект резолюції з висловленням недовіри міністру охорони здоров'я, праці і добробуту Такуми Немото, на якого вони покладають відповідальність за гучний скандал з помилками в державній статистиці, що приводили до масових невиплат населенню страховок, компенсацій тощо. Про це повідомляє УНН із посиланням на Kyodo.
Аутсайдер УПЛ орендував першого ісландського футболіста в історії турніру
Нападаючий Арні Вільхамссон підписав контракт з представником УПЛ одеським ФК "Чорноморець". Про це повідомляє прес-служба клубу з Південної Пальміри, передає УНН.