AR и VR приложения для музея⁠⁠

Частью моей дипломной работы о AR и VR приложениях в музеях была разработка двух приложений для археологического парка Маундвилл, США. AR разпознаёт экспонаты, даёт посмотреть 3D модель экспоната и почитать инфу о индейцах Миссиссипи. VR переносит посетителя в дом Миссиссипианского индейца каким он, возможно, выглядел в 10-11-ом веке.

VR (работает на Oculus Quest 2, осторожно, звук!):

AR (можно скачать себе на телефон, осторожно, звук!):

Наиболее трудным окозалось распознование музейных экспoнатов в AR. Из-за ряда ограничений было невозможно прикрепить к витринам QR-код и распозновать QR-код (да и выглядело это бы не слишком круто), а также нельзя было изъять учавствующие экспанаты для 3D-скана. В итоге сняли, на сколько позволяла витрина, экспонаты под разными углами на видео, и ИИ для распознования тренировали на очень лимитированном количестве изображений вырезанных из этих видео с помощью transfer learning поверх MobileNetV2. До конца не верил что сработает, но все шесть экспонатов, допущенных музеем в приложение, разпозновались на ура. Ну и нашему 3D дизайнеру тоже пришлось попотеть :)