Сотрудник Netflix разработал алгоритм для поиска поцелуев в кино

Американские IT-специалисты разработали методику для отслеживания поцелуев в видео. Как сообщают зарубежные СМИ, алгоритм для автоматического поиска создан экспертом Стэнфордского университета, сотрудничавшим с компанией Netflix.

Представленная поисковая модель является алгоритмом, по заложенным данным автоматически определяющим в кадре людей, которые целуются. Он включает в себя бинарный классификатор, выносящий решение о фиксации поцелуя по отрывку видео, длительностью не более секунды. Также в алгоритм входит сегментатор, выдающий все сцены с поцелуями из заданного кинофильма. Для сотворения новой методики использованы критерии компьютерного зрения, задачей которого является распознавание различных объектов. Работа с видео, как динамичными изображениями, несколько сложнее обычных поисков по фотографиях и т.п., так как увеличивается количество задач для алгоритмов.

Ученые использовали для достижения своих целей сверточную нейросеть ResNet, способную распознавать и классифицировать данные. При выполнении задачи алгоритм выдает информацию так, что повторение одних и тех фрагментов исключено. Эксперты назвали точность, с которой выдаются результаты работы, - около 95 процентов, в экспериментальной части использовалось почти 630 отрывков видео длительностью не менее 10 секунд. При этом более 260 из них содержали сцены с поцелуями. Разработанная технология может применяться как для анализа обычных видеозаписей или кинофильмов, так и для стриминговых сервисов и аннотированных видеороликов, а также для множества иных задач машинного обучения.