Big brother

Big brother

Разработка комплекса из 2-х систем для идентификации пользователя и распознования речевых команд.

Две системы разрабатываются параллельно, видео распознавание человека (лица и поиск личности по БД), аудио распознавание речи (выполнение команд).

Условия: Командное соревнование, в команде ровно 2 человека (не больше, не меньше). Deadline 28 июня 2019.

Описание задач

Видео распознавание

Первый этап

Командам доступна web камера {{CAMERA_MODEL}}, и компьютер {{COMPUTER_SPECIFICATIONS}}, с OS Ubuntu 18 {{UBUNTU_EDITION}}.
Камера и компьютер включены 24/7, когда в кадр попадает человек, система пытается найти лицо, а затем распознать человека по опорным точкам (расстояние от глаз до ушей и тд) или любым другим методом. После успешной идентификации пользователя, система отправляет HTTP запрос POST: {{API_URL/ENDPOINT}} в котором содержится ФИО человека и его доменное имя (корп. почта).

Второй этап

После успешной идентификации человека, система пытается распознать мимические команды, такие как двойное моргание и(или) открытие рта (или начало разговора).
При нахождении такой команды, система отправляет HTTP запрос POST: {{API_URL/ENDPOINT}} в теле которого присутствует доменное имя и описание мимической команды ({«command»:»blink»})

Аудио распознавание

Первый этап

Командам доступен микрофон {{MIC_MODEL}}, и компьютер {{COMPUTER_SPECIFICATIONS}}, с OS Ubuntu 18 {{UBUNTU_EDITION}}.
Микрофон и компьютер включены 24/7, система постоянно слушает окружающую среду и пытается найти в ней речь. Если обнаружена речь, система пытается перевести слова в текст (Speech-To-Text), после распознавания, проверяет валидность разобранного предложения (например не должно получаться таких фраз «дела привет скажи»). После успешной валидации, система отправляет HTTP запрос POST: {{API_URL/ENDPOINT}} в теле которого присутствует разобранная фраза

Второй этап

После успешного распознавания речи и валидации, система отправляет полученную фразу в NLP (Natural Language Processor), который распознает намерение или вопрос человека (пример фраза «Включи свет» показывает намерение человека включить свет, но он может сказать это по разному «Свет включи», «Включить свет», «Зажги свет», «Шайтан машина пошли мне свет»). После получения результирующего намерения, система отправляет HTTP запрос POST: {{API_URL/ENDPOINT}} в теле которого присутствует намерение в виде зарегистрированной команды (список команд можно хранить где угодно), типа { «command»: «lightOn» }

Призовой фонд и формирование команд

Призовой фонд состоит из 4-х билетов на Krd Dev Conf (конец августа 2019). Состав участников делится на 2 направления, в каждом направлении участники разбиваются на команды по 2 человека, команды должны придумать название команде, далее вся коммуникация производится по названиям команд.
Победителем становятся 2 команды, по одной из каждого направления. А именно 1 команда видео распознавания и 1 команда аудио распознавания. Команды — победители получают по 2 билета на конференцию.
Для активных участников из других команд возможны поощрительные призы.