В ClubHouse появился голосовой ассистент Олег от Тинькофф

В новой социальной сети ClubHouse появился голосовой ассистент Олег от Тинькофф. Данный алгоритм будет работать в качестве полноценного пользователя, способного отдавать модераторам комнат различные команды и общаться с другими юзерами в режиме реального времени. Основой для ассистента стала система распознавания голоса Tinkoff VoiceKit, пишет live24.ru

Олег сможет слушать выступления спикеров в комнатах и распознавать их слова. Также параллельно будет вестись текстовая трансляция их высказываний в канале «Олег в Клабхаузе» в Telegram. Благодаря современным алгоритмам системы она сможет быть модератором в ClubHouse и напоминать другим пользователям о регламенте, тайминге и других правилах применения ресурса.

Первая трансляция, получившая полноценную текстовую расшифровку от Олега, прошла в комнате «Тинькофф-Инвестиции» 11 марта. В ней был показан звонок топ-менеджеров группы Тинькофф, включая ее главу Оливера Хьюза. Специалисты рассказали о рекордной прибыли в минувшем году и подведении финансовых результатов за отчетный период.

«Команда поддержки голосового ассистента сейчас проверяет различные сценарии в ClubHouse, в которых Олег может быть полезен. Многие пользователи уже положительно отозвались о функционале помощника. Также были протестированы способности Олега расшифровывать звонки и передавать их в канал в Telegram в текстовом виде. Именно данная функция была опробована в комнате, посвященной финансовым итогам минувшего года», - рассказал Павел Калайдин, являющийся директором по технологиям искусственного интеллекта Тинькофф.

Олег будет полезен пользователям, которые не имеют возможности задать вопрос голосом. Если юзер не хочет перебивать спикера, то он получит возможность встать в очередь и прописать тему в виде текста, а ассистент озвучит ее в определенное время. Для таких случаев также разрабатывается система, позволяющая переносить вопросы из чата в Telegram непосредственно в ClubHouse.

Коллективное голосовое общение, которое было реализовано в новой социальной сети, пока имеет ряд изъянов, основным из которых является отсутствие суммаризации информации. Очень сложно воспринимать слова-паразиты, междометия или другие вводные фразы спикера, особенно если он говорит слишком быстро. Сейчас специалисты Тинькофф работают над совершенствованием Олега для того, чтобы научить его чистить текст и выявлять суть сказанного.

Основой ассистента является система распознавания речи и синтеза высказываний Tinkoff VoiceKit. Она была разработана при помощи нейросетевых моделей, созданных в рамках стратегии AI First. Tinkof VoiceKit может использоваться для:
• Разработки собственных голосовых помощников;
• Создания роботов для автоматизированных колл-центров;
• Записи аудиокниг или озвучивания видео;
• Систем речевой аналитики;
• Приложений для людей с ограниченными возможностями;
• Текстового транскрибирования звуковых записей;
• Поиска по тексту или записи голоса.

Заявку на подключение Tinkoff VoiceKit можно оставить на сайте voicekit.tinkoff.ru.