Телефонное интервью, с субтитрами:)

Всем привет!

По приезду в США обнаружил, что говорить здесь намного меньшая проблема чем правильно понимать. Акценты у всех разные, да и native speaker иогда говорит с такой скоростью что приходится постоянно перепрашивать. Телефонный разговор обычно еще сложнее для понимания.
Возникла мысль, что неплохо бы как то переводить речь в текст и не переспрашивать лишний раз, например на телефонном интервью. Никаких готовых решений я не нашел (хотя может плохо искал) поэтому решил попробовать что-нибудь изобрести.

Хотел бы поделиться результатами, может кому будет интересно.

Что нам понадобится:

  • google аккуант(+google voice).
  • ноутбук или компьютер.
  • гарнитура ( опционально).

Делаем или принимаем звонок на компьютере через hangouts.

В документе google docs активруем текстовый ввод.

Тестовый разговор с роботом wellsfargo показал хорошее соответствие “субтитров” с оригинальным голосом робота. Задержка не более секунды.

Настройка микрофонов:


Включаем стерео микшер и делаем его дефолтным девайсом, при этом микрофон делаем дефолтным девайсом для общения.
Таким образом, наш голос уходит к собеседнику, а голос собеседника уходит на обработку и при этом мы его тоже слышим.
Громкость стереомикшера надо выключить иначе будем слышать эхо.

С живым человеком тоже тестировал, акцент жены распознается похуже, но все таки достаточно точно. Думаю с носителями будет так же как с роботом работать.

Остается только вопрос - записывать чужой голос вроде нельзя без уведемления, но можно ли распознавать? кто что думает?

7 лайков

Тогда язык не надо учить , что ли? И везде с микофоном ходить ? И работать с микрофоном ? И в магазин ? Вы чё, серьезно?Купите себе робота или наймите персонального переводчика .

Кто сказал, что не надо? Можно и неплохо и понимать, и говорить, но по телефону общаться - это самое сложное, что может в на иностранном языке. Мне лично до сих пор по телефону тяжеловато общаться, хотя уровень языка достаточный, чтобы учиться здесь в аспирантуре и даже преподавать. У мужа тоже были трудности с пониманием, когда искал работу, хотя при личном общении он нормально все понимает. На персонального переводчика пока не заработали, а по телефону уже надо было говорить

Разве я предлагал ходить куда то с микрофоном? Речь идет о плановых звонках из дома: телефонное интервью, в банк, в полицию. Язык учить безусловно надо, просто на это нужно время.

Записал видео как это работает. Сорри за качество

//youtu.be/10BuLrBOjUc

4 лайка

Я почему то всегда думал, что это наговаривают специальные дикторы с хорошо поставленной дикцией. Вы на людях эксперименты ставили, да еще так чтоб у них поток мысли был, без специальных пауз?

На живых людях нет(кроме жены), но вообще технология распознавания речи расчитана на живых людей, так что думаю будет работать нормально.

1 лайк

Мсье знает толк… Надо будет попробовать хотя бы просто как proof of concept:)

Раньше люди о таком не думали. Раньше этого всего не было. Раньше были карандаш и словарик. Раньше начинали с перевода каждого слова в тексте и надписывали этот перевод над словом. Потом уже часть каждого предложения. Потом доходило до одного-двух-трёх слов на странице. Раньше не было Гугла с переводчиком текста. Интернета с русским кино. Когда Русское радио появилось? В этом веке? Русское ТВ в кабеле когда появилось? Тоже лет 15 назад? Не более. Звонки “домой” раньше были по $2 за минуту. И при подписании на Спринт (нет, не сотовую связь, а домашнюю), можно было бесплатно позвонить из магазина. Люди тогда кричали в трубку. Хотя их прекрасно слышали. Вот так раньше учили язык. Отличные времена! Это не было быстро. Но это было качественно. И это было быстрее, чем сейчас. Раньше люди приезжали и шли учиться. Переучиваться. В 30 лет. В 40 лет. Ха! Я 50-летних помню в колледже рядом с 18-летними сопляками! Раньше многие через три-пять лет уже могли понимать и говорить практически все. И их понимали. А сейчас не просто на ногой чаще, но постоянно вижу тех, кто приехал 5 лет назад и имеет нулевой или крайне минимальный английский.
Какие-то вы хиленькие теперь пошли, иммигранты. Назад много смотрите. Многие даже вперёд спиной идут. Вы уж это…или ехать, или нет.

Сашок, это из разряда “раньше трава была зеленее”. Если современные технологии значительно облегчают жизнь, почему бы ими не воспользоваться? Потом на работе все равно будет личное общение, и язык подтянется, но эта помощь на первых порах очень нужна, она как минимум снимает психологический барьер.

Ага, а ещё тракеры раньше без GPS ездили, а ещё раньше передачи в машинах переключались строго вручную. Мне тоже не 20, но я за прогресс. А то получается, как два деда сели по…ть, и один другому говорит: «вот, раньше у меня …ца земли касались, а сейчас… » А второй отвечает — «Да, усела земелюшка-то!»

А про русские радио и русские новости, тем более в кабеле (!), я согласен, нафиг не нужны, буквобесие это. А кому щас хочется тёплых ламповых технологий, так он ими и пользуется. У меня вон жена ведёт бумажный дневник. Я его не читал, но видел снаружи. Карандашом и ручкой пишет. И задания из колледжа тоже строго на бумажке, положено у них так.

Я восхищён самим извращением, которое здесь описано. Сколько у меня не было устройств с голосовым вводом, от того же андроида до навигаторов последних моделей в машине, ни одно из них нормально меня ни на одном языке не понимало. Сроду бы не подумал, что гугл распознает голосовой сигнал с телефона в реальном времени.

Хотя стоп… нифига оно в реальном не может, если я правильно понимаю. Там будет задержка в 0.5-1 секунду, в зависимости от скорости коннекта и погоды на марсе.

Но вообще браво :slight_smile:

Находчиво, что сказать. :slight_smile:
Хотя не уверен, что тот же результат будет с менее стандартными акцентами.

Я такой метод использовал, когда в Мексику звонил, для понимания. Но я разговор собеседника ещё и через Google translate на ходу погонял и читал перевод собеседника на английский. Без этого я по телефону по-испански ещё не особо могу слушать.

Спасибо за идею :slight_smile:

Ты пропустил сравнение о том, что раньше люди быстрее язык брали. А сейчас… Короче, нежные иммигранты пошли.

Как только закончите клинические испытания расскажите :slight_smile:
Рассчитана не рассчитана, но когда плохое произношение или акцент ее глючит не по детски :slight_smile: Я как начинаю со своим хэндс фри разговаривать утром он меня прекрасно понимает, а если вечером то нет :slight_smile: все пытается непонятно кому позвонить :slight_smile:

Чем дольше ты ребёнку будешь держать бутылочку, тем позднее он научится её держать сам. Но жизнь его в начале будет легче. Я согласен.

Скорость можно оценить по видео, на первой странице. По мне так скорость вполне приемлемая.

1 лайк

неудачное сравнение:) раньше определенного возраста учи не учи-толку будкт ноль:). Или можно в год дать ложку и мучать ребенка месяцами пока он научится есть нормально, а можно в полтора года- и за пару дней он ложку освоит.
Надо чтоб человек был готов.

1 лайк