С 2020 года московское бюро переводов тестирует онлайн-переводчики на качество. В этом материале мы поделимся выводами по вопросу качества перевода текста в онлайн-сервисах за 2017, 2020 и 2021 годы.

С чего всё начиналось

Интерес к тестированию новых переводческих функций в онлайн-сервисах появился в 2016 году, когда Skype представил функцию автоматического перевода речи. Уже тогда стали появляться рассуждения, что век переводчиков сочтён и скоро такая профессия перестанет существовать. Человека заменит машина.

Спойлер: прошло 8 лет, но пока говорить о том, что профессия переводчика более не востребована, а машина полноценно заменила человека, не приходится.

Руководитель бюро Андрей Гук и его преподаватель-носитель английского Ларри не стали проходить мимо новой функции Skype и протестировали её. Для этого они заранее составили три диалога на разные темы: деловой разговор, запись ко врачу, дружеская беседа, а после протестировали с их помощью нововведение в Skype. Общение по аудиосвязи записали на видео.

Какие выводы были сделаны во время тестирования? Встроенный переводчик путался в именах, половой принадлежности говорящего, не мог разобраться со временем и датами, путал термины, терялся в контексте, пропускал слова и часто выдавал белиберду.

Позже сотрудников бюро взяло любопытство: наступит ли такой момент, когда онлайн-переводчики станут переводить тексты так же хорошо, как человек? Смогут ли в бюро клиенту услугу машинного перевода? И вообще, в какой момент онлайн-сервисы будут действительно представлять угрозу для бюро переводов? Чтобы ответить на эти вопросы, было решено проводить собственное ежегодное исследование!

Исследование 2020 года

Как устроено исследование. В 2020 году в исследовании оценивали качество перевода 5 онлайн-сервисов:

• Яндекс
• Google
• Bing
• DeepL
• Promt

С их помощью перевели 5 отрывков текстов разных тематик: договор, инструкция по эксплуатации, научная статья, туристический каталог, комментарий из сети. Результаты, полученные в онлайн-сервисах, попросили прокомментировать двух профессиональных редакторов бюро. Их оценки помогли сделать выводы о качестве машинного перевода.

Итоги. Хуже всего машинам удалось перевести комментарий из сети. Нешаблонное человеческое общение оказалось для них сложным. Лучше онлайн-переводчики справились с переводом текстов, в которых встречались общепринятые термины и стандартные формулировки (например, договор). Лидером тестирования стал Яндекс.Переводчик, а худшим — Bing.

Исследование 2021 года

Как устроено исследование. В 2021 году в бюро вновь провели исследование качества онлайн-переводчиков. Порядок действий был тот же, что и в 2020 году: взяли тексты, скормили онлайн-переводчикам, а полученный результат попросили оценить экспертов. Чтобы понять, есть ли прогресс в качестве машинного перевода или они стоят на месте, решили использовать те же отрывки, что и в прошлом году.

Но без нововведений исследование 2021 года не обошлось:

• Включили в список испытуемых еще 2 сервиса: Systran и iOS.
• Добавили отрывок новой тематики — художественной.

Итоги. Новая тематика — художественная — оказалась для переводчиков самой сложной. Машины на тот момент не были способны прочувствовать стиль повествования и передать его в переводе так же, как это сделано в оригинале. С более шаблонными текстами (например, техническими) онлайн-переводчики справились лучше. Но и тут не без изъянов: машины нарушали смысловые связи, не могли выдержать единый стиль текста, совершали лексические и семантические ошибки, путали падежи и так далее. Но как отметили эксперты, для внутреннего пользования и просто понимания смысла такого перевода достаточно. Лидером тестирования остался Яндекс, а худшие результаты показал iOS.

Если сравнивать результаты 2020 и 2021 года, эксперты не заметили сильного скачка в качестве перевода текстов онлайн-сервисами. Но сервисы выдавали другой перевод на тот же текст, что говорит о работе по их улучшению. Например, Google Translate и Systran фразы из маркетингового и технического текста перевели хуже, чем в 2020 году. А некоторые (например, iOS) остались на прежнем уровне — с таким же плохим переводом.

С результатами исследований 2022, 2023 и 2024 годов вы можете ознакомиться в блоге бюро.

Читать далее:
Русский язык 9 класс: Подготовка к ОГЭ с помощью эффективных методов изучения
Качественный отечественный почтовый сервер RuPost
Онлайн казино Джойказино: особенности игры онлайн
Как играть в Ставка казино
Вместе — сильнее: колонны миниатюрных роботов нашли применение в эндоскопической хирургии