Распознавание русской речи: сравнение моделей
Одни и те же пять русских записей для каждой модели. Чем меньше доля ошибочных символов, тем лучше.
- моделей
- 29
- записей
- 5
- ошибаются реже чем в 1 % символов
- 13
| # | Модель | В среднем | Чистая речь | Телефонный звонок с шумом | Диалог двух человек | Числа и даты | Английские термины в русской речи |
|---|---|---|---|---|---|---|---|
| 1 | Voxtral Small Transcribe 3 | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % |
| 2 | Gemini 3.5 Transcribe | 0,1 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 0,3 % |
| 3 | Scribe v2 | 0,1 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 0,7 % |
| 4 | Scribe v2 Medical | 0,1 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 0,7 % |
| 5 | MAI-Transcribe 1.5 | 0,3 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 1,7 % |
| 6 | MAI-Transcribe 2 | 0,3 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 1,7 % |
| 7 | GPT-4o Mini Transcribe | 0,5 % | 0,0 % | 1,0 % | 0,0 % | 0,0 % | 1,7 % |
| 8 | Voxtral Mini Transcribe 3 | 0,6 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 3,0 % |
| 9 | Transcribe 1 Pro | 0,6 % | 0,0 % | 0,8 % | 0,0 % | 0,0 % | 2,4 % |
| 10 | Chirp 3 | 0,7 % | 0,0 % | 1,3 % | 0,0 % | 0,0 % | 2,3 % |
| 11 | Nemotron 3.5 Transcribe | 0,8 % | 0,0 % | 0,5 % | 0,0 % | 0,2 % | 3,3 % |
| 12 | GPT Transcribe | 0,8 % | 0,0 % | 0,5 % | 0,0 % | 1,6 % | 2,0 % |
| 13 | Nova-3 | 0,9 % | 0,3 % | 0,0 % | 0,7 % | 0,0 % | 3,4 % |
| 14 | Universal-3.5 Pro | 1,2 % | 0,3 % | 0,5 % | 0,3 % | 0,3 % | 4,7 % |
| 15 | Universal-3.6 Pro | 1,2 % | 0,3 % | 0,5 % | 0,3 % | 0,3 % | 4,7 % |
| 16 | Voxtral Mini Transcribe | 1,3 % | 0,0 % | 1,0 % | 0,0 % | 0,3 % | 5,0 % |
| 17 | Voxtral Mini 3B 2507 | 1,6 % | 0,0 % | 1,3 % | 0,3 % | 3,2 % | 3,0 % |
| 18 | Voxtral Small 24B 2507 STT | 1,6 % | 0,0 % | 0,8 % | 0,3 % | 2,4 % | 4,4 % |
| 19 | Whisper 1 | 1,9 % | 1,2 % | 2,1 % | 0,3 % | 1,1 % | 5,0 % |
| 20 | Muse Voice Transcribe 1.0 | 2,2 % | 4,4 % | 1,6 % | 0,3 % | 4,7 % | 0,0 % |
| 21 | Transcribe 1 | 2,5 % | 0,6 % | 5,5 % | 1,4 % | 0,5 % | 4,7 % |
| 22 | Nemotron 3.5 ASR Streaming Multilingual 0.6B | 4,0 % | 0,6 % | 8,1 % | 1,7 % | 1,6 % | 8,1 % |
| 23 | Parakeet TDT 0.6B v3 | 4,9 % | 1,5 % | 1,3 % | 13,1 % | 0,5 % | 8,0 % |
| 24 | Qwen3 ASR 1.7B | 7,9 % | 0,0 % | 31,2 % | 1,4 % | 1,6 % | 5,4 % |
| 25 | Grok STT 1.0 | 9,5 % | 1,2 % | 43,9 % | 0,0 % | 0,3 % | 2,3 % |
| 26 | Qwen3 ASR 0.6B | 9,6 % | 1,8 % | 34,3 % | 2,1 % | 3,1 % | 6,7 % |
| 27 | Whisper Large V3 | 14,0 % | 0,0 % | 56,6 % | 0,3 % | 1,8 % | 11,1 % |
| 28 | Whisper Large V3 Turbo | 14,2 % | 0,0 % | 57,9 % | 0,0 % | 0,5 % | 12,4 % |
| 29 | GPT-4o Transcribe | 23,3 % | 64,0 % | 0,5 % | 0,0 % | 1,6 % | 50,3 % |
Доля ошибочных символов на нашей записи после приведения к нижнему регистру и удаления пунктуации. Пять коротких записей из открытых источников, которые могли попасть в обучение моделей, — ориентир, а не бенчмарк. Записи: FLEURS (Google), лицензия CC BY 4.0; фразы склеены, шум телефона добавлен нами.
Выводы
Пять записей покрывают типичные ситуации: четкое чтение, телефонный звонок с шумом, два голоса по очереди, числа и даты, английские названия в русской речи. Каждая модель получила одни и те же файлы с указанием языка там, где модель его принимает, и вернула текст без нашей правки.
Большинство моделей уверенно справляются с чистой речью и диалогом: больше чем у половины из них на этих записях нет ни одной ошибки. Разница появляется на телефонной записи и на английских названиях. На шуме часть моделей теряет целые фразы или дописывает текст, которого в записи нет, например «Продолжение следует». Имена людей и компаний латиницей почти все модели записывают на слух, поэтому ошибки на этой записи есть почти у всех.
Средняя доля ошибок в таблице — простое среднее по пяти записям; если модель не вернула текст, запись считается полностью ошибочной. Пять коротких записей — ориентир для выбора, а не бенчмарк: перед запуском в работу проверьте модель на своем звуке.