Движки

Audiotext транскрибирует с помощью одного из трёх движков, который выбирается на карточке Движок в настройках транскрипции.

	WhisperX	Whisper API	Google API
Работает на	Вашем компьютере	Серверах OpenAI	Серверах Google
Интернет	Только для скачивания моделей	Нужен	Нужен
Стоимость	Бесплатно, без ограничений	Платно	Бесплатный лимит (60 мин/мес) или платно с ключом API
Определяет язык	✓	✓	✗
Переводит	✓	✓	✗
Временные метки	✓	Зависит от модели	✗
Определяет говорящих	✓ (токен Hugging Face)	`gpt-4o-transcribe-diarize`	✗
Тайминг слов	✓	`whisper-1`	✗
Живой текст	✓	✗	✗
Слова с низкой уверенностью	✓ (тайминг слов)	`whisper-1` (сегменты)	✗

WhisperX

WhisperX — быстрая реализация Whisper от OpenAI, которая работает на вашем компьютере, поэтому аудио никогда его не покидает. Работает на процессоре или, гораздо быстрее, на видеокарте NVIDIA с CUDA или на графическом процессоре Mac с Apple Silicon.

Модель

Большие модели точнее, но медленнее и требуют больше памяти. Модель скачивается при первом использовании.

Модель	Параметры	Требуемая VRAM
`tiny`, `tiny.en`	39 M	~1 ГБ
`base`, `base.en`	74 M	~1 ГБ
`small`, `small.en`	244 M	~2 ГБ
`distil-small.en`	166 M	~2 ГБ
`medium`, `medium.en`	769 M	~5 ГБ
`distil-medium.en`	394 M	~3 ГБ
`large-v1`, `large-v2`, `large-v3`	1550 M	<8 ГБ
`large-v3-turbo`	809 M	~6 ГБ
`distil-large-v2`, `distil-large-v3`, `distil-large-v3.5`	756 M	~5 ГБ

large-v2 используется по умолчанию, потому что large-v3 чаще галлюцинирует и повторяет текст, особенно в некоторых языках, например в японском, и пропускает больше знаков препинания.
large-v3-turbo — облегчённая версия large-v3, гораздо быстрее и почти так же точна.
Модели с окончанием .en (tiny.en, base.en, small.en, medium.en) и дистиллированные модели (distil-small.en, distil-medium.en, distil-large-v2, distil-large-v3, distil-large-v3.5) транскрибируют только английский. Они быстрее многоязычных моделей того же размера.

На Mac

На Mac с Apple Silicon MLX Whisper транскрибирует на графическом процессоре, гораздо быстрее, чем на центральном. Затем WhisperX, как обычно, выравнивает слова и определяет говорящих на центральном процессоре, поэтому транскрипции сохраняют тайминг слов, оценки и говорящих.

Версия модели MLX скачивается при первом использовании.
У distil-small.en, distil-large-v2 и distil-large-v3.5 нет версии MLX, поэтому они работают на центральном процессоре.
Живой текст всегда работает на центральном процессоре.
Тип вычислений и Размер пакета не применяются на графическом процессоре, так как MLX всегда считает с половинной точностью и без пакетов.
Чтобы транскрибировать на центральном процессоре, включите Использовать CPU в Предпочтения → Транскрипция.

Расширенные параметры

Находятся в Предпочтения → Транскрипция → WhisperX. Меняйте их, только если есть проблемы или вы знаете, что делаете: видеокарта, у которой закончилась память, может подвесить систему.

Тип вычислений: точность чисел модели. float16 быстрее на видеокартах NVIDIA (по умолчанию с CUDA). int8 требует меньше памяти и используется по умолчанию на процессоре, так как многие процессоры неэффективно работают с float16. float32 самый точный, для видеокарт с более чем 8 ГБ VRAM.
Размер пакета: сколько частей аудио обрабатывается одновременно (по умолчанию 8). Влияет не на качество, а только на скорость. Уменьшите, если не хватает памяти; рекомендуется не больше 16.
Использовать CPU: запускает WhisperX на процессоре. Всегда включено, если не найден графический процессор (видеокарта NVIDIA с CUDA или графический процессор Mac с Apple Silicon).

Whisper API

Использует API OpenAI для преобразования речи в текст. Предназначен для компьютеров, на которых WhisperX работает медленно, и требует ключа API OpenAI (см. Ключи API).

Модель	Временные метки	Говорящие	Примечания
`whisper-1` (по умолчанию)	✓	✗	Можно воспроизводить по сегментам и делать субтитры. Переводит на английский. Оценивает каждый сегмент, чтобы проверить сегменты с низкой уверенностью.
`gpt-transcribe`	✗	✗	Точнее, но без временных меток.
`gpt-4o-transcribe-diarize`	✓	✓	Определяет говорящих. Не использует ключевые слова и описание.

Переводы на английский всегда выполняет whisper-1, так как это единственная модель, которая переводит.

Длинные записи делятся на фрагменты до 10 минут, разрезанные на паузе, чтобы не разрывать слова, поскольку API отклоняет файлы больше 25 МБ. С whisper-1 конец каждого фрагмента передаётся следующему как контекст; с gpt-4o-transcribe-diarize со следующими фрагментами отправляется образец голоса каждого говорящего, чтобы сохранить их метки.

Параметры

Формат ответа (карточка «Вывод», для папок): text (по умолчанию), json, verbose_json, srt или vtt. Для субтитров и verbose_json нужна модель с временными метками.
Температура (Предпочтения → Транскрипция): от 0 до 1. Высокие значения, например 0,8, делают результат более случайным, низкие, например 0,2, — более сосредоточенным. При 0 (по умолчанию) модель сама повышает её при необходимости.
Временные метки слов (Предпочтения → Транскрипция): возвращает ли whisper-1 метки каждого слова, чтобы подсвечивать его при воспроизведении. Занимает больше времени. Включено по умолчанию.

Google API

Использует Google Speech-to-Text API. Он не расставляет знаки препинания (их добавляет Audiotext), а его качество ниже, чем у Whisper, поэтому транскрипции часто нужно исправлять. Он не определяет язык, не переводит и возвращает простой текст без временных меток.

Без ключа API используется бесплатный лимит — 60 минут в месяц. Чтобы расширить его, задайте ключ Google API. Google берёт плату за использование, за что Audiotext не отвечает.