इसे छोड़कर कंटेंट पर जाएं

इंजन

Audiotext तीन में से एक इंजन से ट्रांसक्राइब करता है, जिसे ट्रांसक्रिप्शन सेटिंग्स के इंजन कार्ड में चुना जाता है।

WhisperX Whisper API Google API
कहाँ चलता है आपका कंप्यूटर OpenAI के सर्वर Google के सर्वर
इंटरनेट केवल मॉडल डाउनलोड करने के लिए ज़रूरी ज़रूरी
लागत मुफ़्त, असीमित भुगतान मुफ़्त टियर (60 मिनट/माह), या API कुंजी के साथ भुगतान
भाषा पहचानता है ✓ ✓ ✗
अनुवाद करता है ✓ ✓ ✗
टाइमस्टैम्प ✓ मॉडल पर निर्भर ✗
वक्ताओं की पहचान ✓ (Hugging Face टोकन) gpt-4o-transcribe-diarize ✗
शब्द-स्तरीय समय ✓ whisper-1 ✗
लाइव टेक्स्ट ✓ ✗ ✗
कम विश्वसनीयता वाले शब्द ✓ (शब्द-स्तरीय समय) whisper-1 (सेगमेंट) ✗

WhisperX OpenAI के Whisper का एक तेज़ इम्प्लीमेंटेशन है जो आपके कंप्यूटर पर चलता है, इसलिए आपका ऑडियो कभी कंप्यूटर से बाहर नहीं जाता। यह CPU पर या, कहीं ज़्यादा तेज़, CUDA वाले NVIDIA GPU पर या Apple Silicon वाले Mac के GPU पर चलता है।

बड़े मॉडल ज़्यादा सटीक होते हैं, लेकिन धीमे होते हैं और ज़्यादा मेमोरी लेते हैं। मॉडल पहली बार उपयोग होने पर डाउनलोड होता है।

मॉडल पैरामीटर ज़रूरी VRAM
tiny, tiny.en 39 M ~1 GB
base, base.en 74 M ~1 GB
small, small.en 244 M ~2 GB
distil-small.en 166 M ~2 GB
medium, medium.en 769 M ~5 GB
distil-medium.en 394 M ~3 GB
large-v1, large-v2, large-v3 1550 M <8 GB
large-v3-turbo 809 M ~6 GB
distil-large-v2, distil-large-v3, distil-large-v3.5 756 M ~5 GB
  • large-v2 डिफ़ॉल्ट है, क्योंकि large-v3 ज़्यादा बार भ्रम (hallucination) करता है और टेक्स्ट दोहराता है, खासकर जापानी जैसी कुछ भाषाओं में, और ज़्यादा विराम-चिह्न छोड़ देता है।
  • large-v3-turbo large-v3 का छोटा किया गया संस्करण है, कहीं ज़्यादा तेज़ और लगभग उतना ही सटीक।
  • .en पर खत्म होने वाले मॉडल (tiny.en, base.en, small.en, medium.en) और डिस्टिल्ड मॉडल (distil-small.en, distil-medium.en, distil-large-v2, distil-large-v3, distil-large-v3.5) केवल अंग्रेज़ी ट्रांसक्राइब करते हैं। ये उसी आकार के बहुभाषी मॉडलों से तेज़ हैं।

Apple Silicon वाले Mac पर MLX Whisper GPU पर ट्रांसक्राइब करता है, जो CPU से कहीं ज़्यादा तेज़ है। इसके बाद WhisperX हमेशा की तरह CPU पर शब्दों को संरेखित करता है और वक्ताओं की पहचान करता है, इसलिए ट्रांसक्रिप्शन में शब्द-स्तरीय समय, स्कोर और वक्ता बने रहते हैं।

  • मॉडल का MLX संस्करण पहली बार उपयोग होने पर डाउनलोड होता है।
  • distil-small.en, distil-large-v2 और distil-large-v3.5 का कोई MLX संस्करण नहीं है, इसलिए वे CPU पर चलते हैं।
  • लाइव टेक्स्ट हमेशा CPU पर चलता है।
  • GPU पर गणना प्रकार और बैच आकार लागू नहीं होते, क्योंकि MLX हमेशा आधी परिशुद्धता में और बैच के बिना गणना करता है।
  • CPU पर ट्रांसक्राइब करने के लिए प्राथमिकताएँ → ट्रांसक्रिप्शन में CPU का उपयोग करें चालू करें।

ये प्राथमिकताएँ → ट्रांसक्रिप्शन → WhisperX में हैं। इन्हें तभी बदलें जब समस्या हो या आप जानते हों कि क्या कर रहे हैं: मेमोरी खत्म होने पर GPU आपके सिस्टम को अटका सकता है।

  • गणना प्रकार: मॉडल की संख्याओं की सटीकता। float16 NVIDIA GPU पर तेज़ है (CUDA के साथ डिफ़ॉल्ट)। int8 कम मेमोरी लेता है और CPU पर डिफ़ॉल्ट है, क्योंकि कई CPU float16 को कुशलता से सपोर्ट नहीं करते। float32 सबसे सटीक है, 8 GB से ज़्यादा VRAM वाले GPU के लिए।
  • बैच आकार: ऑडियो के कितने हिस्से एक साथ प्रोसेस होते हैं (डिफ़ॉल्ट 8)। यह गुणवत्ता नहीं, केवल गति बदलता है। मेमोरी कम पड़े तो इसे घटाएँ; अधिकतम 16 की सलाह दी जाती है।
  • CPU का उपयोग करें: WhisperX को CPU पर चलाता है। कोई GPU (CUDA वाला NVIDIA GPU या Apple Silicon वाले Mac का GPU) न मिलने पर हमेशा चालू रहता है।

OpenAI का स्पीच-टू-टेक्स्ट API उपयोग करता है। यह उन कंप्यूटरों के लिए है जो WhisperX को सुचारु रूप से नहीं चला सकते, और इसके लिए OpenAI API कुंजी चाहिए (API कुंजियाँ देखें)।

मॉडल टाइमस्टैम्प वक्ता टिप्पणियाँ
whisper-1 (डिफ़ॉल्ट) ✓ ✗ सेगमेंट-दर-सेगमेंट चलाया और सबटाइटल बनाया जा सकता है। अंग्रेज़ी में अनुवाद करता है। हर सेगमेंट को स्कोर करता है, ताकि कम विश्वसनीयता वालों की समीक्षा हो सके।
gpt-transcribe ✗ ✗ ज़्यादा सटीक, लेकिन टाइमस्टैम्प के बिना।
gpt-4o-transcribe-diarize ✓ ✓ वक्ताओं की पहचान करता है। कीवर्ड और विवरण का उपयोग नहीं करता।

अंग्रेज़ी में अनुवाद हमेशा whisper-1 करता है, क्योंकि यही एकमात्र मॉडल है जो अनुवाद करता है।

लंबे ऑडियो 10 मिनट तक के टुकड़ों में बाँटे जाते हैं, किसी चुप्पी पर काटे जाते हैं ताकि कोई शब्द न कटे, क्योंकि API 25 MB से बड़ी फ़ाइलें अस्वीकार करता है। whisper-1 के साथ हर टुकड़े का अंत अगले टुकड़े को संदर्भ के रूप में दिया जाता है; gpt-4o-transcribe-diarize के साथ अगले टुकड़ों के साथ हर वक्ता की आवाज़ का नमूना भेजा जाता है, ताकि उनके लेबल बने रहें।

  • प्रतिक्रिया फ़ॉर्मेट (आउटपुट कार्ड, फ़ोल्डरों के लिए): text (डिफ़ॉल्ट), json, verbose_json, srt या vtt। सबटाइटल और verbose_json के लिए टाइमस्टैम्प वाला मॉडल चाहिए।
  • तापमान (प्राथमिकताएँ → ट्रांसक्रिप्शन): 0 और 1 के बीच। 0.8 जैसे ऊँचे मान नतीजे को ज़्यादा यादृच्छिक, और 0.2 जैसे कम मान ज़्यादा केंद्रित बनाते हैं। 0 (डिफ़ॉल्ट) पर मॉडल ज़रूरत पड़ने पर इसे अपने-आप बढ़ाता है।
  • शब्दों के टाइमस्टैम्प (प्राथमिकताएँ → ट्रांसक्रिप्शन): क्या whisper-1 हर शब्द का टाइमस्टैम्प भी लौटाए, ताकि चलाते समय उसे हाइलाइट किया जा सके। ज़्यादा समय लगता है। डिफ़ॉल्ट रूप से चालू।

Google Speech-to-Text API उपयोग करता है। यह वाक्यों में विराम-चिह्न नहीं लगाता (Audiotext उन्हें जोड़ता है), और इसकी गुणवत्ता Whisper से कम है, इसलिए ट्रांसक्रिप्शन में अक्सर सुधार की ज़रूरत होती है। यह भाषा नहीं पहचान सकता, अनुवाद नहीं कर सकता, और टाइमस्टैम्प के बिना सादा टेक्स्ट लौटाता है।

API कुंजी के बिना मुफ़्त टियर उपयोग होता है, जो हर महीने 60 मिनट तक सीमित है। इसे बढ़ाने के लिए Google API कुंजी सेट करें। Google इसके उपयोग के लिए शुल्क लेता है, जिसके लिए Audiotext ज़िम्मेदार नहीं है।