Streaming with Faster-Whisper vs 🤗Insanely Fast Whisper

Artikeln jämför prestanda mellan Faster-Whisper och 🤗Insanely Fast Whisper, två optimerade implementeringar av OpenAI:s Whisper-v3. Författaren har modifierat en streamingserver för att testa båda backend-lösningarna. Initiala resultat indikerar att Faster-Whisper är snabbare och utnyttjar GPU:n mer effektivt. Testerna utfördes på en 2080ti, där 🤗Insanely Fast Whisper använde bettertransformer med en batchstorlek på 1 för ordnivå-tidsstämplar. Vidare tester av transkriptionskvalitet och prestandaoptimeringar med större batchstorlekar är planerade.