Przygotowania do generowania napisów i transkrypcji z audio w języku polskim za pomocą LLM whisper.cpp w projekcie #NapiGen (wcześniej NapGenPL).
Czyli napisy do #PeerTube i YouTube oraz transkrypcje do podkastów !
Oprogramowanie z naszymi "kustomizacjami" sprawdzone jest już na laptopach i na wynajętych serwerach z GPU (na godziny), niebawem będziemy mieli własny.
Serwer trzeba jeszcze doposażyć, m. in. w dodatkowy RAM, ale o tym później 😉
@ftdl jak z weryfikacją tego co wypluje Whisper? Na potrzeby @icd probowaliśmy, ale nawet przy największych modelach wciąż wymaga dość dużego wysiłku manualnego
Rezultaty są bardzo dobre. Mamy kilka przykładów, gdzie nie trzeba było wiele lub prawie nic poprawiać. Dodatkowo, w json raportuje nam, gdzie ma wątpliwości, i to będzie wykorzystane w edytorze do szybkiego podświetlenia miejsc wątpliwych i korekty.
Korekta zawsze jest niezbędnym etapem, bo nie powinno się "ufać" LLM, zwłaszcza przy nazwiskach, nazwach własnych i innych nietypowych, rzadszych sformułowaniach.
@ftdl@arek@icd Jak trochę temu bawiłem się Whisperem, zauważyłem poważne problemy gdy jest wielu mówców albo zachodzi zmiana języka. Udało się wam (albo komuś innemu) obejść jakoś ten problem?
@arek ale to też z tym który wyżej był podrzucony od nas?
my uzywamy najwiekszych modeli na GPU w naszej serwerowni...
Ostatnio tylko problem był z wywiadem z palestyńczykiem mówiącym po polsku... po prostu problem był ze akcentem. Ale ogólnie wynik i tak był całkiem niezły... dalej z kontekstu dało sie wylapac wszystko.
@PiTau Przyznam szczerze ze jedynie problem zdarza się że rozpocznie jakiś tekst zanim zaczną się słowa... Nie wiem czy też tego nie ogarnąć używając jakiegoś systemu Voice Activation Detection
@piotrsikora@arek@ftdl@icd
Znajomy próbował bawić się z VADami ale wstępne efekty były takie se. Jeszcze go podpytam jak to było. Tak długo jak okazyjnie timestamp jest przesunięty, jest to mało uciążliwe. Ja pisałem o kaskadzie desynchronizacji gdzie wszystko po pewnym punkcie jest przesunięte.
Ale też nie ubolewajcie nad jakością napisów za bardzo. Whisperowi daleko do przestrzegania zasad tworzenia napisów, więc i tak będą one doraźne, a nie dobre.
@PiTau
Z chęcią się wczytam... co do out-of-sync dorwałęm coś takiego w komentarzy kodu do parametru:
condition_on_previous_text: If True, the previous output of the model is provided
as a prompt for the next window; disabling may make the text inconsistent across
windows, but the model becomes less prone to getting stuck in a failure loop,
such as repetition looping or timestamps going out of sync.
Co do rozpoznawania mówcy to już są powoli opcje... jeszcze średnio działają, ale już jest na tym praca. zaawansowana.
@SceNtriC dotarł dotarł ;) tylko ostatnio do pol.social musialem siąść... do tego tez jeszcze czekałem na kabel zasilania do GPU (mialy byc, ale nie wyslali). @ftdl
Add comment