Miło nam poinformować o uruchomieniu testów naszego oprogramowania #NapiGen (wcześniej #napgenpl) na sprzęcie bezpośrednio w naszej serwerowni. Oczywiście na naszym autorskim oprogramowaniu spinającym LLM. Można już wysyłać pliki i generować napisy bez naszego udziału, samodzielnie.
Osoby, które wpłaciły dotację na projekt w wysokości uprawniającej do wczesnego dostępu, prosimy o kontakt w celu wygenerowania kont dostępowych do systemu.
Osoby, które chciałyby wspomóc ten projekt i ewentualnie również uzyskać dostęp early-access zapraszamy na stronę zbiórki: https://zrzutka.pl/generator-napisow/
Trochę technikaliów:
Wykorzystujemy LLM whisper z Faster-Whisper. Wczesniej whisper.cpp ale miał problemy ze współpracą z GPU.
Głównie large-v2. Nasze oprogramowanie backend napisane jest w pythonie. Serwer uruchomiony w krakowskiej serwerowni, więc nie ma obawy o karmienie obcych llm/ai.
Maszyna to Dell r730 z pożyczonym GPU Geforce GTX 1080 Ti bo zbieramy nadal na swoją, a inna (P40) czeka "na cle".
Przygotowania do generowania napisów i transkrypcji z audio w języku polskim za pomocą LLM whisper.cpp w projekcie #NapiGen (wcześniej NapGenPL).
Czyli napisy do #PeerTube i YouTube oraz transkrypcje do podkastów !
Oprogramowanie z naszymi "kustomizacjami" sprawdzone jest już na laptopach i na wynajętych serwerach z GPU (na godziny), niebawem będziemy mieli własny.
Serwer trzeba jeszcze doposażyć, m. in. w dodatkowy RAM, ale o tym później 😉