Mise à jour par rapport à mes vidéos précédentes du printemps.
Petit essai en vidéo de #Openchat3.5, un nouveau modèle de #LLM libre utilisable avec #llama.cpp, et qui prétend être comparable à GPT 3.5 Turbo, l'avant-dernier modèle d'OpenAI.
La vidéo est aussi faite pour montrer ce que ça donne en rapidité sur un processeur "normal", sans usage du GPU.
Où l'on apprend (pure médisance bien sûr) que @bortzmeyer travaille chez Google. Ça nous avait échappé, mais sa vie est "assez privée", ceci doit expliquer cela
@Bristow_69 pas si important, et surtout trompeur : la machine a plein de RAM (96 Go) mais ça ne dit rien de l'usage du programme, qui se contente de 5 Go environ. Donc ça tient sur une machine de 8 Go qui sont assez basiques de nos jours.
@Bristow_69 cf le texte sous ma vidéo, c'est assez facile : il faut compiler llama.cpp sous Linux ou BSD (attention à bien prendre le commit indiqué), récupérer le fichier .gguf sur Huggingface, et ça roule. Les instructions de lancement sont sur la page Huggingface. Ensuite il suffit de jouer avec les options de llama.cpp (j'ai ajouté -i pour passer en mode chat).
Add comment