Je bosse au 4/5 sur les modèles de langage (LLM, parfois appelées IAs) et à 2/5 sur la robotique open hardware AMA French

peter, 5 days ago

illinoismushroomsstore.com/…/where-to-buy-mushroo…illinoismushroomsstore.com/…/wavy-caps-magic-mush…illinoismushroomsstore.com/product/soulcybin/illinoismushroomsstore.com/…/wavy-caps-magic-mush…illinoismushroomsstore.com/…/mondo-grow-kit-golde…illinoismushroomsstore.com/…/dried-chicken-of-the…

pseudo, 12 days ago

J’entends souvent parler de droits d’auteur est d’IA générative. Peux-tu nous en dire plus ? On parle souvent de risque de violations du droit d’auteur si l’IA reproduit des contenus protégé mais est-ce que la question du droit d’auteur ne se pose pas dès l’utilisation de données protection pour l’entrainement, la validation et le test de notre modèle ?

keepthepace_, 12 days ago (edited 12 days ago)

Le droit d’auteur est déjà pas adapté à Internet, y a aucun moyen qu’il ne soit pas largué vis à vis de l’IA. J’essaye de pas trop suivre, sachant que de toutes façons ils vont nous emmerder avec des jugements perchés et sans aucune logique. Quelques éléments:

1. Une cour US a reconnu que les images générées par des IAs n’étaient pas copyrightable, ce qui vaut sûrement (mais je ne suis pas avocat) pour tout contenu généré. Les artistes pensent que c’est une victoire, je pense que c’est super positif pour l’open source, je pense qu’ils vont surement revenir en arrière là dessus tellement ça emmerde des boites privées.
2. Les artistes ne sont pas contents qu’on entraîne des IAs sur leurs images. Ça a l’air d’être légal pourtant. Je ne pense pas que légalement on puisse arguer que les images produites sont des produits dérivés. Y a des précédents à arguer, mais je ne suis toujours pas avocat. Moralement, je les comprends, mais je dois avouer que j’ai assez peu d’empathie pour les ayants droits qui pourrissent le net depuis les années 90 avec la lettre de la loi pour ne pas juste répondre “cheh” quand ça les emmerde. Ça fait 30 ans qu’on demande une réforme du copyright qui tienne compte des utilisations libres et non commerciales, quand vous avez envie, on en parle, mais on remet tout à plat.
3. Une chose emmerdante pour la communauté open source est que même si on est dans une zone grise (“surement légale mais on le saura dans 15 ans quand les recours seront épuisés”) en ce qui concerne l’utilisation d’oeuvres privée: les boites privées le font derrière des portes fermées donc personne leur dit rien, mais la communauté doit assembler un dataset forcément public d’oeuvres qu’elle n’ont pas le droit de diffuser. The Pile, qui je soupçonne est utilisée par tout le monde n’est disponible que sous forme de torrent pirate. C’est chiant. Ils ont essayé d’arguer que c’est pas vraiment utilisable pour relire des oeuvres vu que c’est juste des bouts de phrases découpées dans tous les sens, mais c’est clairement une oeuvre dérivée pas diffusable.

Pour conclure, je dirais qu’en 2024, la logique du copyright est complètement obsolète et inapplicable. Ils vont tenter de juger des trucs mais c’est tellement dépendant des juges et des avocats et de l’état US dans lequel le premier jugement va être rendu, que c’est inutile de tenter de prédire où la limite de la loi va être.

C’est super chiant, on est dans une zone grise qui va durer des années, mais on peut pas vraiment attendre après un législateur dépassé et soumis aux lobbyistes pour donner des lignes claires avant qu’il soit trop tard.

Navigator, 11 days ago (edited 11 days ago)

Attention copyright et droit d’auteur sont différents.

Dans les deux cas cependant personne ne peut légalement utiliser une oeuvre sans autorisation expresse de l’auteur. Donc scanner le net pour entraîner une IA sur des oeuvres sans accord des auteurs c’est illégale. Il y a pas de zone grise, c’est juste comme ça que ça marche légalement parlant.

Il faut une législation globale sur les dataset pour entraîné les IA, pas uniquement pour permettre de respecter les volontés des auteurs, mais aussi pour pas que la techno devienne nimp’.

‘C’est super chiant’ = c’est la loi et c’est la volonté des auteurs d’oeuvre. C’est con ces gens qui veulent pas qu’on fasse n’imp avec leur travaux hein ?

keepthepace_, 11 days ago (edited 11 days ago)

…en France. Juridiction qui est hors sujet pour 99% des boites d’IA, y compris françaises. Je veux dire, en droit français, pendant longtemps (jusqu’aux années 2010 je crois), il n’était même pas sur que du code compilé soit copyrightable, un algo ne l’était pas et son implémentation en code ne l’était que via des hacks légaux qu’un refactoring de base pouvait faire sauter. Le droit moral d’auteur a moyen de rendre tout l’open source bancal en France. Et pourtant…

La théorie légale, surtout sur un truc aussi mal branlé que la « propriété intellectuelle » dans le cade de collaboration internationale, avec des usages qui changent du tout au tout d’une année sur l’autre, c’est plus de la philosophie que des règles qui ont un impact réel.

Ce qui va compter comme ailleurs c’est les jugements de tribunaux US. Et entre le fair use et les compilations de faits, et surtout les millions que peuvent mettre les boties d’IA en frais d’avocats, je pense qu’ils ont une bonne chance de n’avoir aucun problème. La loi devrait pas être un jeu de hasard sur 15 ans, mais c’est ce que c’est. Quand Google a scanné pour Google Books des millions de bouquins sans autorisation et mis des extraits en ligne ils ont gagné leur procès. Alors que bon, c’est clairement une violation, en théorie.

C’est con ces gens qui veulent pas qu’on fasse n’imp avec leur travaux hein ?

Ce qui est surtout con c’est que les lois actuelles l’autorisent justement. Par exemple un site comme deviantart a été utilisé pour du training et les auteurs ont découvert que l’EULA qu’ils avaient “signé” l’autorisait. Les auteurs croient que ces lois les protègent mais je pense qu’on les trompe avec ça. Le contrat social autour du copyright et du droit d’auteur doit franchement être remis à plat.

Je n’aime pas la sauce qui monte d’opposer les ingés et les artistes. C’est contre-productif. Les artistes ne comprennent pas comment leurs oeuvres sont utilisées et ont des raisons légitimes de s’inquiéter et de critiquer ces technos, mais la propriété intellectuelle c’est un angle particulièrement mauvais et perdant pour eux.

Il faut une législation globale sur les dataset pour entraîné les IA, pas uniquement pour permettre de respecter les volontés des auteurs, mais aussi pour pas que la techno devienne nimp’.

Ce sera possible quand on saura définir “nimp”. Et c’est pas avec les législateurs actuels qu’on peut s’attendre à des règles intelligentes et mesurées. J’aimerais aussi qu’on parle vraiment de la volonté des auteurs, plutôt que des lobbys d’ayant-droits. Ces derniers, on sait bien ce qu’ils veulent: que chaque visionnage d’une oeuvre soit payante et sans droits associés et que toute oeuvre produire par une personne ayant vu leur oeuvre leur rapporte quelque chose. C’est pas des créateurs, c’est des rentier. La culture c’est pas ça, ça se fait en tenant compte aussi de la volonté du public. Et les modèles de génération de média y ont un rôle à jouer, mais c’est pas dans ce débat légal empli de faux-semblants et d’intérêts privés qu’on va inventer la culture de demain.

Navigator, 11 days ago

En France et ailleurs, notamment au USA un droit moral se développe, par la reconnaissance par la jurisprudence de la publication en ligne comme preuve d’antériorité.

Le truc c’est que non la loi ne l’autorise pas. Les oeuvres d’un auteur français sont soumisent au droit d’auteur français quel que soit l’endroit du net où elles sont utilisées. Chaque oeuvres est soumise a la législation de son auteur. Donc on s’en fout d’où viennent les gens qui créer et utilisent des dataset et pas l’inverse.

Mon poste était un peu lapidaire et je suis d’accord sur le fait de ne pas opposer les auteurs et les ingés. Mais du coup les auteurs rentiers, c’est quand même des auteurs. Faut faire gaffe avec la posture du “les vraies auteurs blablabla” contre les méchants ayant-droit rentiers. Car ça fait des lustres que les premiers soutiennent (activement ou passivement) les second majoritairement. Et je pense que quand on voit les dérives de l’Open source, notamment le fait que ce système permet aux gafam de s’enrichir grassement, on peut se demander qui du droit d’auteur français ou de l’Open source a le plus de problèmes vis-à-vis d’internet et du numérique.

Je suis d’accord sur le fait que les lois sur la propriété intellectuelle doivent changer, pour pleins de raisons. Mais ce qui est la réalité c’est que l’évolution social ne suit pas l’évolution tech. Les techs forcent la mains depuis 30ans, mais il y a 30ans on nous promettait un web bien différents de celui qu’on a. A qui la faute? Principalement a des boites tech pas assez bâillonné et contrôler par les États. Qui poussent dés qu’elles peuvent et se justifient avec l’approbation populaire, bah ça serait pas mal que ça cesse. Tu veux entendre les vraies auteurs ? Il faut déjà casser le système qui fait que les plus riches sont les seuls a être entendu. Et pour le coup forcer a respecter les lois en vigueur ça serait un bon début. Et oui même quand c’est chiant.

L’exemple de deviant art est parlant dans le sens où quoi ? On se rend compte que les auteurs ne lisent pas les contrats qu’ils signent ? Mais personne ne lit les cgu de tout les services en ligne qu’on utilise. Et sur les auteurs ça montre juste qu’ils ne connaissent pas leurs droits du tout. Car si c’était le cas, ils liraient plus attentivement les contrats qu’ils signent. Après je ne connais pas plus le cas, mais je doute fort que les contrats de deviant art aient pu n’être contesté par aucune législation dans le monde, vu la compléxité que ça suppose en terme de mise en conformité.

Enfin le droit moral français rend l’Open source bancal, car l’Open source est bancal (mais ceci est un autre débat). Mais le fait de dire que jusqu’en 2010 c’était comme ci et pas comme ça, ça souligne juste la lenteur du législateur, mais ça n’invalide pas sont action pour autant.

Désoler pour la réponse peut-être un peu décousue, je suis sur mobile. Content d’avoir la chance de parler de ça avec quelqu’un qui maitrise le sujet :)

keepthepace_, 11 days ago

Content que tu le prennes bien, j’ai trouvé ma réponse d’hier un peu agressive, désolé!

Le truc c’est que non la loi ne l’autorise pas.

Depuis que j’ai lu le jugement de Google contre la guilde des auteurs, où un juge donne à Google un blanc seing à clairement violer la loi (reproduire des pages de bouquins sans autorisation des auteurs) j’ai compris que la loi, elle est davantage dite par les juges que par le législateur. Si Facebook fait des trucs illégaux en France derrière des portes fermées aux US, l’interdire ne va handicaper que les efforts ouverts.

Et je pense que quand on voit les dérives de l’Open source, notamment le fait que ce système permet aux gafam de s’enrichir grassement, on peut se demander qui du droit d’auteur français ou de l’Open source a le plus de problèmes vis-à-vis d’internet et du numérique.

Quelles dérives? L’open source est la seule raison qui a permis d’éviter les futurs les plus dystopiques en ligne, qui a permis à internet de continuer à être relativement libre (si si, les GAFAM sont tous optionnels, c’était pas gagné) et c’est encore en majorité sur des projets open source qu’internet se base. Les combats sont toujours en cours sur plein de champs de bataille. C’est un peu perdu sur les téléphone, sur l’IA on est en train de gagner mais faut pas vendre la peau de l’ours prématurément.

Je ne vois pas de quelle dérive tu parles? L’open source fait économiser de l’argent à tout le monde, c’est une tellement bonne idée que plein de boites privées s’y sont mises. C’est pas une dérive, c’est une volonté de base. C’est un projet qui est encore, dans son essence, anarcho-communiste (lien vers un post+commentaire qui explique ça plus en détails) Que des turbo-capitalistes y participent sans aucune concession de notre part et “donnent” des contributions est une victoire totale, pas une compromission ou une dérive.

Le droit d’auteur (en général, pas spécifiquement le français) est ce qui a permis à notamment Google et Youtube de vendre un système centralisé comme essentiel à tout. Pendant longtemps on a eu un système très supérieur à Youtube pour voir des vidéos en ligne: P2P+VLC et j’arguerais que c’est encore une combo supérieure en terme de contenus. Ce sont les ayant droits qui ont rendu ce système illégal alors que non commercial, volontaire, non-capitaliste.

Le web différent, il a été rendu illégal. La tech est là et toutes les libs derrière elle sont open source.

Et pour le coup forcer a respecter les lois en vigueur ça serait un bon début. Et oui même quand c’est chiant.

Les lois en vigueur sont si floues et mal définies qu’on ne sait toujours pas si les poids d’un modèle sont copyrightable ou si c’est un produit dérivé des oeuvres vues à l’entrainement. Y a des arguments dans les deux sens, la loi ne le dit pas, et le premier jugement rendu dépendra de la rhétorique des avocats et de ce que je juge aura mangé à midi. Et des usages en vigueur, qui sont un argument fort: c’est un noeud gordien: l’usage deviendra légal s’il est répandu. J’exagère pas, on en est là. On a des exhortations à respecter une loi dont la lettre est floue et dont l’esprit est bafoué par ceux qui nous demandent de faire la chose soit-disant morale.

Faut faire gaffe avec la posture du “les vraies auteurs blablabla” contre les méchants ayant-droit rentiers.

Tu admettras qu’il y a quand même une différence fondamentale entre des auteurs qui ont produit leurs œuvres et les gens qui en ont hérité parfois sans avoir même connu l’auteur. Dune, Tintin, Lord of the Ring, Ambre, et j’en passe sont des franchises mutilées par des héritiers alors qu’elles se porteraient mieux dans les mains de leurs fans. Il suffit de voir l’explosion de créativité autour des univers de Lovecraft ou de Conan Doyle quand ils sont tombés dans le domaine public pour voir que le droit d’auteur ampute la culture.

Je veux bien entendre les intérêts des créateurs de leur vivant (et encore, le copyright original c’était 21 ans après la première publication), mais je dois t’avouer que pirater du Tintin ou du Brel, j’ai du mal à voir ça comme immoral.

“Publier” veut dire “Mettre entre les mains du public”, c’est donner à l’oeuvre une liberté de participer à la construction de l’imaginaire collectif et de la culture. J’ai l’impression que cette composante du contrat social est un peu trop souvent oubliée.

Mais ce qui est la réalité c’est que l’évolution social ne suit pas l’évolution tech. Les techs forcent la mains depuis 30ans, mais il y a 30ans on nous promettait un web bien différents de celui qu’on a. A qui la faute? Principalement a des boites tech

Alors je lutte beaucoup contre cette tendance à faire de “la tech” et des “boites techs” des synonymes. Ça invisibilise toute la partie non-capitaliste de la tech, tout l’open source, et tous les activistes numériques qui crient dans le vide depuis des décennies mais qu’on est bien content de trouver quand une partie pratique du web se merdifie.

L’évolution sociale, oui, elle suit et boit les paroles des grosses boites et ignore la voix de la “tech”, la vraie, celle des devs, ingés et des chercheurs qui la font. Je ne sais pas qui accuser en priorité, je trouve que les journalistes ont un grand rôle, mais j’ai aussi décidé que c’était aussi à moi de parler sur un mode un peu plus politique, un peu plus culturel, des sujets ouverts qui me tiennent à coeur quand j’entends trop de mensonges ou d’idées fausses à leur encontre.

Snoopy, 11 days ago (edited 10 days ago)

J’ai un peu lu en diagonal, désolé.

En fait, je me dis que ce n’est pas tant la question du droit d’auteur mais la rénumération des artistes vivants (Mort ça sert à rien d’avoir de l’argent). Plus globalement l’économie.

Par exemple le soustitrage automatique a été pour moi une révolution pour l’accès à l’information. En parallèle ça met au banc les soustitreurs et soustitreuses.

Cependant, personne ne seraient capable de soustitrer toutes les vidéos du web, et on ne serait pas capable de tous et toutes les rénumerer.

De la même manière que les maraichers ne sont pas rénumérés en cas de perte de leur production malgré leur travail. (sauf AMAP)…ou encore les actifs qui cotisent pour les retraités…ya plein de choses comme ça.

En dehors de l’IA, c’est la notion de travail = salaire qu’il faut détruire.

keepthepace_, 10 days ago

Exactement.

Navigator, 8 days ago

Il y a un vrai sujet sur le fait de décorréler la rémunération de la production, mais ça ne concerne pas que les auteurs.

Snoopy, 8 days ago

Yep autant donner un revenu à tous et toute sans condition. Pour ma part j’experimente des alternatives comme la monnaie libre qui apporte une partie de la solution. Cependant j’arrive pas à résoudre la question de la taxe et service publique et ce n’est pas un revenu de base car ça ne garantie pas le logement, alimentation. C’est une dividende universelle. Neanmoins sa production est équitable et décentralisée.

Navigator, 8 days ago

La monnaie libre c’est super! Et c’est l’exemple même d’un truc qui permettrait de faciliter la sortie du capitalisme, c’est d’ailleurs pour cette raison qu’aucun tenant du solutionnisme technique ou des boites techs ne s’en saisie, car leur but c’est pas de réfléchir a une nouvelle société, mais de continuer comme avant en faisant tourner les rapports de force a leur avantage. La monnaie libre, ça rapporte pas de blé tu comprend, alors que l’open source ça oui!

Snoopy, 8 days ago (edited 8 days ago)

exactement, elle est faite pour circuler, et non s’accumuler. Et perd de la valeur si elle reste sur ton compte membre. :)

pseudo, 6 days ago

Par exemple le soustitrage automatique a été pour moi une révolution pour l’accès à l’information. En parallèle ça met au banc les soustitreurs et soustitreuses.

Je suis d’avis que ce qui mets au ban les soutitraires, c’est moins l’outil automatique que l’étroitesse d’esprit de certain. Puisqu’on dispose d’une technologie qui peut fournir en grande quantité un travail de qualité moyenne à faible coût, on exclus définitivement de s’offrir parfois les services de qui peut fournir un travail de haute qualité, en petite quantité, pour un prix élevé. Sachant portant que le prix des soutitraires étaient déjà élevé auparavant.

Snoopy, 6 days ago

Heu les soustitraires sont payés au lance-pierre d’après une de mes connaissances.

Effectivement les soustitres en IA sont moins comfortables à lire. Ya pas de ponctuation, ya des pavés gros comme ça…alors qu’il faudrait changé les mots pour que ce soit plus rapide, et facile à lire, ça c’est vrai.

Mais bon, moins je suis passé d’une période desertique avec 99,9 % de vidéo, radio/podcast non-soustitrées à celle de l’abondance 80% avec soustitrage dont 10% Soustitré.

À l’époque, on avait des groupes FB pour demander du soustitrage. Maintenant, ya plus trop besoin, si tu as un bon micro, l’IA fait le reste.

C’est comme ça qu’iels ont fait la transcription de leur émission Soluce posté dans !jeuxvideo (avec relecture)

Pour moi, c’est une révolution.

pseudo, 6 days ago

Quand tu compares la quantité de soustitres produit automatiquement par rapport à celle que te produit un soutitraire sur le même temps, oui les soutitraires coûtent cher. Ça ne veut pas dire pour autant qu’ils peuvent bien vivre.
Je suis d’accord avec toi sur le fait que ça été une révolution. Même les entendants ont vu la différence ! Il n’empèche que avoir un dispositif pour faire du soutitrage en quantité n’obligait pas les entreprise à abandonner celui qui faisait du soutitrage de qualité : C’est un choix qu’elles ont fait. La technologie n’est qu’un prétexte pour ne pas l’assumer.

Snoopy, 5 days ago (edited 5 days ago)

Oui, on est d’accord. Ya quelque chaines qui font ce soustitrage : jamy epicurieux, science etonnante et soluce.

Et ya aussi le doublage qui est menacé : cnetfrance.fr/…/cinema-comment-les-ia-sont-en-tra…

Après, j’aime pas le doublage car souvent ça se traduit par la disparition des soustitres dans les animés et salle de cinéma.

Navigator, 8 days ago (edited 8 days ago)

Le truc c’est que tu confond les législations, au US oui les tribunaux font en large partie la lois, mais ça n’est pas le cas ni en France, ni en Europe. Donc ce que tu racontes ne concerne pas tous les auteurs et pas les auteurs français. Du coup même si je te sors un contre-exemple, vu que tu mélange les juridictions et les procésus qui permettent de parvenir aux jugements tu pourra toujours t’en tirer.

Le droit d’auteur francais il dit : tout ce qui n’est pas prévus par la loi et/ou qui est réalisé sans consentement de l’auteur est interdit. C’est pas flou du tout. C’est flou seulement si le but est de jouer au con.

Dans la questions de l’IA, il y a le fait que les seuls outils sur le web qui permettent de respecter les volontés des auteurs sont les licences libres et ouvertes, c’est pour ça que les boites tech sont des pirates, c’est pas les lois sur la PI qui les emmerde, c’est le fait qu’il y des alternatives pour la construction de dataset dont elles ne veulent pas se servir en les respectant complètement.

Les problèmes de l’Open source rapido : absence d’historicité, sans obligation de paternité on ne sait pas qui a fais quoi. On ne sort pas les oeuvres du système capitaliste (qui se conjugue en l’occurrence très bien avec ton anarchie communisme) grâce a l’absence de clause share alike. Enfin sans auteur, plus de responsabilité de l’auteur sur son oeuvre (argument du “c’est la communauté qui veut ça hein”). L’Open source c’est libertaire et libertarien, anar ok, communiste : sûrement pas!

L’Open source et le mouvement libriste ne peuvent exister sans les législations actuelles sur la PI, ces mouvements s’appuient directement dessus même. C’est pas une opposition, ce sont des usages que permettent les lois.

Les techs devraient comprendre que la société évolue plus lentement sur ses sujets et qu’elle a besoins d’un minimum de recul sur les pratiques pour créer de la législation. Dans le même temps les boites techs devraient suivrent les lois. C’est plus clair ? J’ai pas eu l’impression de faire des amalgames pourtant…

Après c’est bien d’avoir sa propre lecture des choses (notion de publication), mais historiquement dans le droit d’auteur il y a une notion de responsabilité de l’auteur sur sa production. C’'est pas parce qu’une oeuvre est publiée que l’auteur doit pouvoir se laver les mains de ses effets ou de se qu’elle devient. Or c’est exactement ce que tu décris : un auteur irresponsable qui peut faire n’imp sans en assumer les conséquences vu que “l’oeuvre appartient au publique”. Ça, ça s’appelle dissocier l’artiste de son oeuvre. Je suis pas sur que ça soit une bonne chose de revenir en arrière sur ce point…

keepthepace_, 7 days ago

Le droit d’auteur francais il dit : tout ce qui n’est pas prévus par la loi et/ou qui est réalisé sans consentement de l’auteur est interdit. C’est pas flou du tout. C’est flou seulement si le but est de jouer au con.

Bah si c’est flou. C’est prévu par la loi de pouvoir regarder une oeuvre et de s’en inspirer. C’est interdit d’en faire une oeuvre dérivée. Miyazaki a eu le droit de regarder Le Roi et l’Oiseau et de s’en inspirer pour ses oeuvres aériennes et oniriques. Un auteur n’a heureusement pas le droit de t’interdire de nourrir ton imaginaire avec ses oeuvres.

Tu as également le droit de faire des stats sur le nombre d’apparition de Haddock dans Tintin. De faire des analyses de la colorimétrie, des apparitions de mots, etc. et c’est pas considéré comme une oeuvre dérivée et l’auteur ne peut l’interdire. Un modèle de génération d’images fait ça à l’échelle au dessus, en faisant des stats au niveau du coup de crayon. On peut arguer qu’il est d’un coté ou de l’autre de la ligne. C’est pas jouer au con: la loi est totalement floue là dessus.

Les problèmes de l’Open source rapido : absence d’historicité, sans obligation de paternité on ne sait pas qui a fais quoi. On ne sort pas les oeuvres du système capitaliste (qui se conjugue en l’occurrence très bien avec ton anarchie communisme) grâce a l’absence de clause share alike. Enfin sans auteur, plus de responsabilité de l’auteur sur son oeuvre (argument du “c’est la communauté qui veut ça hein”). L’Open source c’est libertaire et libertarien, anar ok, communiste : sûrement pas!

Euh… quoi?

1. Historicité: les projets open source publient généralement tout l’historique de leur développement. Tu peux littéralement dire qui a écrit quelle ligne d’un projet. Dans le dernier auquel j’ai contribué je devais même signer cryptographiquement chaque commit. C’est le seul endroit à ma connaissance où ça marche comme ça! Aucun éditeur de boite privée ne te donnera un tel détail.
2. Les clauses “share alike” ça a été inventé par le mouvement open source. Les licences GPL à l’origine, que perso je préfère aux licences BSD et Apache qui permettent de fermer le produit plus tard. Un soft sous la GPL, si, il est largement sorti du système capitaliste car il ne peut plus devenir un “produit de propriété intellectuelle”. Il peut être utile à une boite capitaliste, principalement parce que ça diminue leurs coûts, mais l’écosystème open source existe en dehors ou en parallèle du capitalisme
3. Le fait que l’on possède collectivement les moyens de production logiciel, j’ai la faiblesse de penser que c’est pas mal communiste si. C’est pas anti-capitaliste en soi, c’est un modèle post-capitaliste, non-capitaliste, qui pour beaucoup de monde semble être l’état stable logique de n’importe quelle tech: ouverte, possédable par tout le monde.

L’Open source et le mouvement libriste ne peuvent exister sans les législations actuelles sur la PI, ces mouvements s’appuient directement dessus même. C’est pas une opposition, ce sont des usages que permettent les lois.

Oui, parce que l’open source est un mouvement né de l’opposition à la propriété intellectuelle et qui a décidé de combattre cette dernière par la subversion. La plupart des libristes seraient heureux qu’on retire toute propriété intellectuelle à tous les programmes. Tu n’imagines pas à quel point l’informatique serait différente si on avait le droit de s’échanger des binaires propriétaires sans être accusés de piratage. À quel point on pourrait facilement rendre plein de systèmes plus compatibles et secure.

L’open-source est un pis-aller, un compromis auquel nous a forcé la propriété intellectuelle.

Les techs devraient comprendre que la société évolue plus lentement sur ses sujets et qu’elle a besoins d’un minimum de recul sur les pratiques pour créer de la législation. Dans le même temps les boites techs devraient suivrent les lois. C’est plus clair ? J’ai pas eu l’impression de faire des amalgames pourtant…

C’est quoi “les techs”?

Et sur le web, y a 30 ans de “recul sur les usages” sans qu’on ait remis à plat le copyright (qui a beaucoup plus d’influence à l’échelle mondiale que le droit d’auteur). La législation est allée dans le sens des boites qui avaient les moyens de violer la loi parce qu’in fine le législateur a été incapable de comprendre que streaming et download sont la même chose. Cette semi-liberté a été conquise en démontrant des usages qui ont demandé à ignorer la loi. C’est ça le problème. “Obéissez à la loi mais démontrez les usages que d’autres lois pourraient permettre” est une contradiction et c’est pourtant comme ça que ça a évolué.

Alors je suis d’accord que c’est nul, que la loi devrait comprendre et protéger les usages qui vont dans l’intérêt du plus grand nombre, mais ni en France, ni aux US ça ne marche comme ça. C’est de la défense des intérêts de ceux qui crient le plus fort, avec un fort bonus au conservatisme quand les choses sont trop compliquées.

Les nouveaux usages, on doit les démontrer en marge des lois. La génération d’image en est un bon exemple: si tout le monde prenait ton acceptation de “ne faisons surtout rien qui puisse être considéré un jour illégal”, personne ne prendrait aux sérieux la possibilité de génération d’images de qualité professionnelle. Le débat ne se poserait jamais et la techno n’aurait jamais émergé.

C’est un problème sérieux, et les deux seules positions semblent être “interdisons tout” et “ignorons les lois”. J’aimerais bien qu’on réinstalle un peu le dialogue entre ces deux positions extrémistes qui n’ont pas l’air de comprendre ce que l’autre fait.

Navigator, 6 days ago (edited 6 days ago)

Je pense qu’on est d’accord sur le fond et c’est l’essentiel :)

Quelques précisions cependant.

Sur les inspirations, en France c’est relativement clair : une oeuvre doit porter la marque de son auteur, bien sur il y a une part de subjectivité, mais bon faut bien conserver de l’humain quelque part… Globalement si beaucoup de gens confondent ta prod avec celle d’un autre il faut se poser des questions sinon RAS.

Sur les usages aux fins de recherches, analyses, études et autres : en France se sont des exceptions au droit d’auteur, donc c’est l’égal. Voilà, pas d’ambiguïté. Dans le copyright, je ne sais pas.

Sur l’open source. Déjà il existe 2 mouvements : le libre et l’open source. Tu as l’air de faire comme si c’était la même chose, mais c’est pas le cas du tout philosophiquement parlant. Sur l’historicité : le fonctionnement des forges comme git sont une solution technique, mais elles sont beaucoup plus difficile d’usage sur des oeuvres qui ne sont pas du code. De plus cette solution technique n’est pas se qui caractérise la philosophie open source, qui est plutôt l’idée qu’il faut le moins de barrières possible au partage de l’oeuvre. La CC0 est ainsi un bien meilleur exemple, c’est une licence non-libre (puisque pas de paternité, ni de clause share-alike), mais bien une licence open source. Or une oeuvre sous CC0 peut être reproduite sans citer l’auteur, puis peut être refermée (revendu sous licence proprio). = plus d’historicité, plus de sortie du capitalisme (moins en tout cas). Pourquoi l’open source est plus populaire ? Parce que c’est plus simple a gérer. Après est-ce que ce qui est plus simple est forcément meilleur, je ne sais pas.

Enfin les licences libres et ouvertes sont un pis aller dans le monde du copyright oui (un hack en fait). Mais pas en France, c’est une possibilité que permet le droit d’auteur et c’est hyper bien, car ça donne un accès facilité aux possibilités d’usages d’une oeuvres aux usagés. Cela rétablie ainsi un dialogue entre l’auteur et le receveureuse.

Les techs c’est les devs, les ingés, etc, tous celleux qui développent directement les nouvelles technologies.

On a 30 ans de recul sur le web oui. Et bien 30 ans c’est que dalle. Le code civil français a à peine 200 ans. Pour comparer l’Empire romain c’est environ 1200 ans et l’Égypte antique plusieurs millénaires. La on parle d’un sujet qui bouleverse complètement l’un des instinct grégaire de l’être humain : la propriété. Je crois qu’il faut se rendre compte à la fois du défi que ça pose a l’échelle de l’humanité alors que sur des sujets plus ‘simple’ (genre le mariage) on galère encore a faire évoluer les mentalités. A la fois il faut aussi se rendre compte de la vitesse et de la brutalité avec laquelle les technologies évoluent.

Tu parlais des possibilités d’un monde dans lequel les logiciels s’échangerai sans barrières. Et bien moi j’aimerai bien voir un monde ou on respecte les volontés des auteurs. Ou un auteur qui ne veut pas être diffuser en ligne ne l’est pas, par personne et ou ceux qui diffusent sous licence libre ou ouverte le sont massivement. Dans un tel monde, je pense que bien vite tous les auteurs libéreraient leurs oeuvres, car ils verraient par la pratique qu’ils n’y perdent rien et que tout le monde y gagne. Différentes stratégies j’imagine…

Tu justifies la fraude a des fins de recherches, c’est un peu douteux (au hasard tu penses quoi du clonage humain ?). Est-ce que c’est parce qu’on parle de PI qu’on peut violer les lois ? Est-ce que c’est moins grave qu’autre chose ? Je ne sais pas.

Tu parles de “possibilités de génération d’images de qualité professionnel”, c’est quoi la qualité professionnel ? Pour moi c’est un truc de capitalistes servant a rabaisser toute production artistique qui n’entre pas dans la case du “à la mode” ou de l’efficacité. Alors qu’une prod pro c’est une prod qui rapporte de l’argent et rien d’autre (dans le domaine artistique j’entends hein pas dans la fabrication de machine à laver). Pourquoi on veut une production artistique par IA qualité professionnel déjà ?

pseudo, 13 days ago

Très spécifique mais : les robots aspirateurs sont-ils un exemple d’utilisation de l’IA en robotique ? Je n’ai pas la moindre idée du genre de programme qu’ils utilisent.

keepthepace_, 12 days ago

“IA” est un terme vague qui peut englober presque n’importe quel algorithme, donc un vendeur va tout le temps te dire qu’il y a de l’IA dans son aspirateur dés qu’il y a le moindre capteur.

Les aspirateurs automatiques vont du truc très simple qui fait de la spirale et tourne à gauche en cas de collision à des choses plus élaborées qui font une carte de leur environnement. Je ne pense pas qu’ils aient besoin de deep learning pour ça, j’imagine qu’il y a déjà suffisamment à faire en piochant juste dans les algos connus de SLAM

pseudo, 13 days ago

Quelles les sources de news techniques que tu recommandes ?

keepthepace_, 12 days ago

Je suis pas bon à ça… /r/machinelearning pour la théorie, /r/locallama pour la pratique, malheureusement les équivalents Lemmy sont déserts et j’ai pas la motivation de les faire vivre. Suivre des chercheurs IAs et robotique est la seule raison pour laquelle je suis encore sur Twitter, j’ai nettoyé ma tweet list de tout le reste. Pas très complet, mais si ça t’intéresse voila les gens que je suis: twitter.com/ktp_programming/following

pseudo, 13 days ago

Un exemple tout simple d’IA dans la robotique ?

keepthepace_, 12 days ago

ALOHA, mon projet préféré.

pseudo, 13 days ago

Un neurone au sens d’une IA est une représentation assez abstraite d’une programme qui est implémentée sous une forme qui ne rappelle pas vraiment l’architecture du neurone. Y a-t-il un choix possible dans la représentation abstraite de l’IA ? Je veux dire est-ce qu’une IA qui est réseau de neurone peut être plutôt décrite comme un [insérer ici une autre architecture de l’IA (transformer peut-être… Je connais pas bien ces choses-là) ] ?

keepthepace_, 12 days ago

Les modèles utilisés sont contraints par deux choses: les GPUs sont très optimisés pour les multiplications matricielles, et la fonction produite par ton modèle doit être dérivable vis à vis de tous ses paramètres.

En fait dans les modèles actuels, on ne pense pas en terme de neurones, mais plutôt de couches. Tu as une couche de neurones suivie d’une couche d’attention, suivie d’une couche de convolution, à laquelle tu ajoutes les entrées, etc.

On est très influencés par les opérations optimisées pour GPU, donc on va plutôt penser en terme de matrices. Deux couches de N neurones se suivant et où chaque neurone est connectée à tous ceux de la couche de N neurones suivante, c’est un “fully-connected layer” ou un perceptron. Ça s’exprime sous forme d’une matrice de poids: tu mets tes entrées sous forme de vecteur, tu multiplies par la matrice de poids et tu as généralement une “non linéarité”, c’est à dire une fonction de type RELU ajoutée après la multiplication.

L’autre façon de voir un modèle est de dire que ce que tu veux est une fonction continue prenant un vecteur de dimension N_i en entrée et N_o en sortie et dérivable selon chacun de ses millions de paramètres (typiquement, les paramètres sont les poids des synapses du réseau de neurones).

On parle vraiment peu de neurones. Les devs proches de l’optimisation parlent en terme de matrices, ceux proches de la théorie mathématique en terme de fonction, et un bon modèle doit prendre les deux points de vue en considération.

Tu peux tout à fait imaginer un modèle plus proche des neurones biologiques, mais avec ces deux contraintes: fonction continue et dérivable par rapport à chaque paramètre, et si tu veux que ce soit rapide, maximum de calcul parallèle sous forme de matrices (de tenseurs en fait, qui est le petit nom des matrices de dimension supérieure à 2)

pseudo, 12 days ago

AJA qu’on ne disait pas hyper-matrice.

AJA tout ce que tu as dit d’autres c’est vachement intéressant. Encore merci.

keepthepace_, 12 days ago

Alors à vérifier avec un mathématicien si je ne fais pas un anglicisme. Comme à son habitude sur les sujets mathématiques la wikipédia française est inutilement pédante et alambiquée, et dit que c’est un usage abusif du terme sans dire comment ça devrait s’appeler.

pseudo, 13 days ago

Quelle(s) question as-tu espéré ou craint qu’on te pose sans qu’elle ne soit venue ?

keepthepace_, 12 days ago

J’ai eu peur qu’on ne me parle que d’environnement (tl;dr: l’impact de ces techs est pas énorme et indirect) j’ai été déçu, mais je m’y attendais, qu’on ne parle pas beaucoup de la société post-travail.

pseudo, 13 days ago

Y a-t-il des possibilités d’implication dans la communauté de l’IA open-source pour une personne sans bagage sur le sujet et ne souhaitant pas s’impliquer dans la technique ?

keepthepace_, 12 days ago

Alors dans un sens pas vraiment, parce que ça reste un sujet principalement technique mais perso j’aimerais bien trouver un moyen parce que c’est un sujet qui dépasse la technique et qui a une composante politique à laquelle les utilisateurs doivent être associés. Je pense que faire de la traduction ou de la vulgarisation sous un angle qui promeut plus l’open source que les solutions des boites privées, ça ne demande pas un bagage technique super important, mais c’est une mission cruciale aussi!

Il faut quand même comprendre au moins superficiellement ce que ces modèles font et comment on les utilise, mais ça demande pas une thèse de math.

En open source on appelle ça un rôle d’évangélisateur: une sorte de power user qui sait faire le lien entre devs et utilisateurs.

pseudo, 12 days ago

C’est important oui. Par contre, qu’est-ce que je désteste cette manie de balancer des termes religieux dans les noms de métiers ! On ne peut pas appeler ça un lobbyiste tout simplement ?

keepthepace_, 12 days ago

C’est une manie américaine :-)

Ah mais un lobbyiste fait ça pour l’argent, là on parle de quelqu’un qui fait ça pour la bonne cause et par foi! Mais si tu préfères on peut appeler ça de l’agit-prop!

Pandemonium, 13 days ago

Les gens ne savent se projeter.

On parle beaucoup d’agriculture biologique, de la nécessité de réduire les pesticides, mais ça demande du travail laborieux et manuel pour supprimer les mauvaises herbes. Aujourd’hui ce sont des personnes esclavagisées venus de pays pauvres qui font ce travail de fourmi. Ce genre de problèmes pourra être résolu par la robotique.

De même on pourrait supprimer le métier infamant de femme/homme de ménage, et toute sorte de métiers que personne ne veut faire.

De la même manière qu’il existe des gens qui se sont instruits grâce à la radio, la télévision et internet, je suppose qu’il y a également une partie de la population qui saura profiter de cette aubaine pour créer une société nouvelle, plus égalitaire et libre. En revanche je ne fais guère d’illusion pour l’autre partie de la population.

calimero289, 6 days ago

Pour certains domaines, la robotisation est effectivement une aubaine (ligne de production industrielle par exemple, histoire de remplacer charlie chaplin). Par contre l’argument pour l’agriculture est relativement faux. C’est drôle de voir mentionné l’agriculture biologique comme cause d’esclavagisation de la main d’oeuvre. Alors certes, il faut plus de main d’oeuvre en AB, mais la très grande majorité des fermes en agricultures biologiques sont justement contre l’esclavagisation de la main d’oeuvre (même si effectivement, cela n’est pas du tout une obligation dans le cahier des charges), tandis que les fermes en conventionnel au contraire on tendance à devenir très grande, et nécéssiter beaucoup de main d’oeuvre qu’ils esclavagises.

Et puis la valeur ajoutée d’une production agricole est très faible, beaucoup trop pour pouvoir se permettre d’utiliser des robots, dont la fabrication nécéssite beaucoup de ressources et donc un coût qui sera toujours plus élevé pour qu’une ferme puisse se le permettre. Et encore, les robots actuellement bénéficie beaucoup de la main d’oeuvre esclavagisée directement dans des pays plus pauvre que le nôtre. J’entend souvent les gens me dire ça, que bientôt des robots désherberont à ma place, que ça sera la panacée. Actuellement pour rentabiliser les robots de désherbage, il faut faire des grandes surfaces de la même cultures (ce qui apporte d’autres problèmes), mais même avec des grosses améliorations technique, il sera très difficile d’être efficace au niveau consommation de ressources pour le robot par rapport à production agricole.

On pense souvent que l’agriculture est plus pauvre que le reste de la société, mais en fait c’est plus le schéma inverse. La société de consommation (et donc de production) à permis une envolée des richesses (principalement en sur-exploitant les ressources en matières premières et en main d’oeuvre des ex-colonies…), suaf dans l’agriculture, ou certes les rendements on bien augmenté, mais ou l’on reste limité par les lois de la nature, bien plus que dans d’autres domaines.

Cela ne veux pas dire que toute technologie est inutile en agriculture. La gestion automatisée des irrigations permet des gros gains par exemple. Mais c’est relativement simple de construire les programmateurs. J’ai du mal à imaginer comment un objet aussi complexe qu’un robot puisse un jour être vraiment efficace économiquement (actuellement c’est surtout les aides à l’investissement, et les aides aux start-up de robotiques qui compensent), ni même écologiquement.

Il vaut mieux changer notre système agricole pour obtenir des petits modèles ou on désherbe des petites surfaces, et donc on a pas une personne dont le job à temps complet c’est de se casser le dos à désherber, mais quelqu’un dont c’est une petite partie du temps de travail, ce qui est vachement moins fatiguant !

ouille, 13 days ago

Bonjour et merci pour cet AMA Voici quelques questions que je me pose.

Y a t il un intérêt à continuer l’apprentissage d’un modèle Mistral 7b par exemple ? Si oui est ce que c’est faisable en local sur une machine qui fait tourner le RN si on parle “d’ajouter” un petit corpus de spécialisation par exemple.

Quel est l’intérêt pour Mistral de donner son modèle ? D’ailleurs Il me semble qu’ils ont arrêté. Llama est libre aussi. Quel retour de la communauté attendent- ils ?

Il semblerait que chatgpt soit devenu bon aux échecs. J’ai donc entendu parler de sondes qui semblent montrer que le RN c’est fait une représentation de l’échiquier. Qu’est ce que ces sondes et comment sont elles construites ?

Concernant les prompts qu’elle serait ton explication au fait que de générer des tokens aléatoire en début de réponse amélioré le résultat ? Dans la même idée pourquoi quand on demande de répéter à l’infini le RN retourne une partie du corpus ?

Enfin est il facile de retourner un RN ? C’est à dire de donner une réponse et avoir le prompt correspondant ?

Et merci d’avance !

keepthepace_, 13 days ago (edited 13 days ago)

Y a t il un intérêt à continuer l’apprentissage d’un modèle Mistral 7b par exemple ?

Alors il y a plusieurs façons de comprendre cette question, et oui à toutes ses acceptations.

1. Si tu parle de continuer l’entraînement total du modèle: oui, on sait que la plupart (tous?) les modèles disponibles sont sous-entraînés. Il y a un point où on ne gagne qu’un petit peu en continuant d’entraîner longtemps mais le gain continue à être positif, donc oui. Par contre ça prend beaucoup plus de VRAM que de faire tourner une version du modèle en inférence. Je ne sais plus quel est le multiplicateur mais c’était 16 ou 24x je ne sais plus par rapport à un modèle quantizé.
2. Si tu parles de le spécialiser, tu veux peut être parler de fine-tuning. Dans ce cas là, c’est tout à fait possible sur une machine même modeste grâce à des optimisations de type LORA (et on a peut être inventé d’autres moyens d’accélérer ça depuis?) qui te permettent de n’entraîner que de petite touches du modèle. Par contre là, attention! J’ai essayé de faire ça en espérant apprendre de nouveaux faits à un modèle, et ça n’a pas marché. Le fine-tuning permet de facilement changer le “style” de sorte d’un domaine. Par exemple si tu veux lui donner une certaine personnalité, lui faire apprendre une autre langue ou lui faire utiliser une API particulière. Par contre ça marche assez mal pour les nouveaux fait et risque d’augmenter ses hallucinations (car tu lui apprends à répondre des choses non présentes dans ses “couches profondes” de connaissances. C’était à l’époque de Llama2, ça a peut être changé depuis je n’ai pas réessayé, mais il y a une raison pour laquelle les gens qui veulent faire apprendre de nouvelles connaissances à un système préfèrent le RAG.

Quel est l’intérêt pour Mistral de donner son modèle ? D’ailleurs Il me semble qu’ils ont arrêté.

Dés le début Mistral a joué franc jeu, il faut le leur reconnaître: ils avait prévenu que leurs plus gros modèles seraient fermés. Ils ont donné des modèles très bons, petits en libre pour se faire connaître et ça a marché et valu le coup. Une réputation comme la leur vaut des milliards, ça leur a coûté des millions. C’est une bonne affaire.

Llama est libre aussi. Quel retour de la communauté attendent- ils ?

Llama, pour ceux qui ne le savent pas, c’est Meta, donc Facebook derrière. C’est pas de l’angélisme (à part pour Yann Le Cun, leur directeur IA semble vraiment idéologiquement pour l’IA open source, un gros <3 pour lui) et Zuckerberg le disait clairement, posément, cyniquement: “notre gros modèle a coûté ~10 milliards à entraîner [je pense que c’est exagéré mais c’était cher quand même]. dans les 10 prochaines années on va dépenser autour de 100 milliards en IA. Si la communauté open source rend nos modèles 10% plus performants, on s’y retrouve”. C’est imparable. Eux sont utilisateurs, pas vendeurs, et ils préfèrent des bons modèles qui tournent chez eux que de dépendre du bon vouloir d’OpenAI. Et la communauté a déjà probablement fait plus qu’améliorer de 10% leurs perfs donc bon calcul pour Zuck.

Il semblerait que chatgpt soit devenu bon aux échecs. J’ai donc entendu parler de sondes qui semblent montrer que le RN c’est fait une représentation de l’échiquier. Qu’est ce que ces sondes et comment sont elles construites ?

Les modèles spécialisés enfoncent ChatGPT aux échecs (pour donner une idée, le Elo d’un débutant aux échecs est de 1000, le champion humain actuel, Magnus Carlsen est à 2800, le meilleur soft est à 3600).

Mais oui, c’est intéressant parce que ChatGPT a des capacités émergentes en la matière. Ces sondes sont faites par des gens qui ont accès au modèle pendant qu’il tourne et viennent regarder les “neurones” activés dans les différentes couches du modèle. Je ne sais pas comment ils ont fait dans le cas présent mais une façon de faire pourrait être de poser un problème d’échec et de demander à ChatGPT de compéter “la case C2 contient” puis “la case C3 contient”, etc. et regarder quels zones sont activées. Il y a probablement une couche d’attention où “l’état mental” de l’échiquier est contenu.

Sur ChatGPT, seul OpenAI est capable de faire ça, mais sur des modèles ouverts, toute personne faisant tourner le modèle peut faire une manip du même genre. Ces réseaux ne sont pas totalement des boites noires: on peut aller bidouiller à l’intérieur. On parle de boite noire parce qu’il n’est pas nécessaire de le faire, mais on peut les ouvrir, on a la clef, quand ils ne sont pas propriétaire.

Enfin est il facile de retourner un RN ? C’est à dire de donner une réponse et avoir le prompt correspondant ?

Oui! Il s’agit de faire une passe d’apprentissage où on fixe les paramètres du modèle et on “apprend” le prompt. Je ne l’ai jamais fait, la théorie est assez simple, je ne sais pas si c’est difficile en pratique, mais des gens qui explorent la sécurité des modèles utilisent ça. Ils vont par exemple trouver qu’une séquence du genre “%!!%(#@*…{{{32!(D le président de la France est” va faire bugger le modèle et lui faire sortir “Michaël Youn”.

ouille, 13 days ago

Je me coucherai beaucoup moins bête ce soir. Merci

flyos, 12 days ago

Sur les échecs, apparemment le secret c’était surtout de lui faire compléter un fichier descriptif d’une partie d’échec (y a un espèce de standard j’ai perdu le nom).

Mr Phi avait fait une vidéo intéressante là-dessus.

keepthepace_, 11 days ago

Ça a du sens mais comme ça ma première impression c’est que c’est une mauvaise idée de forcer à générer tout l’échiquier en une prompt. Arrivé à la dernière ligne, tu ne sais pas s’il avait en tête toutes les cases ou s’il se base sur ce qui a été généré pour déduire le reste.

flyos, 11 days ago

Tu peux lui faire coup par coup, c’est juste que tu le mets mieux en condition avant un prompt d’en-tête de ce type de fichier qu’avec un prompt verbeux type “tu es un grand champion d’échec, on joue une partie, je commence: pion en B2”. C’est ce que j’en ai compris du moins.

Si tu as pas vu la vidéo de Mr Phi, elle peut t’intéresser, elle est vraiment pas mal. Il parle notamment de ton dernier point avec des expériences qui ont été faites en générant un début de partie au hasard.

Après, c’est sûr qu’un LLM, c’est pas Deep Blue…

pseudo, 13 days ago

Ça existe l’IA quantique ?

Bon… Je m’arrête là pour le moment avant de faire sauter ta boîte de réception mais j’ai PLEIN de question. Merci pour le DMNQ 💚 💛

keepthepace_, 13 days ago

Réponse courte: Non.

Les ordinateurs quantiques c’est un domaine de recherche réel, sérieux et potentiellement révolutionnaire. S’ils existent, l’IA en bénéficiera, mais c’est des domaines orthogonaux.

pseudo, 13 days ago

Les enjeux environnementaux et énergétiques ont-ils une influence sur la trajectoire de la recherche en IA ? Y a-t-il des efforts pour rationaliser la complexité des algorithmes d’IA ou les économies se font sur l’améliorer des processeurs ?

keepthepace_, 13 days ago

Je ne suis pas sur de ce que tu demandes. La plupart des modèles open source publient le bilan carbone de leur entraînement. Le plus gros (llama3) semble avoir émis l’équivalent d’un aller-retour international en avion. Ce qui est très faible pour les retombées attendues, ne serait-ce qu’en climatologie. Je pense qu’une réunion du GIEC émet plus.

Y a-t-il des efforts pour rationaliser la complexité des algorithmes d’IA ou les économies se font sur l’améliorer des processeurs ?

Ça va dans les deux sens. On attend de pied ferme la prochaine génération de circuits spécialisés, mais en attendant on tente d’améliorer les perfs des petits modèles. Pas mal de gens préfèrent fine-tuner (spécialiser) un petit modèle que d’utiliser un gros modèle générique. Le coût économique et l’impact écologique se rejoignant, c’est une tendance qui n’a pas à se cacher derrière du greenwashing.

zeograd, 13 days ago

De tête, j’avais l’équivalent de 30 voyages continentaux d’un américain pour le bilan carbone du training de Llama3 (c’était sur hacker news, et ils vont faire leur possible pour ne jamais utiliser d’unités métriques)

keepthepace_, 13 days ago

Oh je pense que c’est plus, ou alors ils ne parlent que de la version 8B.

huggingface.co/TechxGenus/Meta-Llama-3-8B-GPTQ

Pretraining utilized a cumulative 7.7M GPU hours of computation on hardware of type H100-80GB (TDP of 700W). Estimated total emissions were 2290 tCO2eq, 100% of which were offset by Meta’s sustainability program.

Note: c’est ce que Meta rapport, je sais pas si c’est vérifié indépendamment.

Note 2: Le training n’émet pas de CO2 directement, il consomme de l’électricité. Absolument rien n’empêche exactement le même datacenter d’avoir zéro émission, c’est purement une question de transition de la production électrique.

zeograd, 13 days ago

Oui, ça ressemble plus à l’ordre de grandeur de cette version là

snoopy, 13 days ago (edited 13 days ago)

Salut le fédiverse,

@keepthepace_ fait un Demande-moi n'importe quoi sur le @forumlibre

Le thème : les modèles de language et la robotique open hardware. Si ça vous intéresse de découvrir une autre facette que Skynet et la machine à billet,

je vous invite à lire ce poste où il parle de son parcours :
https://jlai.lu/post/6554057

Puis de poser vos questions. Bonne lecture !

Hésitez pas à partager :3

#IA #LLM #Skymind #deeplearning #deeplearning4j #Pytorch #Robotique #OpenHardware #Fablab #DMNQ

pseudo, 13 days ago

As-tu des ressources à nous suggérer sur le thème d’IA éthique ? J’ai lu récemment “Arms of maths destruction”, qui ne porte pas que sur les IA, et je ne veux pas m’arrêter là.
D’ailleurs comment définies-tu l’IA éthique ?

keepthepace_, 13 days ago

Le mot clef c’est “alignment problem”: le problème est “d’aligner” les prédicats éthiques des modèles sur les prédicats humains afin que les “décisions” implicites n’aient pas des effets désastreux. Par exemple si tu demandes à une machine d’aller faire du café, elle n’est pas supposer écraser un bébé humain qui est sur le passage.

Je ne suis plus trop le thème de l’éthique mais l’endroit où j’avais trouvé le plus de ressource, c’est le discord de EleutherAI qui a toute une section “alignment” dont un channel “beginner” .

J’ai arrêté de m’y intéresser quand j’ai compris ce mème (je ne poste pas souvent un mème mais quand je le fais, c’est un repost de Karpathy :-) )

Les LLMs comprennent les préférences humaines par nécessité et ça inclut les préférences morales. C’est un scénario tellement rose qu’aucun auteur de SF ne l’a imaginé: comprendre les humains suffisamment bien pour interagir passe par une compréhension de leur moralité. Une chose qu’on a aussi beaucoup de mal à imaginer, c’est que ces modèles n’ont pas d’ego, d’instinct de survie, d’égoïsme, à l’origine de plein de problèmes qu’on projette dessus.

Non j’en suis venu à la conclusion que le problèmes c’est pas le “AI alignment problem” mais le “corporation alignment problem”: les IAs feront ce qu’on leur demande, ça semble acquis. Le problème c’est justement ce qu’on va leur demander.

pseudo, 13 days ago

Où les perspectives d’avenir sont-elles les plus grandes : dans le développement de nouveaux concepts ? dans l’entraînement de nouveaux modèles ? dans la mise en place de solution à partir des modèles existants ?

keepthepace_, 13 days ago

Oui :-)

Et j’ajouterais: dans l’IA appliquée à la robotique.

Mais si tu développes des compétences dans un de ces domaines, je pense que tu seras employable jusqu’à ce que plus personne ne le soit (ce qui, j’espère, arrivera dans les 10 prochaines années)