|
|
@@ -1,6 +1,6 @@
|
|
|
+++
|
|
|
title = "What is Chat LLaMA ?"
|
|
|
-date = "2023-03-03T21:30:34+08:00"
|
|
|
+date = "2024-07-27T00:30:34+08:00"
|
|
|
tags = ["ai"]
|
|
|
categories = ["ai"]
|
|
|
url="/blog/30859-llama-meta"
|
|
|
@@ -12,6 +12,7 @@ banner = "https://bucket-img.tnlmedia.com/cabinet/2023/02/ede981b4-a7e7-41a9-9d4
|
|
|
]
|
|
|
|
|
|
|
|
|
+* [SearchGPT 會對Google 造成威脅嗎?](https://ai.choozmo.com/blog/what-is-searchgpt/)
|
|
|
|
|
|
## Meet ChatLLaMA: The First Open-Source Implementation of LLaMA Based on Reinforcement Learning from Human Feedback (RLHF)
|
|
|
|
|
|
@@ -181,52 +182,5 @@ This is an idea that even the critics of large language models might be able to
|
|
|
|
|
|
Meanwhile, if you do worry about AGI and its potential ramifications, having a national or international body that is at least thinking about this and how to avoid a doomsday scenario is no bad thing. We have international agreements, of various kinds, regulating nuclear technology, certain advanced biological research, and the trade in certain chemicals. It is probably time to start thinking about advanced A.I. in the same way.
|
|
|
|
|
|
- ## Qu’est-ce que LLaMA, le rival de ChatGPT poussé par Meta
|
|
|
-
|
|
|
- ]
|
|
|
-
|
|
|
-Meta se lance dans la guerre de l’IA générative avec LLaMA, son modèle de langage destiné aux intelligences artificielles.
|
|
|
-
|
|
|
-Le vendredi 24 février 2023, Meta, la maison mère de Facebook, a affirmé sa volonté de ne pas manquer la guerre de l’IA. Face à ChatGPT et Bard, la réponse du géant des réseaux sociaux s’appellera donc LLaMA, un « nouveau modèle de langage […] conçu pour aider les chercheurs dans leurs travaux », selon Mark Zuckerberg dans un message publié sur compte Facebook.
|
|
|
-
|
|
|
-Récemment, les intelligences artificielles génératives ont montré leur aptitude pour « générer du texte, tenir des conversations, résumer des textes, et même exécuter des tâches plus complexes telles que la résolution de théorèmes mathématiques », relève le fondateur du réseau social — et Meta n’entend pas laisser le champ libre à ses rivaux dans un secteur de plus en plus stratégique.
|
|
|
-
|
|
|
-LLaMA, pour Large Language Model Meta AI, est, comme son nom l’indique, un modèle linguistique. Il s’agit du socle permettant d’utiliser les intelligences artificielles comme ChatGPT et les autres agents conversationnels — les chatbots, en anglais. L’arrivée de Meta dans ce domaine, qui attire toutes les convoitises depuis la sortie de ChatGPT, n’est pas anodine — et LLaMA n’est pas un modèle comme les autres.
|
|
|
-
|
|
|
-C’est quoi un modèle de langage ?
|
|
|
-
|
|
|
-Tout d’abord, il convient de clarifier ce qu’est un modèle de langage. Il s’agit d’un modèle statistique qui permet de prédire quel mot suivra, en se fondant sur les termes déjà inscrits. C’est grâce à cela que les large language models savent que le mot « chat » sera beaucoup plus probablement suivi par l’adjectif « noir » que par le terme « paëlla ». LLaMA est donc l’équivalent de GPT-3, le modèle qui permet à ChatGPT de fonctionner, et de LaMDA, le modèle de langage développé par Google pour alimenter Bard.
|
|
|
-
|
|
|
-LLaMA, le modèle de langage de Meta, réfléchissant au prochain terme à taper. Allégorie. // Source : Canva
|
|
|
-
|
|
|
-Les dernières générations de LLM contiennent des milliards de paramètres, ce qui a permis d’affiner les réponses de ChatGPT et de faire en sorte que ces réponses paraissent les plus naturelles possible, comme si l’internaute échangeait avec un autre humain. Par exemple, GPT-3 fonctionne sur 175 milliards de paramètres, et le modèle de Google, le plus large à ce jour, en comprend 540 milliards.
|
|
|
-
|
|
|
-Quelles caractéristiques pour LLaMA de Facebook ?
|
|
|
-
|
|
|
-LLaMA a pour particularité de ne fonctionner « que » sur 65 milliards de paramètres. C’est moins que ses rivaux, mais selon Meta, ce dimensionnement moindre serait pourtant un avantage : LLaMA est disponible en plusieurs versions (65 milliards de paramètres, et d’autres sur 33 milliards, 13 milliards et 7 milliards).
|
|
|
-
|
|
|
-« Les modèles plus petits, comme LLaMA, sont intéressants dans le monde des modèles très large, car ils demandent beaucoup moins de puissance de calcul et de ressources », note Meta. Une taille réduite démocratiserait l’accès aux modèles de langage — et d’épargner de la capacité de traitement.
|
|
|
-
|
|
|
-Mais selon Meta, cette relative petitesse au niveau des paramètres ne l’empêche pas d’être « plus performant » que d’autres modèles plus grands. Le papier de recherche publié pour accompagner le lancement du modèle indique ainsi que « LLaMA-13B surpasse GPT-3 sur la plupart des critères, et LLaMA-65B est compétitif avec les meilleurs modèles, Chinchilla 70B et PaLM-540B » — il s’agit de modèles développés respectivement par DeepMind, l’entreprise à l’origine d’AlphaGo, et par Google.
|
|
|
-
|
|
|
-Difficile de donner une réponse définitive sur les capacités de LLaMA aujourd’hui : il est impossible de tester le modèle. Pour l’instant, contrairement à Chat-GPT, LLaMA n’est pas accessible à tout le monde : seuls quelques chercheurs en faisant la demande peuvent avoir accès au modèle, dont les facultés resteront à mettre à l’épreuve.
|
|
|
-
|
|
|
-Un lama, presque comme LLaMA. // Source : Canva
|
|
|
-
|
|
|
-Meta estime qu’il s’agit d’une énorme avancée dans l’IA, car « LLaMA est conçu pour être polyvalent et utilisé dans de nombreux cas de figure contrairement à des modèles entrainés pour une tâche spécifique ». Le papier de recherche avance également que LLaMA peut fonctionner sur un ordinateur équipé d’une seule unité de traitement graphique (GPU, que l’on retrouve dans les cartes graphiques), un niveau d’accessibilité unique pour les LLM.
|
|
|
-
|
|
|
-Enfin, « contrairement à Chinchilla, PaLM et GPT-3, nous n’avons utilisé que des données accessibles publiquement », ce qui permettrait de rendre le modèle open-source.
|
|
|
-
|
|
|
-Meta rejoint la guerre de l’intelligence artificielle
|
|
|
-
|
|
|
-L’arrivée de LLaMA ne va pas avoir un impact immédiat au niveau du grand public, comme cela a pu l’être pour ChatGPT. Encore très technique et uniquement réservé aux travaux de recherche, LLaMA ne devrait pas non plus être intégré à un moteur de recherche, comme cela va être le cas pour Bard. Meta, néanmoins, se positionne sur le plan médiatique, et rappelle qu’il est aussi le coup.
|
|
|
-
|
|
|
-En effet, cettep présentation prouve que Meta ne compte pas laisser le devant de la scène à ses deux autres adversaires dans le domaine de l’IA, OpenAI (et, donc, Microsoft), et Google. En janvier, Yann Le Cun, le chef de l’intelligence artificielle de Meta, avait d’ailleurs critiqué les prouesses de ChatGPT, estimant qu’il n’y avait « rien de révolutionnaire », et laissant sous-entendre que l’entreprise allait bientôt dévoiler quelque chose de majeur.
|
|
|
-
|
|
|
-LLaMA n’est pas le premier projet de Meta. Les deux précédents ont été assez mal accueillis, ce qui peut expliquer la relative discrétion de l’entreprise sur le sujet, et le fait que LLaMA ne soit pas accessible au public. Sortie en août 2022, la première tentative de Meta, Blenderbot, était censé être un chatbot capable d’apprendre de ses erreurs, mais a rapidement tenu des propos antisémites et complotistes.
|
|
|
-
|
|
|
-Quelques mois plus tard, en novembre 2022, ce fut au tour de Galactica d’être rendue publique. L’IA était cette fois spécialisée dans la rédaction d’articles scientifiques et pouvait résoudre des problèmes de math, rédiger des articles Wikipédia et écrire du code. Mais au bout de 3 jours seulement, Galactica a dû être débranchée après avoir indiqué des réponses erronées et racistes aux utilisateurs, explique Next Inpact. Est-ce que LLaMA peut-être la solution qui permettra à Meta de se démarquer pour de bon dans la guerre de l’IA ? Cela reste à voir.
|
|
|
-
|
|
|
-Vous voulez tout savoir sur la mobilité de demain, des voitures électriques aux VAE ? Abonnez-vous dès maintenant à notre newsletter Watt Else !
|
|
|
|
|
|
|
