> A superb new article on LLMs from six AI researchers at Apple who were brave enough to challenge the dominant paradigm has just come out.
Le fait que les LLM ne fassent pas de raisonnement formel est loin d’être une découverte ni une affirmation controversée, c’est l’essence même de ces techniques (les méthodes statistiques type réseaux de neurones, par opposition aux approches symboliques). Ils ne sont pas faits pour ça.
Ce qui est peut-être un peu plus controversé, c’est que certains chercheurs dans la communauté pensent qu’on pourrait à terme apprendre à un réseau de neurones à raisonner, mais à ma connaissance personne (je ne parle pas des promesses commerciales qui n’engagent que ceux qui y croient) ne dit que c’est possible avec les modèles actuels. Je pense personnellement (comme l’auteur du billet) que l’avenir est à la fusion entre approches connexionnistes et approches logiques.
Quoi qu’il en soit c’est intéressant d’avoir une étude qui montre à quel point ces outils sont peu robustes face à des tâches de raisonnement assez basiques.
NorthKoreanKnuckles on
Je speak pas l’anglais.
Jean-Porte on
Il faut arrêter de considérer que le raisonnement est quelque chose de binaire qu’on a ou qu’on n’a pas. C’est une notion de degré. Et même avec ces stress tests la plupart des modeles s’en sortent bien mieux que le hasard voire mieux que l’humain median.
YisBlockChainTrendy on
Tu aimes bien l’auteur ? C’est pas un peu un connard ?
F-b on
Apple en train de justifier la nullité de Siri /s
narnou on
Ca me semble tout à fait exact, c’est exactement comme ca que comptent les multinationales qui achètent au producteur de kiwis.
7 Comments
lire aussi: [The real data wall is billions of years of evolution](https://dynomight.net/data-wall/)
article en français qui couvre la même étude: https://intelligence-artificielle.developpez.com/actu/363774/L-etude-d-Apple-prouve-que-les-modeles-d-IA-bases-sur-le-LLM-sont-defectueux-car-ils-ne-peuvent-pas-raisonner-Nous-n-avons-trouve-aucune-preuve-de-raisonnement-formel-dans-les-modeles-de-langage/
> A superb new article on LLMs from six AI researchers at Apple who were brave enough to challenge the dominant paradigm has just come out.
Le fait que les LLM ne fassent pas de raisonnement formel est loin d’être une découverte ni une affirmation controversée, c’est l’essence même de ces techniques (les méthodes statistiques type réseaux de neurones, par opposition aux approches symboliques). Ils ne sont pas faits pour ça.
Ce qui est peut-être un peu plus controversé, c’est que certains chercheurs dans la communauté pensent qu’on pourrait à terme apprendre à un réseau de neurones à raisonner, mais à ma connaissance personne (je ne parle pas des promesses commerciales qui n’engagent que ceux qui y croient) ne dit que c’est possible avec les modèles actuels. Je pense personnellement (comme l’auteur du billet) que l’avenir est à la fusion entre approches connexionnistes et approches logiques.
Quoi qu’il en soit c’est intéressant d’avoir une étude qui montre à quel point ces outils sont peu robustes face à des tâches de raisonnement assez basiques.
Je speak pas l’anglais.
Il faut arrêter de considérer que le raisonnement est quelque chose de binaire qu’on a ou qu’on n’a pas. C’est une notion de degré. Et même avec ces stress tests la plupart des modeles s’en sortent bien mieux que le hasard voire mieux que l’humain median.
Tu aimes bien l’auteur ? C’est pas un peu un connard ?
Apple en train de justifier la nullité de Siri /s
Ca me semble tout à fait exact, c’est exactement comme ca que comptent les multinationales qui achètent au producteur de kiwis.