Recherche ArXiv Mamba Architecture Transformers Albert Gu Tri Dao LLM Performance State Space Models GPU
Mamba : la nouvelle architecture d’IA qui pourrait remplacer les Transformers et les modèles GPT
Depuis quelques années, le monde de l'IA est dominé par une seule et même brique technique : le Transformer. C'est lui qui permet à ChatGPT, Claude ou Llama de comprendre le langage naturel. Mais malgré leur puissance, ces modèles ont un talon d'Achille : ils sont gourmands en ressources, surtout dès qu'il s'agit de traiter de très longs textes.
C'est ici qu'intervient Mamba. Présentée fin 2023, cette nouvelle architecture propose une approche radicalement différente pour traiter les séquences. J'ai plongé dans le papier de recherche pour voir si c'est vraiment la révolution annoncée ou juste une buzzword de plus.