Blog

Jun 23, 2023

5 façons simples d'exécuter un LLM localement

Par Sharon Machlis Rédactrice en chef, Données et analyses, InfoWorld | Les chatbots comme ChatGPT, Claude.ai et phind peuvent être très utiles, mais vous n'aurez peut-être pas toujours envie de répondre à vos questions ou à vos données sensibles.

Par Sharon Machlis

Rédacteur en chef, Données et analyses, InfoWorld |

Les chatbots comme ChatGPT, Claude.ai et phind peuvent être très utiles, mais vous ne souhaiterez peut-être pas toujours que vos questions ou vos données sensibles soient traitées par une application externe. Cela est particulièrement vrai sur les plateformes où vos interactions peuvent être examinées par des humains et utilisées pour aider à former de futurs modèles.

Une solution consiste à télécharger un grand modèle de langage (LLM) et à l'exécuter sur votre propre ordinateur. De cette façon, une entreprise extérieure n’a jamais accès à vos données. Il s'agit également d'une option rapide pour essayer de nouveaux modèles spécialisés tels que la famille de modèles Code Llama récemment annoncée par Meta, optimisée pour le codage, et SeamlessM4T, destinée à la synthèse vocale et aux traductions linguistiques.

Gérer votre propre LLM peut sembler compliqué, mais avec les bons outils, c'est étonnamment facile. Et les exigences matérielles pour de nombreux modèles ne sont pas folles. J'ai testé les options présentées dans cet article sur deux systèmes : un PC Dell avec un processeur Intel i9, 64 Go de RAM et un GPU Nvidia GeForce 12 Go (qui n'était probablement pas utilisé pour exécuter une grande partie de ce logiciel), et sur un Mac avec une puce M1 mais seulement 16 Go de RAM.

Sachez qu'il faudra peut-être un peu de recherche pour trouver un modèle qui fonctionne raisonnablement bien pour votre tâche et qui fonctionne sur votre matériel de bureau. Et peu d’entre eux peuvent être aussi performants que ce à quoi vous êtes habitué avec un outil comme ChatGPT (surtout avec GPT-4) ou Claude.ai. Simon Willison, créateur de l'outil de ligne de commande LLM, a soutenu dans une présentation la semaine dernière que l'exécution d'un modèle local pourrait en valoir la peine même si ses réponses sont fausses :

Il convient également de noter que les modèles open source vont probablement continuer à s'améliorer, et certains observateurs du secteur s'attendent à ce que l'écart entre eux et les leaders commerciaux se rétrécisse.

Si vous souhaitez un chatbot qui s'exécute localement et n'enverra pas de données ailleurs, GPT4All propose un client de bureau en téléchargement assez simple à configurer. Il comprend des options pour les modèles qui s'exécutent sur votre propre système, et il existe des versions pour Windows, macOS et Ubuntu.

Lorsque vous ouvrez l'application de bureau GPT4All pour la première fois, vous verrez des options permettant de télécharger environ 10 (au moment d'écrire ces lignes) modèles pouvant être exécutés localement. Parmi eux se trouve le chat Llama-2-7B, un modèle de Meta AI. Vous pouvez également configurer les GPT-3.5 et GPT-4 d'OpenAI (si vous y avez accès) pour une utilisation non locale si vous disposez d'une clé API.

La partie téléchargement de modèle de l'interface GPT4All était un peu déroutante au début. Après avoir téléchargé plusieurs modèles, j'ai toujours vu la possibilité de tous les télécharger. Cela suggérait que les téléchargements ne fonctionnaient pas. Cependant, lorsque j’ai vérifié le chemin de téléchargement, les modèles étaient là.

Une partie de l'interface de téléchargement de modèles dans GPT4All. Une fois que j'ai ouvert la partie utilisation de l'application, mes modèles téléchargés sont automatiquement apparus.

Une fois les modèles configurés, l’interface du chatbot elle-même est claire et facile à utiliser. Les options pratiques incluent la copie d'une discussion dans un presse-papiers et la génération d'une réponse.

L'interface de chat GPT4All est claire et facile à utiliser.

Il existe également un nouveau plugin LocalDocs bêta qui vous permet de « discuter » localement avec vos propres documents. Vous pouvez l'activer dans leParamètres > Plugins, où vous verrez un en-tête « Paramètres du plug-in LocalDocs (BETA) » et une option permettant de créer une collection sur un chemin de dossier spécifique.

Le plugin est un travail en cours, et la documentation prévient que le LLM peut toujours « halluciner » (inventer des choses) même s'il a accès à vos informations d'expert ajoutées. Néanmoins, il s’agit d’une fonctionnalité intéressante qui est susceptible de s’améliorer à mesure que les modèles open source deviennent plus performants.

En plus de l'application chatbot, GPT4All dispose également de liaisons pour Python, Node et d'une interface de ligne de commande (CLI). Il existe également un mode serveur qui vous permet d'interagir avec le LLM local via une API HTTP structurée de manière très similaire à celle d'OpenAI. L'objectif est de vous permettre d'échanger un LLM local contre OpenAI en modifiant quelques lignes de code.