Avec la disponibilité croissante de modèles LLM puissants sur des plates-formes comme HuggingFace et l'avancement des systèmes d'IA disponibles tels que H2O, Text Gen et GPT4All, vous pouvez désormais télécharger et exécuter des modèles LLM directement sur votre ordinateur. Cela signifie que vous n’avez plus besoin d’être connecté à Internet pour accéder aux capacités de l’IA de manière flexible et sécurisée. Si vous souhaitez essayer l'IA localement, voici neuf des meilleurs modèles LLM hors ligne que vous pouvez essayer dès maintenant pour bénéficier de la rapidité et de la sécurité du traitement et de la protection contre la consultation de vos informations par divers fournisseurs.
Liens rapides
1. Hermès 2 Pro GPTQ
Hermes 2 Pro est un modèle de langage avancé affiné par Nous Research. Il utilise une version mise à jour et propre de l'ensemble de données OpenHermes 2.5, ainsi que le nouvel ensemble de données Function Calling et JSON Mode développé en interne. Ce modèle est basé sur l'architecture Mistral 7B et a été formé sur 1000000 4 XNUMX d'instructions/chat de qualité GPT-XNUMX ou supérieure, qui sont principalement des données synthétiques.
Modèle | Hermès 2 Pro GPTQ |
---|---|
Taille du modèle | 7.26 GB |
Paramètres | 7 milliards |
Bâillonnement | 4-bits |
Type | Mistral |
Licence | Apache 2.0 |
Hermes 2 Pro sur Mistral 7B est le nouveau modèle phare du Hermes 7B, qui offre des performances améliorées sur divers benchmarks, notamment AGIEval, BigBench Reasoning, GPT4All et TruthfulQA. Ses capacités améliorées le rendent adapté à un large éventail de tâches de traitement du langage naturel (NLP), telles que la génération de code, la création de contenu et le développement d'applications de chat IA.
Télécharger : Hermès 2 Pro GPTQ via Étreindre le visage
2. Zephyr 7B bêta
Zephyr est une série de modèles de langage formés pour agir comme un assistant utile. Zephyr-7B-Beta est le deuxième modèle de la série, qui a été affiné sur la base de Mistral-7B-v0.1 à l'aide de l'optimisation des préférences directes (DPO) sur un mélange d'ensembles de données synthétiques accessibles au public.
Modèle | Zephyr 7B bêta |
---|---|
Taille du modèle | 7.26 GB |
Paramètres | 7 milliards |
Bâillonnement | 4-bits |
Type | Mistral |
Licence | Apache 2.0 |
En supprimant l'alignement en ligne sur les ensembles de données d'entraînement, Zephyr-7B-Beta affiche des performances améliorées sur des benchmarks tels que MT-Bench, améliorant ainsi son utilité dans diverses tâches. Cependant, cette modification peut créer un texte problématique lorsqu'elle est demandée de certaines manières.
Télécharger : Zephyr 7B bêta via Étreindre le visage
3. Falcon Instruire GPTQ
Cette version quantique de Falcon est basée sur l'architecture de décodeur uniquement à plus haute résolution du modèle brut Falcon-7b de TII. Le modèle de base Falcon a été formé à l'aide de 1.5 billion de jetons obtenus sur Internet public. En tant que modèle de décodage d'instructions uniquement sous licence Apache 2, Falcon Instruct est idéal pour les petites entreprises à la recherche d'un modèle à utiliser pour la traduction linguistique et la saisie de données.
Modèle | Falcon-7B-Instruire |
---|---|
Taille du modèle | 7.58 GB |
Paramètres | 7 milliards |
Bâillonnement | 4-bits |
Type | Falcon |
Licence | Apache 2.0 |
Cependant, cette version de Falcon n'est pas idéale pour un réglage fin et est destinée uniquement à l'inférence. Si vous souhaitez affiner Falcon, vous devrez utiliser le modèle brut, qui peut nécessiter l'accès à du matériel de formation de niveau entreprise comme les accélérateurs NVIDIA DGX ou AMD Instinct AI.
Télécharger : Falcon-7B-Instruct via Étreindre le visage
4. GPT4ALL-J Groovy
GPT4All-J Groovy est un modèle de décodeur uniquement affiné par Nomic AI et sous licence Apache 2.0. GPT4ALL-J Groovy est basé sur le modèle GPT-J original, connu pour être excellent dans la génération de texte à partir d'invites. GPT4ALL -J Groovy est configuré comme un modèle de discussion, ce qui est idéal pour les applications de génération de texte rapides et créatives. Cela rend GPT4All-J Groovy idéal pour les créateurs de contenu afin de les aider dans leurs travaux d'écriture et de création, qu'il s'agisse de poésie, de musique ou d'histoires.
Modèle | GPT4ALL-J Groovy |
---|---|
Taille du modèle | 3.53 GB |
Paramètres | 7 milliards |
Bâillonnement | 4-bits |
Type | GPT-J |
Licence | Apache 2.0 |
Malheureusement, le modèle GPT-J de base n'a été formé que sur un ensemble de données en anglais, ce qui signifie que même ce modèle GPT4ALL-J affiné ne peut discuter et générer du texte qu'en anglais.
Télécharger : GPT4ALL-J Groovy via Étreindre le visage
5. Instruction DeepSeek Coder V2
DeepSeek Coder V2 est un modèle de langage avancé qui améliore les capacités de programmation et de raisonnement mathématique. Il prend en charge un large éventail de langages de programmation et offre une longueur de contexte étendue, ce qui en fait un outil polyvalent pour les développeurs.
Modèle | Instruction DeepSeek Coder V2 |
---|---|
Taille du modèle | 13 GB |
Paramètres | 33 milliards |
Bâillonnement | 4-bits |
Type | Recherche profonde |
Licence | Apache 2.0 |
Par rapport à son prédécesseur, DeepSeek Coder V2 montre des progrès significatifs dans les tâches liées à la programmation, le raisonnement et les capacités générales. Il étend la prise en charge des langages de programmation de 86 à 338 et étend la longueur du contexte de 16 128 à XNUMX XNUMX caractères. Dans les évaluations de référence, il surpasse les modèles tels que GPT-4 Turbo و Claude 3 Opus Et Gemini 1.5 Pro dans les benchmarks de codage et de mathématiques.
Télécharger : DeepSeek Coder V2 Instruction via Étreindre le visage
6. Mixtral-8x7B
Mixtral-8x7B est un modèle Mix of Expert (MoE) épars développé par Mistral AI. Il comporte huit experts pour chaque MLP, avec un total de 45 milliards de paramètres. Cependant, seuls deux experts sont activés par code lors de l'inférence, ce qui la rend efficace sur le plan informatique et comparable en termes de vitesse et de coût à un modèle dense de 12 milliards de paramètres.
Modèle | Mixtral-8x7B |
---|---|
Taille du modèle | 12 GB |
Paramètres | 48 milliards |
Bâillonnement | 4-bits |
Type | Ministère de l'Environnement Mistral |
Licence | Apache 2.0 |
Mixtral prend en charge une longueur de contexte de 32 2 jetons et surpasse Llama 70 3.5B sur la plupart des benchmarks, égalant ou dépassant les performances GPT-XNUMX. Il maîtrise plusieurs langues, dont l'anglais, le français, l'allemand, l'espagnol et l'italien, ce qui en fait un choix polyvalent pour différentes tâches de traitement du langage naturel.
Télécharger : Mistral-8x7B via Étreindre le visage
7. Assistant Vicuna non censuré-GPTQ
Wizard-Vicuna GPTQ est une version quantifiée de Wizard Vicuna basée sur le Lama. Contrairement à la plupart des modèles LLM rendus publics, Wizard-Vicuna est un modèle non supervisé sans contrôle. Cela signifie que le modèle n’a pas les mêmes normes de sécurité et d’éthique que la plupart des modèles.
Modèle | Assistant-Vicuna-30B-Non censuré-GPTQ |
---|---|
Taille du modèle | 16.94 GB |
Paramètres | 30 milliards |
Bâillonnement | 4-bits |
Type | Lama |
Licence | GPL 3 |
Bien que cela puisse poser un problème de contrôle de l’IA, disposer d’un modèle LLM non supervisé fait également ressortir le meilleur du modèle en lui permettant de répondre sans aucune contrainte. Cela permet également aux utilisateurs d'ajouter un alignement personnalisé sur la façon dont l'IA agira ou réagira en fonction d'une invite spécifique.
Télécharger : Wizard-Vicuna-30B-Uncensored-GPTQ via Étreindre le visage
8. Orca Mini-GPTQ
Vous cherchez à faire l’expérience d’un modèle formé à une méthode d’apprentissage unique ? Orca Mini est une implémentation modèle non officielle des Orca Research Papers de Microsoft. Il a été formé à l’aide d’une méthode d’apprentissage enseignant-élève, dans laquelle l’ensemble de données était rempli d’explications plutôt que de simples invites et réponses. En théorie, cette personnalisation devrait aboutir à un étudiant plus intelligent, car le modèle peut comprendre le problème plutôt que de simplement rechercher des paires entrée-sortie comme le font les modèles LLM typiques.
Modèle | Orca Mini-GPTQ |
---|---|
Taille du modèle | 8.11 GB |
Paramètres | 3 milliards |
Bâillonnement | 4-bits |
Type | Lama |
Licence | MIT |
Avec seulement trois milliards de paramètres, Orca Mini GPTQ est facile à exécuter, même sur des systèmes moins puissants. Cependant, ce formulaire ne doit pas être utilisé à des fins professionnelles car il génère de fausses informations et des réponses biaisées et offensantes. Ce modèle doit être utilisé pour apprendre et expérimenter l'Orque et ses mœurs.
Télécharger : Orca Mini-GPTQ via Étreindre le visage
9. Lama 2 13B Chat GPTQ
Llama 2 est le successeur du Llama LLM original, offrant des performances et une polyvalence améliorées. La variante 13B Chat GPTQ est optimisée pour les applications d'IA destinées au dialogue en anglais optimisé pour les conversations.
Modèle | Lama 2 13B Chat GPTQ |
---|---|
Taille du modèle | 7.26 GB |
Paramètres | 13 milliards |
Bâillonnement | 4-bits |
Type | Llama 2 |
Licence | Méta-licence |
Llama 2 est destiné à un usage commercial et de recherche. Les termes de la licence permettent aux entreprises comptant moins de 700 millions d'utilisateurs de l'utiliser sans frais supplémentaires. Ce modèle est idéal pour les organisations recherchant une solution de chatbot puissante qui nécessite peu de formation supplémentaire.
Télécharger : Lama 2 13B Chat GPTQ via Étreindre le visage
Certains des modèles ci-dessus ont plusieurs versions en termes de paramètres. En général, les versions avec des paramètres plus élevés donnent de meilleurs résultats mais nécessitent un matériel plus puissant, tandis que les versions avec des paramètres plus faibles génèrent des résultats de moindre qualité mais peuvent être exécutées sur un matériel moins puissant. Si vous n'êtes pas sûr que votre ordinateur puisse exécuter ce modèle, essayez d'abord la version avec les paramètres les plus bas, puis continuez jusqu'à ce que vous sentiez que la baisse des performances n'est plus acceptable. Vous pouvez maintenant visualiser Devriez-vous utiliser un modèle LLM local ? Avantages, inconvénients et bonnes pratiques.