Thème Jannah La licence n'est pas validée, Rendez-vous sur la page des options du thème pour valider la licence, Vous avez besoin d'une seule licence pour chaque nom de domaine.

Meilleurs modèles LLM en ligne (hors ligne) que vous pouvez essayer maintenant

Avec la disponibilité croissante de modèles LLM puissants sur des plates-formes comme HuggingFace et l'avancement des systèmes d'IA disponibles tels que H2O, Text Gen et GPT4All, vous pouvez désormais télécharger et exécuter des modèles LLM directement sur votre ordinateur. Cela signifie que vous n’avez plus besoin d’être connecté à Internet pour accéder aux capacités de l’IA de manière flexible et sécurisée. Si vous souhaitez essayer l'IA localement, voici neuf des meilleurs modèles LLM hors ligne que vous pouvez essayer dès maintenant pour bénéficier de la rapidité et de la sécurité du traitement et de la protection contre la consultation de vos informations par divers fournisseurs.

Meilleurs modèles LLM en ligne (hors ligne) que vous pouvez essayer maintenant

1. Hermès 2 Pro GPTQ

Hermès 2 Pro GPTQ

Hermes 2 Pro est un modèle de langage avancé affiné par Nous Research. Il utilise une version mise à jour et propre de l'ensemble de données OpenHermes 2.5, ainsi que le nouvel ensemble de données Function Calling et JSON Mode développé en interne. Ce modèle est basé sur l'architecture Mistral 7B et a été formé sur 1000000 4 XNUMX d'instructions/chat de qualité GPT-XNUMX ou supérieure, qui sont principalement des données synthétiques.

Modèle Hermès 2 Pro GPTQ
Taille du modèle 7.26 GB
Paramètres 7 milliards
Bâillonnement 4-bits
Type Mistral
Licence Apache 2.0

Hermes 2 Pro sur Mistral 7B est le nouveau modèle phare du Hermes 7B, qui offre des performances améliorées sur divers benchmarks, notamment AGIEval, BigBench Reasoning, GPT4All et TruthfulQA. Ses capacités améliorées le rendent adapté à un large éventail de tâches de traitement du langage naturel (NLP), telles que la génération de code, la création de contenu et le développement d'applications de chat IA.

Télécharger : Hermès 2 Pro GPTQ via Étreindre le visage

2. Zephyr 7B bêta

Zephyr est une série de modèles de langage formés pour agir comme un assistant utile. Zephyr-7B-Beta est le deuxième modèle de la série, qui a été affiné sur la base de Mistral-7B-v0.1 à l'aide de l'optimisation des préférences directes (DPO) sur un mélange d'ensembles de données synthétiques accessibles au public.

Modèle Zephyr 7B bêta
Taille du modèle 7.26 GB
Paramètres 7 milliards
Bâillonnement 4-bits
Type Mistral
Licence Apache 2.0

En supprimant l'alignement en ligne sur les ensembles de données d'entraînement, Zephyr-7B-Beta affiche des performances améliorées sur des benchmarks tels que MT-Bench, améliorant ainsi son utilité dans diverses tâches. Cependant, cette modification peut créer un texte problématique lorsqu'elle est demandée de certaines manières.

Télécharger : Zephyr 7B bêta via Étreindre le visage

3. Falcon Instruire GPTQ

Falcon Instruire GPTQ

Cette version quantique de Falcon est basée sur l'architecture de décodeur uniquement à plus haute résolution du modèle brut Falcon-7b de TII. Le modèle de base Falcon a été formé à l'aide de 1.5 billion de jetons obtenus sur Internet public. En tant que modèle de décodage d'instructions uniquement sous licence Apache 2, Falcon Instruct est idéal pour les petites entreprises à la recherche d'un modèle à utiliser pour la traduction linguistique et la saisie de données.

Modèle Falcon-7B-Instruire
Taille du modèle 7.58 GB
Paramètres 7 milliards
Bâillonnement 4-bits
Type Falcon
Licence Apache 2.0

Cependant, cette version de Falcon n'est pas idéale pour un réglage fin et est destinée uniquement à l'inférence. Si vous souhaitez affiner Falcon, vous devrez utiliser le modèle brut, qui peut nécessiter l'accès à du matériel de formation de niveau entreprise comme les accélérateurs NVIDIA DGX ou AMD Instinct AI.

Télécharger : Falcon-7B-Instruct via Étreindre le visage

4. GPT4ALL-J Groovy

GPT4All-J Groovy est un modèle de décodeur uniquement affiné par Nomic AI et sous licence Apache 2.0. GPT4ALL-J Groovy est basé sur le modèle GPT-J original, connu pour être excellent dans la génération de texte à partir d'invites. GPT4ALL -J Groovy est configuré comme un modèle de discussion, ce qui est idéal pour les applications de génération de texte rapides et créatives. Cela rend GPT4All-J Groovy idéal pour les créateurs de contenu afin de les aider dans leurs travaux d'écriture et de création, qu'il s'agisse de poésie, de musique ou d'histoires.

Modèle GPT4ALL-J Groovy
Taille du modèle 3.53 GB
Paramètres 7 milliards
Bâillonnement 4-bits
Type GPT-J
Licence Apache 2.0

Malheureusement, le modèle GPT-J de base n'a été formé que sur un ensemble de données en anglais, ce qui signifie que même ce modèle GPT4ALL-J affiné ne peut discuter et générer du texte qu'en anglais.

Télécharger : GPT4ALL-J Groovy via Étreindre le visage

5. Instruction DeepSeek Coder V2

Instruction DeepSeek Coder V2

DeepSeek Coder V2 est un modèle de langage avancé qui améliore les capacités de programmation et de raisonnement mathématique. Il prend en charge un large éventail de langages de programmation et offre une longueur de contexte étendue, ce qui en fait un outil polyvalent pour les développeurs.

Modèle Instruction DeepSeek Coder V2
Taille du modèle 13 GB
Paramètres 33 milliards
Bâillonnement 4-bits
Type Recherche profonde
Licence Apache 2.0

Par rapport à son prédécesseur, DeepSeek Coder V2 montre des progrès significatifs dans les tâches liées à la programmation, le raisonnement et les capacités générales. Il étend la prise en charge des langages de programmation de 86 à 338 et étend la longueur du contexte de 16 128 à XNUMX XNUMX caractères. Dans les évaluations de référence, il surpasse les modèles tels que GPT-4 Turbo و Claude 3 Opus Et Gemini 1.5 Pro dans les benchmarks de codage et de mathématiques.

Télécharger : DeepSeek Coder V2 Instruction via Étreindre le visage

6. Mixtral-8x7B

Mixtral-8x7B

Mixtral-8x7B est un modèle Mix of Expert (MoE) épars développé par Mistral AI. Il comporte huit experts pour chaque MLP, avec un total de 45 milliards de paramètres. Cependant, seuls deux experts sont activés par code lors de l'inférence, ce qui la rend efficace sur le plan informatique et comparable en termes de vitesse et de coût à un modèle dense de 12 milliards de paramètres.

Modèle Mixtral-8x7B
Taille du modèle 12 GB
Paramètres 48 milliards
Bâillonnement 4-bits
Type Ministère de l'Environnement Mistral
Licence Apache 2.0

Mixtral prend en charge une longueur de contexte de 32 2 jetons et surpasse Llama 70 3.5B sur la plupart des benchmarks, égalant ou dépassant les performances GPT-XNUMX. Il maîtrise plusieurs langues, dont l'anglais, le français, l'allemand, l'espagnol et l'italien, ce qui en fait un choix polyvalent pour différentes tâches de traitement du langage naturel.

Télécharger : Mistral-8x7B via Étreindre le visage

7. Assistant Vicuna non censuré-GPTQ

Wizard-Vicuna GPTQ est une version quantifiée de Wizard Vicuna basée sur le Lama. Contrairement à la plupart des modèles LLM rendus publics, Wizard-Vicuna est un modèle non supervisé sans contrôle. Cela signifie que le modèle n’a pas les mêmes normes de sécurité et d’éthique que la plupart des modèles.

Modèle Assistant-Vicuna-30B-Non censuré-GPTQ
Taille du modèle 16.94 GB
Paramètres 30 milliards
Bâillonnement 4-bits
Type Lama
Licence GPL 3

Bien que cela puisse poser un problème de contrôle de l’IA, disposer d’un modèle LLM non supervisé fait également ressortir le meilleur du modèle en lui permettant de répondre sans aucune contrainte. Cela permet également aux utilisateurs d'ajouter un alignement personnalisé sur la façon dont l'IA agira ou réagira en fonction d'une invite spécifique.

Télécharger : Wizard-Vicuna-30B-Uncensored-GPTQ via Étreindre le visage

8. Orca Mini-GPTQ

Orca Mini-GPTQ

Vous cherchez à faire l’expérience d’un modèle formé à une méthode d’apprentissage unique ? Orca Mini est une implémentation modèle non officielle des Orca Research Papers de Microsoft. Il a été formé à l’aide d’une méthode d’apprentissage enseignant-élève, dans laquelle l’ensemble de données était rempli d’explications plutôt que de simples invites et réponses. En théorie, cette personnalisation devrait aboutir à un étudiant plus intelligent, car le modèle peut comprendre le problème plutôt que de simplement rechercher des paires entrée-sortie comme le font les modèles LLM typiques.

Modèle Orca Mini-GPTQ
Taille du modèle 8.11 GB
Paramètres 3 milliards
Bâillonnement 4-bits
Type Lama
Licence MIT

Avec seulement trois milliards de paramètres, Orca Mini GPTQ est facile à exécuter, même sur des systèmes moins puissants. Cependant, ce formulaire ne doit pas être utilisé à des fins professionnelles car il génère de fausses informations et des réponses biaisées et offensantes. Ce modèle doit être utilisé pour apprendre et expérimenter l'Orque et ses mœurs.

Télécharger : Orca Mini-GPTQ via Étreindre le visage

9. Lama 2 13B Chat GPTQ

Lama 2 13B Chat GPTQ

Llama 2 est le successeur du Llama LLM original, offrant des performances et une polyvalence améliorées. La variante 13B Chat GPTQ est optimisée pour les applications d'IA destinées au dialogue en anglais optimisé pour les conversations.

Modèle Lama 2 13B Chat GPTQ
Taille du modèle 7.26 GB
Paramètres 13 milliards
Bâillonnement 4-bits
Type Llama 2
Licence Méta-licence

Llama 2 est destiné à un usage commercial et de recherche. Les termes de la licence permettent aux entreprises comptant moins de 700 millions d'utilisateurs de l'utiliser sans frais supplémentaires. Ce modèle est idéal pour les organisations recherchant une solution de chatbot puissante qui nécessite peu de formation supplémentaire.

Télécharger : Lama 2 13B Chat GPTQ via Étreindre le visage

Certains des modèles ci-dessus ont plusieurs versions en termes de paramètres. En général, les versions avec des paramètres plus élevés donnent de meilleurs résultats mais nécessitent un matériel plus puissant, tandis que les versions avec des paramètres plus faibles génèrent des résultats de moindre qualité mais peuvent être exécutées sur un matériel moins puissant. Si vous n'êtes pas sûr que votre ordinateur puisse exécuter ce modèle, essayez d'abord la version avec les paramètres les plus bas, puis continuez jusqu'à ce que vous sentiez que la baisse des performances n'est plus acceptable. Vous pouvez maintenant visualiser Devriez-vous utiliser un modèle LLM local ? Avantages, inconvénients et bonnes pratiques.

Aller au bouton supérieur