Skip to content
Projets

loomax-labs/InferrLM has 115 GitHub stars and 24 forks. GitHot measured +1 stars in 24 hours and +1 in 7 days. Last checked 2026-11-15 15:53 UTC. Last push 2026-09-26.

Comment ces chiffres sont mesurés

Progression mesurée des étoiles

in 24h
+1
in 7 days
+1
in 15 days
Mise à jour retardée
in 1 month
Mise à jour retardée

Variations nettes sur des périodes qui se chevauchent, pas des totaux quotidiens. Les mesures absentes restent vides. Les étoiles indiquent l’intérêt, pas la qualité.

À propos

InferrLM - On-device AI for iOS & Android

IA

README.fr.md

Original

English | 简体中文 | 繁體中文 | 日本語 | 한국어 | Deutsch | Français | Nederlands

InferrLM (avant Inferra)

Codebase 0.9.0, last commit 2026-09-27 Google Play 0.8.6, updated 2026-03-29, 182d behind the codebase App Store 0.8.7, released 2026-03-30, 181d behind the codebase License: AGPL-3.0

InferrLM Header

InferrLM est une application qui met de grands et de petits modèles directement sur ton téléphone Android ou iOS. Ton téléphone peut aussi servir de serveur sur ton réseau local. Les modèles cloud comme Claude, Gemini et ChatGPT sont pris en charge. Pour les modèles sur le téléphone, tu peux joindre des fichiers, avec RAG (l'app cherche les passages utiles dans tes fichiers, puis le modèle répond avec).

Get it on Google Play Download on the App Store

Sommaire

Démo

Les démos montrent l'Apple Foundation Model, et le téléchargement de modèles MLX depuis HuggingFace pour les faire tourner sur l'appareil.

Demo 1 Demo 2

Fonctions

Sur ce téléphone

  • Exécution locale avec llama.cpp et des modèles GGUF sur Android et iOS.
  • Exécution MLX locale sur les appareils Apple Silicon.
  • Connexion aux modèles cloud d'OpenAI, Gemini et Anthropic. Pour les modèles distants, il te faut tes propres clés d'API et un compte InferrLM. Les modèles distants restent facultatifs.
  • Tu peux changer l'adresse de base des services compatibles OpenAI, comme OpenRouter, Groq, Ollama, LM Studio et Together AI. Tu accèdes ainsi à d'autres points d'accès dans l'app.
  • Prise en charge du modèle Apple Foundation sur les appareils avec Apple Intelligence.

Images et texte

  • Les modèles qui lisent le texte et les images peuvent voir des photos avec le fichier projecteur (mmproj) qui va avec. Plus de détails ici.
  • L'appareil photo intégré prend des photos dans l'app et les envoie aux modèles.

Documents et RAG

  • RAG aide le modèle à mieux lire tes documents et à répondre avec le bon passage.
  • Tu peux joindre des fichiers. L'extracteur lit le texte en local, page par page, par OCR, puis l'envoie au modèle sur le téléphone.
  • Les documents sont traités et indexés pour les retrouver plus vite pendant la discussion.
  • Les modèles distants acceptent aussi l'envoi direct de fichiers.

Serveur local

  • Un serveur HTTP intégré expose des API REST pour que les appareils du même réseau accèdent à tes modèles. Tu le démarres dans l'onglet Serveur. Une URL partage l'interface de discussion InferrLM avec un ordinateur, une tablette ou un autre téléphone.
  • La documentation complète de l'API est ici et sur la page d'accueil du serveur.
  • Un outil en ligne de commande sur github.com/sbhjt-gr/InferrLM-CLI montre comment construire des applications avec cette API.

Gestion des modèles

  • Le téléchargement récupère les modèles directement depuis HuggingFace. Une liste choisie pour les téléphones est dans Modèles, onglet « Télécharger des modèles ».
  • Les modèles téléchargés apparaissent dans le sélecteur du chat et dans l'onglet « Modèles enregistrés ».
  • Tu peux importer depuis le stockage du téléphone ou télécharger depuis une URL.

Discussion

  • Tu peux modifier un message, le régénérer, le copier, et l'afficher en Markdown.
  • Affichage Markdown rapide, avec les formules, grâce à react-native-nitro-markdown, un moteur C++ sur le pont Nitro Modules.
  • Chaque bulle peut ouvrir une branche. Le fil d'origine reste, tu peux essayer une autre direction.
  • Le code produit par le modèle s'affiche dans des blocs, avec copie dans le presse-papiers.
  • Tu peux gérer l'historique et épingler des conversations.

Si tu veux contribuer ou lancer l'app en local, suis le guide ci-dessous. Tes modifications doivent respecter la LICENSE.

Prérequis

  • Node.js (>= 16.0.0, < 23.0.0)
  • npm ou yarn
  • Expo CLI
  • Android Studio (pour Android)
  • Xcode (pour iOS)

Installation

  1. Cloner le dépôt

    git clone https://github.com/sbhjt-gr/InferrLM
    cd InferrLM
    
  2. Installer les dépendances

    yarn install
    
  3. Régler les variables d'environnement Indique tes clés d'API et les réglages du backend. La liste est dans app.config.json.

  4. Lancer sur un appareil ou un émulateur

    # For Android
    npx expo run:android
    
    # For iOS
    npx expo run:ios
    

REST API

InferrLM inclut un serveur HTTP qui expose les modèles avec l'API OpenAI. Les appareils du même réseau peuvent ainsi utiliser les modèles de ton téléphone. Tu peux relier InferrLM à d'autres applications, scripts ou services.

Démarrer le serveur

  1. Ouvre l'application InferrLM
  2. Va dans l'onglet Serveur
  3. Active l'interrupteur du serveur
  4. L'adresse du serveur s'affiche (en général http://YOUR_DEVICE_IP:8889)

Ligne de commande

InferrLM-CLI est un client de terminal. Il se connecte à ton serveur InferrLM et discute depuis la ligne de commande. C'est un outil, et aussi un exemple pour les développeurs qui veulent utiliser l'API REST.

La CLI est faite avec React et Ink : réponses au fil de l'eau, historique, et une mise en route interactive. Le code et l'installation sont sur github.com/sbhjt-gr/InferrLM-CLI.

Pour commencer, lance le serveur InferrLM sur ton téléphone, installe l'outil, puis suis les instructions de son dépôt.

Documentation de l'API

Une fois le serveur lancé, ouvre son adresse dans un navigateur. La documentation comprend :

  • les points d'accès de discussion et de complétion
  • la gestion des modèles
  • les API RAG et d'embeddings
  • la configuration et l'état du serveur

Le détail est dans la documentation REST API.

Licence

Ce projet est distribué sous la licence AGPL-3.0. Lis-la ici. Toute modification doit suivre les règles de cette LICENSE.

Contribuer

Les contributions sont les bienvenues. Tu trouves des sujets dans l'onglet issues, ou tu en ouvres de nouveaux et tu commences.

Lis le guide de contribution pour le déroulement, les règles de code et les usages.

Technique

  • Cadre : React Native 0.81 avec Expo 54 (nouvelle architecture)
  • Langage de l'app : TypeScript, JavaScript
  • Modules natifs iOS : Swift
  • Modules natifs Android : Kotlin
  • Moteur : C, C++
  • Navigation : React Navigation
  • Base de données : OP-SQLite, Expo SQLite

Remerciements

Historique des étoiles


Ajoute une étoile au dépôt si tu le trouves utile.