Skip to content
プロジェクト

loomax-labs/InferrLM has 115 GitHub stars and 24 forks. GitHot measured +1 stars in 24 hours and +1 in 7 days. Last checked 2026-11-15 15:53 UTC. Last push 2026-09-26.

この数値の測り方

計測したスター増加

24時間
+1
7日間
+1
15日間
更新が遅れています
1か月
更新が遅れています

期間ごとの純増数です。期間は重複しており、日別の値ではありません。未計測の値は空欄です。スター数は注目度の指標であり、品質の保証ではありません。

概要

InferrLM - On-device AI for iOS & Android

AI

README.ja.md

オリジナル

English | 简体中文 | 繁體中文 | 日本語 | 한국어 | Deutsch | Français | Nederlands

InferrLM(以前の名前は Inferra)

Codebase 0.9.0, last commit 2026-09-27 Google Play 0.8.6, updated 2026-03-29, 182d behind the codebase App Store 0.8.7, released 2026-03-30, 181d behind the codebase License: AGPL-3.0

InferrLM Header

InferrLM は、大きなモデルも小さなモデルも Android と iOS の端末で直接使えるモバイルアプリです。端末を、同じネットワークの中のサーバーとしても使えます。Claude、Gemini、ChatGPT のようなクラウドのモデルにも対応しています。このスマホで動かすモデルでは、RAG(資料を探してから答える仕組み)付きのファイル添付も使えます。

Get it on Google Play Download on the App Store

目次

デモ

Apple Foundation モデルを使う様子と、HuggingFace から MLX のモデルをダウンロードして、このスマホで動かす様子です。

Demo 1 Demo 2

機能

このスマホで動かす

  • llama.cpp により、GGUF(モデルのファイル形式)のモデルを Android と iOS のどちらでもこのスマホで動かせます。
  • Apple Silicon の端末では、MLX でもこのスマホで動かせます。
  • OpenAI、Gemini、Anthropic のクラウドのモデルともつながります。クラウドのモデルを使うには、自分の API キーと、InferrLM の登録アカウントが必要です。クラウドのモデルは使わなくてもかまいません。
  • OpenRouter、Groq、Ollama、LM Studio、Together AI のように OpenAI と同じ形の提供元では、接続先の URL を変えられます。アプリの中から、別の API(ほかのソフトから使う窓口)の入口を使えます。
  • Apple Intelligence に対応した端末では、Apple Foundation モデルも使えます。

画像と、文字と画像

  • 文字と画像に対応したモデルと、それに合う projector(mmproj)ファイルで、画像を読めます。詳しくは こちら です。
  • アプリ内のカメラで写真を撮り、そのままモデルに送れます。

文書の処理と RAG

  • RAG(資料を探してから答える仕組み)で、文書の理解と、今の話に合った返事がしやすくなります。
  • ファイルを添付できます。内蔵の文書抽出が、文書のすべてのページで文字をこのスマホ上で読み取り、テキストを取り出して、このスマホのモデルに送ります。
  • 会話の途中で素早く探せるよう、ファイルを処理して索引にする取り込みがあります。
  • クラウドのモデルには、端末本来のファイル送信も使えます。

ローカルサーバー

  • 内蔵の HTTP サーバーが REST API(決まったアドレスでやり取りする窓口)を出し、同じネットワーク上のどの端末からでもモデルを使えます。サーバーはサーバーのタブから起動できます。URL で、InferrLM のチャット画面をパソコン、タブレット、ほかの端末と共有できます。
  • API の説明は こちら と、サーバーのホームページにあります。
  • コマンドラインのツールは github.com/sbhjt-gr/InferrLM-CLI にあり、この API でアプリを作る例になっています。

モデルの管理

  • HuggingFace からモデルを直接取るダウンロード管理があります。スマホ向けに選んだ一覧は、モデルの「モデルをダウンロード」タブにあります。
  • ダウンロードしたモデルは、チャット画面のモデル選択と、「モデル」タブの中の「保存したモデル」タブに出ます。
  • 端末内の保存場所から読み込むか、URL から直接ダウンロードできます。

チャット

  • メッセージは編集、作り直し、コピー、Markdown の表示ができます。
  • react-native-nitro-markdown による、数式にも対応した速い Markdown 表示です。Nitro Modules の橋の上に作った C++ の表示です。
  • 各チャットの吹き出しから会話を分岐できます。どのメッセージからでも別の方向に進め、元のスレッドは残るので、前の流れを失わずに別の試しができます。
  • モデルが作ったコードは、コピーできるコードブロックの中に表示します。
  • チャット履歴を管理し、会話をピン留めできます。

手元で動かすときや、開発に加わるときは、下の手順に従ってください。変更は LICENSE に沿う必要があります。

必要なもの

  • Node.js(16.0.0 以上、23.0.0 未満)
  • npm または yarn
  • Expo CLI
  • Android Studio(Android の開発)
  • Xcode(iOS の開発)

インストール

  1. リポジトリをクローンする

    git clone https://github.com/sbhjt-gr/InferrLM
    cd InferrLM
    
  2. 依存関係を入れる

    yarn install
    
  3. 環境変数を設定する API キーとバックエンドの設定をします。変数の一覧は app.config.json にあります。

  4. 実機またはエミュレータで動かす

    # For Android
    npx expo run:android
    
    # For iOS
    npx expo run:ios
    

REST API

InferrLM には内蔵の HTTP サーバーがあり、OpenAI API の形でモデルを出せます。同じローカルネットワーク上のどの端末からでも、このスマホのモデルを使えます。ほかのアプリ、スクリプト、サービスと InferrLM をつなげられます。

サーバーを起動する

  1. InferrLM アプリを開きます
  2. サーバーのタブを開きます
  3. サーバーのスイッチを入れて起動します
  4. サーバーの URL が表示されます(ふつうは http://YOUR_DEVICE_IP:8889)

コマンドライン

InferrLM-CLI は、InferrLM のサーバーにつながり、ターミナルからチャットできるクライアントです。そのまま使える道具であり、InferrLM の REST API でアプリを作る人向けの見本でもあります。

CLI は React と Ink で作られており、返事を流しながら表示する、会話の履歴、対話式の初期設定といった、基本的なターミナル画面があります。ソースとインストール手順は github.com/sbhjt-gr/InferrLM-CLI にあります。

CLI を始めるには、スマホで InferrLM のサーバーを起動してから、CLI を入れ、そのリポジトリの手順に従ってください。

API の説明

サーバーが動いているあいだ、サーバーの URL をブラウザで開くと、API の説明を全部読めます。説明には次が含まれます。

  • チャットと文の完成のエンドポイント
  • モデルの管理
  • RAG と、文章を数値の並びにするための API
  • サーバーの設定と状態

詳しくは REST API の説明 を見てください。

ライセンス

このプロジェクトは AGPL-3.0 License で配布しています。こちら を読んでください。変更はこの LICENSE の規則に沿う必要があります。

開発への参加

参加を歓迎します。issues タブで課題を探すか、新しく立ててから作業を始められます。

参加の手順、コードの基準、進め方は 開発ガイド にあります。

技術構成

  • フレームワーク: React Native 0.81 と Expo 54(New Architecture)
  • アプリの言語: TypeScript、JavaScript
  • iOS のネイティブモジュール: Swift
  • Android のネイティブモジュール: Kotlin
  • 答えを作るエンジン: C、C++
  • 画面遷移: React Navigation
  • データベース: OP-SQLite、Expo SQLite

謝辞

  • llama.cpp - Android と iOS の両方で、ローカルの GGUF モデルをこのスマホで動かす土台のエンジンです。
  • mlx-swift-lm - Apple Silicon で MLX の言語モデルを動かす Swift のライブラリです。iOS の MLX 側を支えています。
  • inferrlm-llama.rn - llama.cpp への橋になる、手を入れた React Native のアダプターです。llama.cpp をより頻繁に更新するため、llama.rn からフォークして自分たちで置いています。
  • @inferrlm/react-native-mlx - iOS 向けの Apple Silicon MLX エンジンです。Nitro Modules の橋で、このスマホでの動きを軽くします。react-native-nitro-mlx からフォークして管理しています。
  • react-native-nitro-markdown - React Native 向けの、C++ による Markdown 表示です。チャットのメッセージを速く描くために使っています。
  • react-native-rag + @langchain/textsplitters - React Native 向けの RAG の実装です。LangChain を使い、文書の検索と取り込みを支えています。
  • react-native-ai - Swift API で Apple Foundation モデルにつなぐアダプターです。
  • ここにも載せるべきだと思う人は、知らせてください。

スターの履歴


役に立ったら、このリポジトリにスターを付けてください。