Skip to content
프로젝트

loomax-labs/InferrLM has 115 GitHub stars and 24 forks. GitHot measured +1 stars in 24 hours and +1 in 7 days. Last checked 2026-11-15 15:53 UTC. Last push 2026-09-26.

이 수치를 측정하는 방법

측정된 스타 증가

in 24h
+1
in 7 days
+1
in 15 days
업데이트 지연
in 1 month
업데이트 지연

서로 겹치는 기간의 순증가량이며 일별 합계가 아닙니다. 측정값이 없으면 비워 둡니다. 스타는 관심도를 나타내며 품질을 보장하지 않습니다.

소개

InferrLM - On-device AI for iOS & Android

AI

README.ko.md

Original

English | 简体中文 | 繁體中文 | 日本語 | 한국어 | Deutsch | Français | Nederlands

InferrLM (이전 이름은 Inferra)

Codebase 0.9.0, last commit 2026-09-27 Google Play 0.8.6, updated 2026-03-29, 182d behind the codebase App Store 0.8.7, released 2026-03-30, 181d behind the codebase License: AGPL-3.0

InferrLM Header

InferrLM은 큰 모델과 작은 모델을 Android와 iOS 휴대폰에서 바로 쓰게 해 주는 앱이에요. 휴대폰을 같은 네트워크의 서버로도 쓸 수 있어요. Claude, Gemini, ChatGPT 같은 클라우드 모델도 지원해요. 이 휴대폰에서 실행하는 모델에는 파일을 붙일 수 있고, RAG(문서에서 관련 내용을 찾은 다음 답하게 하는 방식)도 쓸 수 있어요.

Get it on Google Play Download on the App Store

목차

데모

Apple Foundation Model을 쓰고, HuggingFace에서 MLX 모델을 받아 이 휴대폰에서 실행하는 모습이에요.

Demo 1 Demo 2

기능

이 휴대폰에서 실행

  • llama.cpp로 Android와 iOS에서 로컬 GGUF(모델 파일 형식)를 실행해요.
  • Apple Silicon 기기에서는 MLX를 이 휴대폰에서 실행할 수 있어요.
  • OpenAI, Gemini, Anthropic 클라우드 모델도 연결할 수 있어요. 원격 모델은 본인 API 키와 InferrLM 계정이 필요해요. 원격 모델은 쓰지 않아도 돼요.
  • OpenRouter, Groq, Ollama, LM Studio, Together AI처럼 OpenAI와 맞는 서비스의 기본 주소를 바꿀 수 있어요. 앱 안에서 다른 주소를 쓸 수 있어요.
  • Apple Intelligence를 지원하는 기기에서는 Apple Foundation 모델을 쓸 수 있어요.

사진, 글과 그림

  • 글과 그림을 보는 모델에 projector(mmproj) 파일을 붙이면 사진을 볼 수 있어요. 자세한 내용은 여기를 보세요.
  • 앱 안의 카메라로 사진을 찍어 모델에 보낼 수 있어요.

문서와 RAG

  • RAG로 문서를 더 잘 이해하고, 관련 내용을 답에 쓸 수 있어요.
  • 파일을 붙일 수 있어요. 문서에서 글자를 읽는 기능이 모든 페이지를 이 휴대폰에서 OCR로 읽어 로컬 모델에 보내요.
  • 문서를 넣고 색인을 만들어, 채팅 중에 내용을 더 빨리 찾아요.
  • 원격 모델에는 파일을 바로 올릴 수 있어요.

로컬 서버

  • 내장 HTTP 서버가 REST API로 같은 네트워크의 기기가 모델에 접속하게 해요. 서버 탭에서 켤 수 있어요. 주소 하나로 채팅 화면을 컴퓨터, 태블릿, 다른 휴대폰과 나눌 수 있어요.
  • 전체 API 문서는 여기와 서버 첫 화면에 있어요.
  • 명령줄 도구는 github.com/sbhjt-gr/InferrLM-CLI에 있고, 이 API로 앱을 만드는 예를 보여 줘요.

모델 관리

  • 다운로드 관리자가 HuggingFace에서 모델을 받아요. 휴대폰에서 실행하기 좋게 고른 목록은 모델의 다운로드 탭에 있어요.
  • 받은 모델은 채팅 화면의 모델 선택과 모델의 저장된 모델 탭에 나와요.
  • 휴대폰 저장공간에서 가져오거나, 주소로 바로 받을 수 있어요.

채팅

  • 메시지는 수정, 다시 생성, 복사, Markdown 표시를 지원해요.
  • react-native-nitro-markdown로 Markdown과 수식을 빠르게 보여 줘요. Nitro Modules 다리 위의 C++ 렌더러예요.
  • 각 말풍선에서 대화를 나눌 수 있어요. 어떤 메시지에서든 새 갈래를 만들고, 원래 대화는 그대로 둬요.
  • 모델이 만든 코드는 코드 블록에 나오고, 복사할 수 있어요.
  • 채팅 기록을 관리하고, 대화를 고정할 수 있어요.

기여하거나 내 컴퓨터에서 실행해 보려면 아래를 따르세요. 변경은 LICENSE를 지켜야 해요.

준비

  • Node.js (>= 16.0.0, < 23.0.0)
  • npm 또는 yarn
  • Expo CLI
  • Android Studio (Android 개발)
  • Xcode (iOS 개발)

설치

  1. 저장소 복제

    git clone https://github.com/sbhjt-gr/InferrLM
    cd InferrLM
    
  2. 의존성 설치

    yarn install
    
  3. 환경 변수 설정 API 키와 백엔드 설정을 넣으세요. 변수 목록은 app.config.json에 있어요.

  4. 기기 또는 에뮬레이터에서 실행

    # For Android
    npx expo run:android
    
    # For iOS
    npx expo run:ios
    

REST API

InferrLM에는 HTTP 서버가 들어 있어요. OpenAI API 방식으로 모델을 열고, 같은 네트워크의 기기가 휴대폰의 모델에 접속할 수 있어요. 다른 앱, 스크립트, 서비스에 InferrLM을 연결할 수 있어요.

서버 시작

  1. InferrLM을 열어요
  2. 서버 탭으로 이동해요
  3. 서버 스위치를 켜요
  4. 서버 주소가 표시돼요 (보통 http://YOUR_DEVICE_IP:8889)

명령줄

InferrLM-CLI는 터미널 클라이언트예요. InferrLM 서버에 연결해서 명령줄에서 채팅할 수 있어요. 그 자체로 쓸 수 있고, REST API로 앱을 만드는 참고이기도 해요.

CLI는 React와 Ink로 기본 터미널 화면을 만들어요. 답이 나오는 동안 표시하고, 대화 기록을 남기고, 처음 설정을 대화로 진행해요. 전체 소스와 설치 방법은 github.com/sbhjt-gr/InferrLM-CLI에 있어요.

CLI를 쓰려면 휴대폰에서 InferrLM 서버를 켠 다음 도구를 설치하고, 그 저장소의 안내를 따르세요.

API 문서

서버가 켜지면 아무 브라우저에서 서버 주소를 열어 전체 API 문서를 볼 수 있어요. 문서에는 다음이 있어요.

  • 채팅과 완성 엔드포인트
  • 모델 관리
  • RAG와 embedding(글을 숫자로 바꿔 찾기 쉽게 하는 것) API
  • 서버 설정과 상태

자세한 내용은 REST API 문서를 보세요.

라이선스

이 프로젝트는 AGPL-3.0 라이선스로 배포돼요. 여기에서 읽어 주세요. 수정은 이 LICENSE 규칙을 따라야 해요.

기여

기여를 환영해요. issues에서 문제를 찾거나 새로 올리고 작업을 시작하세요.

기여 가이드에 기여 방법, 코드 기준, 자주 쓰는 방식이 있어요.

기술

  • 프레임워크: React Native 0.81, Expo 54 (새 아키텍처)
  • 앱 언어: TypeScript, JavaScript
  • iOS 네이티브 모듈: Swift
  • Android 네이티브 모듈: Kotlin
  • 실행 엔진: C, C++
  • 이동: React Navigation
  • 데이터베이스: OP-SQLite, Expo SQLite

감사

  • llama.cpp - Android와 iOS에서 로컬 GGUF 모델을 실행하는 기반 엔진이에요.
  • mlx-swift-lm - Apple Silicon에서 MLX 언어 모델을 실행하는 Swift 라이브러리예요. iOS의 MLX 실행을 담당해요.
  • inferrlm-llama.rn - llama.cpp를 잇는 맞춤 React Native 어댑터예요. llama.rn에서 포크해 llama.cpp를 더 자주 업데이트해요.
  • @inferrlm/react-native-mlx - iOS용 Apple Silicon MLX 엔진이에요. Nitro Modules 다리로 이 휴대폰에서 실행해요. react-native-nitro-mlx에서 포크해 유지해요.
  • react-native-nitro-markdown - React Native용 네이티브 C++ Markdown 렌더러예요. 채팅 메시지를 빠르게 표시해요.
  • react-native-rag + @langchain/textsplitters - React Native용 RAG예요. LangChain으로 문서 찾기와 넣기를 해요.
  • react-native-ai - Swift API로 Apple Foundation 모델에 접속하는 어댑터예요.
  • 여기에도 이름이 필요하다고 생각하면 알려 주세요.

Star 기록


유용하면 이 저장소에 Star를 눌러 주세요.