loomax-labs/InferrLM
loomax-labs/InferrLM has 115 GitHub stars and 24 forks. GitHot measured +1 stars in 24 hours and +1 in 7 days. Last checked 2026-11-15 15:53 UTC. Last push 2026-09-26.
측정된 스타 증가
- in 24h
- +1
- in 7 days
- +1
- in 15 days
- 업데이트 지연
- in 1 month
- 업데이트 지연
서로 겹치는 기간의 순증가량이며 일별 합계가 아닙니다. 측정값이 없으면 비워 둡니다. 스타는 관심도를 나타내며 품질을 보장하지 않습니다.
소개
InferrLM - On-device AI for iOS & Android
AIREADME.ko.md
OriginalEnglish | 简体中文 | 繁體中文 | 日本語 | 한국어 | Deutsch | Français | Nederlands
InferrLM (이전 이름은 Inferra)
InferrLM은 큰 모델과 작은 모델을 Android와 iOS 휴대폰에서 바로 쓰게 해 주는 앱이에요. 휴대폰을 같은 네트워크의 서버로도 쓸 수 있어요. Claude, Gemini, ChatGPT 같은 클라우드 모델도 지원해요. 이 휴대폰에서 실행하는 모델에는 파일을 붙일 수 있고, RAG(문서에서 관련 내용을 찾은 다음 답하게 하는 방식)도 쓸 수 있어요.
목차
데모
Apple Foundation Model을 쓰고, HuggingFace에서 MLX 모델을 받아 이 휴대폰에서 실행하는 모습이에요.
기능
이 휴대폰에서 실행
- llama.cpp로 Android와 iOS에서 로컬 GGUF(모델 파일 형식)를 실행해요.
- Apple Silicon 기기에서는 MLX를 이 휴대폰에서 실행할 수 있어요.
- OpenAI, Gemini, Anthropic 클라우드 모델도 연결할 수 있어요. 원격 모델은 본인 API 키와 InferrLM 계정이 필요해요. 원격 모델은 쓰지 않아도 돼요.
- OpenRouter, Groq, Ollama, LM Studio, Together AI처럼 OpenAI와 맞는 서비스의 기본 주소를 바꿀 수 있어요. 앱 안에서 다른 주소를 쓸 수 있어요.
- Apple Intelligence를 지원하는 기기에서는 Apple Foundation 모델을 쓸 수 있어요.
사진, 글과 그림
- 글과 그림을 보는 모델에 projector(mmproj) 파일을 붙이면 사진을 볼 수 있어요. 자세한 내용은 여기를 보세요.
- 앱 안의 카메라로 사진을 찍어 모델에 보낼 수 있어요.
문서와 RAG
- RAG로 문서를 더 잘 이해하고, 관련 내용을 답에 쓸 수 있어요.
- 파일을 붙일 수 있어요. 문서에서 글자를 읽는 기능이 모든 페이지를 이 휴대폰에서 OCR로 읽어 로컬 모델에 보내요.
- 문서를 넣고 색인을 만들어, 채팅 중에 내용을 더 빨리 찾아요.
- 원격 모델에는 파일을 바로 올릴 수 있어요.
로컬 서버
- 내장 HTTP 서버가 REST API로 같은 네트워크의 기기가 모델에 접속하게 해요. 서버 탭에서 켤 수 있어요. 주소 하나로 채팅 화면을 컴퓨터, 태블릿, 다른 휴대폰과 나눌 수 있어요.
- 전체 API 문서는 여기와 서버 첫 화면에 있어요.
- 명령줄 도구는 github.com/sbhjt-gr/InferrLM-CLI에 있고, 이 API로 앱을 만드는 예를 보여 줘요.
모델 관리
- 다운로드 관리자가 HuggingFace에서 모델을 받아요. 휴대폰에서 실행하기 좋게 고른 목록은 모델의 다운로드 탭에 있어요.
- 받은 모델은 채팅 화면의 모델 선택과 모델의 저장된 모델 탭에 나와요.
- 휴대폰 저장공간에서 가져오거나, 주소로 바로 받을 수 있어요.
채팅
- 메시지는 수정, 다시 생성, 복사, Markdown 표시를 지원해요.
react-native-nitro-markdown로 Markdown과 수식을 빠르게 보여 줘요. Nitro Modules 다리 위의 C++ 렌더러예요.- 각 말풍선에서 대화를 나눌 수 있어요. 어떤 메시지에서든 새 갈래를 만들고, 원래 대화는 그대로 둬요.
- 모델이 만든 코드는 코드 블록에 나오고, 복사할 수 있어요.
- 채팅 기록을 관리하고, 대화를 고정할 수 있어요.
기여하거나 내 컴퓨터에서 실행해 보려면 아래를 따르세요. 변경은 LICENSE를 지켜야 해요.
준비
- Node.js (>= 16.0.0, < 23.0.0)
- npm 또는 yarn
- Expo CLI
- Android Studio (Android 개발)
- Xcode (iOS 개발)
설치
저장소 복제
git clone https://github.com/sbhjt-gr/InferrLM cd InferrLM의존성 설치
yarn install환경 변수 설정 API 키와 백엔드 설정을 넣으세요. 변수 목록은 app.config.json에 있어요.
기기 또는 에뮬레이터에서 실행
# For Android npx expo run:android # For iOS npx expo run:ios
REST API
InferrLM에는 HTTP 서버가 들어 있어요. OpenAI API 방식으로 모델을 열고, 같은 네트워크의 기기가 휴대폰의 모델에 접속할 수 있어요. 다른 앱, 스크립트, 서비스에 InferrLM을 연결할 수 있어요.
서버 시작
- InferrLM을 열어요
- 서버 탭으로 이동해요
- 서버 스위치를 켜요
- 서버 주소가 표시돼요 (보통
http://YOUR_DEVICE_IP:8889)
명령줄
InferrLM-CLI는 터미널 클라이언트예요. InferrLM 서버에 연결해서 명령줄에서 채팅할 수 있어요. 그 자체로 쓸 수 있고, REST API로 앱을 만드는 참고이기도 해요.
CLI는 React와 Ink로 기본 터미널 화면을 만들어요. 답이 나오는 동안 표시하고, 대화 기록을 남기고, 처음 설정을 대화로 진행해요. 전체 소스와 설치 방법은 github.com/sbhjt-gr/InferrLM-CLI에 있어요.
CLI를 쓰려면 휴대폰에서 InferrLM 서버를 켠 다음 도구를 설치하고, 그 저장소의 안내를 따르세요.
API 문서
서버가 켜지면 아무 브라우저에서 서버 주소를 열어 전체 API 문서를 볼 수 있어요. 문서에는 다음이 있어요.
- 채팅과 완성 엔드포인트
- 모델 관리
- RAG와 embedding(글을 숫자로 바꿔 찾기 쉽게 하는 것) API
- 서버 설정과 상태
자세한 내용은 REST API 문서를 보세요.
라이선스
이 프로젝트는 AGPL-3.0 라이선스로 배포돼요. 여기에서 읽어 주세요. 수정은 이 LICENSE 규칙을 따라야 해요.
기여
기여를 환영해요. issues에서 문제를 찾거나 새로 올리고 작업을 시작하세요.
기여 가이드에 기여 방법, 코드 기준, 자주 쓰는 방식이 있어요.
기술
- 프레임워크: React Native 0.81, Expo 54 (새 아키텍처)
- 앱 언어: TypeScript, JavaScript
- iOS 네이티브 모듈: Swift
- Android 네이티브 모듈: Kotlin
- 실행 엔진: C, C++
- 이동: React Navigation
- 데이터베이스: OP-SQLite, Expo SQLite
감사
- llama.cpp - Android와 iOS에서 로컬 GGUF 모델을 실행하는 기반 엔진이에요.
- mlx-swift-lm - Apple Silicon에서 MLX 언어 모델을 실행하는 Swift 라이브러리예요. iOS의 MLX 실행을 담당해요.
- inferrlm-llama.rn - llama.cpp를 잇는 맞춤 React Native 어댑터예요. llama.rn에서 포크해 llama.cpp를 더 자주 업데이트해요.
- @inferrlm/react-native-mlx - iOS용 Apple Silicon MLX 엔진이에요. Nitro Modules 다리로 이 휴대폰에서 실행해요. react-native-nitro-mlx에서 포크해 유지해요.
- react-native-nitro-markdown - React Native용 네이티브 C++ Markdown 렌더러예요. 채팅 메시지를 빠르게 표시해요.
- react-native-rag + @langchain/textsplitters - React Native용 RAG예요. LangChain으로 문서 찾기와 넣기를 해요.
- react-native-ai - Swift API로 Apple Foundation 모델에 접속하는 어댑터예요.
- 여기에도 이름이 필요하다고 생각하면 알려 주세요.
Star 기록
유용하면 이 저장소에 Star를 눌러 주세요.