Skip to content
프로젝트

QwenAudio/Fun-ASR has 1,610 GitHub stars and 162 forks. GitHot measured +11 in 7 days and +16 in 15 days. Last checked 2026-11-15 19:45 UTC. Last push 2026-11-09.

이 수치를 측정하는 방법

What you can do

  • Far-field High-noise Recognition: Deeply optimized for far-distance sound pickup and high-noise scenarios (such as conference rooms, in-vehicle environments, industrial sites, etc.), improving recognition accuracy to 93%.
  • Supports 7 major dialects: Wu, Cantonese, Min, Hakka, Gan, Xiang, Jin
  • Covers 26 regional accents: including Henan, Shaanxi, Hubei, Sichuan, Chongqing, Yunnan, Guizhou, Guangdong, Guangxi and more than 20 other regions
  • Checkpoint-specific language coverage: Fun-ASR-Nano supports Chinese, English, Japanese, and Chinese dialects and accents. Fun-ASR-MLT-Nano supports 31 languages, with emphasis on East and Southeast Asian languages.

측정된 스타 증가

in 24h
업데이트 지연
in 7 days
+11
in 15 days
+16
in 1 month
업데이트 지연

서로 겹치는 기간의 순증가량이며 일별 합계가 아닙니다. 측정값이 없으면 비워 둡니다. 스타는 관심도를 나타내며 품질을 보장하지 않습니다.

소개

Fun-ASR speech recognition models, with native Hugging Face Transformers support for Fun-ASR-Nano and separate FunASR, vLLM and llama.cpp deployment paths.

머신러닝

README_ko.md

Original

Fun-ASR

「简体中文」|「English」|「日本語」|「한국어」

FunASR 1.4.15: 현재 Python 릴리스로 source install, MOSS 탐색 경로, realtime / industrial deployment를 제공합니다. python -m pip install -U "funasr==1.4.15". Release -> · Runtime v0.2.6 ->

MOSS-Transcribe-Diarize: OpenMOSS의 서드파티 모델로 오프라인 장시간 전사, timestamp, 익명 speaker label을 한 번에 처리합니다. FunASR service, Docker, Kubernetes, vLLM, SGLang, LocalAI, FunClip 배포 경로를 사용할 수 있습니다. MOSS 배포 ->

Fun-ASR는 통의(Tongyi) 실험실에서 개발한 엔드투엔드 음성 인식 모델 제품군입니다. 체크포인트별 지원 범위가 다릅니다. Fun-ASR-Nano-2512는 중국어·영어·일본어와 중국어 방언·지역 억양을 지원하고, Fun-ASR-MLT-Nano-2512는 31개 언어를 지원합니다. 두 체크포인트 모두 FunASR에서 추론과 서빙에 사용할 수 있습니다.

홈페이지 | 주요 기능 | 성능 평가 | 환경 설정 | 사용법

모델 저장소: Fun-ASR-Nano(ModelScope, HF / Transformers · HF / FunASR, GGUF) · Fun-ASR-MLT-Nano(ModelScope, Hugging Face)

온라인 체험: ModelScope Space, HuggingFace Space

Open In Colab

실행 가능한 예제는 quickstart 추론, 직접 추론, 화자 분리, vLLM 배치 추론, Streaming SDK를 다룹니다.

모델 지원 작업 학습 데이터 파라미터
Fun-ASR-Nano
(⭐ HF / Transformers · HF / FunASR)
중국어·영어·일본어 음성 인식. 중국어 7개 방언 + 26개 지역 억양 지원. 영어·일본어도 다양한 억양 대응. 가사 인식·랩 음성 인식 탑재. 수천만 시간 8억
Fun-ASR-MLT-Nano
(⭐ 🤗)
중국어, 영어, 광둥어, 일본어, 한국어, 베트남어, 인도네시아어, 태국어, 말레이어, 필리핀어, 아랍어, 힌디어 등을 포함한 31개 언어 음성 인식. 수십만 시간 8억

CPU/엣지 환경에서는 Fun-ASR-Nano를 llama.cpp / GGUF 런타임으로 단일 바이너리 실행할 수 있습니다(Python/GPU 불필요, FSMN-VAD 내장). 이 GGUF 경로는 Nano의 중국어·영어·일본어 및 중국어 방언 범위에 해당하며, 한국어 인식은 위의 MLT-Nano/FunASR GPU 경로를 사용하세요. funasr.com/llama-cpp · Nano GGUF · FSMN-VAD GGUF

Transformers 네이티브 빠른 시작

정식 Transformers 5.17.0으로 음성을 전사합니다. FunASR toolkit 설치나 원격 Python 코드가 필요 없습니다. 기본 Nano는 중국어·영어·일본어를 지원하며 31개 언어의 MLT는 별도 checkpoint입니다.

python -m pip install 'transformers==5.17.0' 'torch==2.10.0' 'torchaudio==2.10.0' 'librosa==0.11.0' 'soundfile==0.13.1'

Python 가이드 · 로컬 오디오·배치·키워드 · Notebook · Space

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor

torch.set_num_threads(4)
model_id = "FunAudioLLM/Fun-ASR-Nano-2512-hf"
revision = "d93b302ee7fd505e1b3576120fc142fc6f7820e1"
audio = "https://huggingface.co/FunAudioLLM/Fun-ASR-Nano-2512/resolve/272c57b82523ada6fd87095e955f8e29100979ab/example/en.mp3"

processor = AutoProcessor.from_pretrained(
    model_id, revision=revision, trust_remote_code=False, token=False
)
model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, revision=revision, trust_remote_code=False, token=False,
    dtype=torch.float32,
).to("cpu").eval()
inputs = processor.apply_transcription_request(
    audio=audio, language="en",
    processor_kwargs={
        "return_tensors": "pt",
        "audio_kwargs": {"sampling_rate": 16000},
        "text_kwargs": {"padding": True},
    },
)
with torch.inference_mode():
    generated = model.generate(**inputs, max_new_tokens=128, do_sample=False)
new_tokens = generated[:, inputs.input_ids.shape[1]:]
print(processor.batch_decode(new_tokens, skip_special_tokens=True)[0])

주요 기능 🎯

  • 원거리·고소음 환경 대응: 회의실, 차량, 공장 등 고소음 환경에 최적화, 인식 정확도 93% 달성
  • 31개 언어 다국어 지원(MLT-Nano): 동아시아·동남아시아 언어를 중심으로 31개 언어 인식
  • 한국어 지원: Fun-ASR-MLT-Nano를 통한 한국어 음성 인식
  • 핫워드 기능: 도메인 특정 용어의 인식 정확도 향상
  • FunASR 파이프라인 화자 분리: 별도의 FSMN-VAD와 CAM++를 조합해 화자 레이블 생성
  • vLLM 추론 엔진: 배치 추론으로 최대 340배 실시간 속도

환경 설정 🐍

git clone https://github.com/QwenAudio/Fun-ASR.git
cd Fun-ASR
pip install -r requirements.txt

기능 범위

  • 타임스탬프(호스팅 소스별 상태): 현재 ModelScope의 FunAudioLLM/Fun-ASR-Nano-2512 체크포인트에는 학습된 ctc_decoder.* / ctc.* 텐서 86개가 모두 포함되어 있습니다(model.pt SHA-256: 81fec8616083c69377f3ceef36aba3655660ee0ca69a5d4a1e9810cd340ca499). 반면 Hugging Face revision 272c57b82523ada6fd87095e955f8e29100979ab는 CTC 텐서가 없는 이전 텍스트 전용 아티팩트입니다(SHA-256: 55ae0d2fee369f0f11cce0795f6927934ad17cf11b278a7e56a51272074160bb). 이 저장소의 현재 model.py를 funasr>=1.3.26과 함께 사용하면 불완전한 체크포인트의 CTC를 비활성화하여 텍스트 전사는 유지하되 임의의 60 ms 타임스탬프는 반환하지 않습니다. Hugging Face 가중치와 remote code가 동기화되기 전에는 문자 단위 타임스탬프에 hub="ms"를 사용하세요(issue #70, FunASR #3496).
  • 화자 분리: Nano/MLT 체크포인트 자체는 화자 레이블을 출력하지 않습니다. FunASR에서 fsmn-vad와 cam++를 조합합니다.

사용법 🛠️

기본 추론

from funasr import AutoModel

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-MLT-Nano-2512",  # 한국어는 MLT 모델 사용
    trust_remote_code=True,
    device="cuda:0",
    hub="hf"
)

result = model.generate(
    input=["audio.wav"],
    batch_size=1,
    language="韩文",
)
print(result[0]["text"])

FunASR 파이프라인을 사용한 화자 분리

이 예제에서는 FSMN-VAD가 오디오를 분할하고, Fun-ASR가 전사하며, CAM++가 화자 레이블을 지정합니다. sentence_info 구간은 VAD 세그먼트 경계이며 체크포인트 기반 문자 단위 타임스탬프가 아닙니다.

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-MLT-Nano-2512",
    trust_remote_code=True,
    device="cuda:0",
    hub="hf",
    vad_model="fsmn-vad",
    spk_model="cam++",
    punc_model="ct-punc"
)

result = model.generate(input=["meeting.wav"], batch_size=1)
for item in result:
    if 'sentence_info' in item:
        for sent in item['sentence_info']:
            print(f"[화자{sent['spk']}] {sent['sentence']}")

성능 평가 📊

모델 GPU 속도 CPU 속도 vs Whisper-large-v3
Fun-ASR-Nano (vLLM) 340x 실시간 — 🚀 26배 빠름
SenseVoice-Small 170x 실시간 17x 실시간 🚀 13배 빠름
Whisper-large-v3 13x 실시간 ❌ 기준

에코시스템

Fun-ASR-Nano는 FunAudioLLM 패밀리의 일원입니다:

프로젝트 설명 Stars
FunASR 산업용 음성 인식 툴킷 — VAD, ASR, 구두점, 화자 분리
SenseVoice 초고속 ASR + 감정 인식 + 오디오 이벤트 감지
CosyVoice 자연 음성 생성 — 다국어, 제로샷 클로닝
FunClip AI 음성 인식 기반 비디오 클리핑

라이선스

Apache 2.0