도구 › 문서·글쓰기

FareedKhan-dev/kimi-k3-in-c

활발 16일 전 커밋 · 2026-08-27 소개

소개한 뒤 2,564개 늘어 1.4배가 됐습니다.

2.78조 파라미터 모델을 CPU 한 대로 돌리는 C 코드

로컬실행CPU추론C언어

어떤 도구인가

2.78조 파라미터 모델 Kimi K3를 CPU 한 대에서 추론하는 C99 코드다. GPU나 BLAS, 프레임워크 없이 동작하고 최대 메모리 사용량은 8.24GB다. 실행하려면 1.56TB짜리 원본 체크포인트가 필요하며, 초대형 모델을 일반 메모리 안에서 돌린다는 데 의미가 있다.

미리 알아둘 것
8토큰을 만드는 데 261.5초가 걸려 토큰당 평균 약 33초가 든다.