hollance/neural-engine

---

Project: hollance/neural-engine

소개

• 범위: 최근 iPhone 및 iPad에 사용되는 온디바이스 NPU인 Apple Neural Engine (ANE) 에 관한 커뮤니티 관리 지식 베이스.
• 목표: Apple 하드웨어에서 Core ML 모델을 실험하며 저자가 발견한 실용적인 정보를 수집, 정리 및 공유.
• 대상: Core ML 모델을 ANE에서 실행하려는 iOS / macOS 개발자 및 해당 칩의 기능과 한계에 관심이 있는 모든 분.

중요성

• ANE는 지원되는 모델에서 CPU/GPU 대비 수십 배의 속도 향상을 제공할 수 있지만, 모델을 ANE 호환으로 만드는 방법에 대한 공식 문서가 없습니다.
• 개발자들은 종종 모델이 GPU로 폴백되거나 느리게 실행되어 혼란을 겪고 시간을 낭비합니다. 이 저장소는 포럼 게시물과 개인 메모에 흩어져 있던 귀중한 경험들을 집대성했습니다.

핵심 내용 (README에 나열된 항목)

섹션	학습 내용
Supported devices	ANE가 탑재된 iPhone/iPad 모델.
Why care about the ANE?	NPU 사용 시의 성능 및 전력 효율 이점.
Running on the ANE	Core ML 모델을 ANE에서 실행하기 위한 단계 (모델 변환, MLModelConfiguration 등).
Preventing ANE use	ANE가 적합하지 않을 때 모델을 CPU/GPU에서 강제로 실행하는 방법.
Detecting ANE usage	MLModelConfiguration 및 OS 로그를 사용하여 ANE가 실제로 사용되는지 확인하는 방법.
Programming the ANE directly	현재(저장소 기준) 가능성 – 기본적으로 없음; ANE는 Core ML을 통해서만 접근 가능.
ANE vs GPU	아키텍처 차이 및 상호 교환이 불가능한 이유.
Precision (16‑bit?)	ANE가 지원하는 숫자 형식 및 모델 정확도에 미치는 영향.
Unsupported Core ML layers	CPU/GPU로 폴백을 유발하는 작업 목록.
Using os_log	ANE 실행에 관한 경고/오류를 확인하기 위한 시스템 로그 읽는 법.
Model surgery	지원되지 않는 레이어를 대체하는 기술 (예: 융합, 재작성, 근사화).
Internals	리버스 엔지니어링을 기반으로 한 ANE 내부 데이터 흐름에 대한 저자의 추측.
Other weird issues	실제 환경에서 관찰된 엣지 케이스 버그 및 특이 사항.
Reverse‑engineering	ANE 동작을 조사하기 위한 도구, 스크립트 및 커뮤니티 활동 링크.

저장소 사용 방법

1. 문서 읽기 – docs/ 내의 각 markdown 파일은 독립적입니다. why-care.md 또는 running-on-ane.md부터 시작하세요.
2. 기기 확인 – docs/supported-devices.md를 사용하여 대상 하드웨어가 ANE를 갖추고 있는지 확인하세요.
3. 검증 – Core ML 모델 배포 후, is-model-using-ane.md의 단계를 따라 실제로 NPU에서 실행되는지 확인하세요.
4. 기여 – 새로운 지원되지 않는 레이어나 해결책을 발견하면 README의 안내에 따라 issue를 열거나 pull request를 제출하세요.

제한 사항

• 정보는 경험적이며 Apple의 OS 버전이나 하드웨어 개정에 따라 구식이 될 수 있습니다.
• ANE를 직접 프로그래밍하기 위한 공식 API는 없습니다; 모든 작업은 Core ML을 통합니다.
• 일부 섹션은 여전히