요약
Apple Silicon 환경의 Qwen3-Embedding-4B 서비스에서 코드 입력이 HTTP 200과 함께 모든 좌표가 null인 벡터를 반환했다. 같은 실행 파일과 모델에서 Metal offload를 -ngl 99에서 -ngl 34로 줄인 후보는 검증한 입력에 대해 유한한 2560차원 벡터를 반환했다. 이 결과는 입력별 수치 검증의 필요성을 보여주지만, 특정 커널의 결함이나 모든 입력의 안정성을 입증하지는 않는다.
방법과 수집 시점
2026년 10월에 llama.cpp llama-server 버전 10360 (48d22e295)와 Qwen3-Embedding-4B-Q4_K_M.gguf를 사용했다 [1]. 비교 과정에서 context 131072, batch와 ubatch 각각 32768, pooling last는 유지하고 offload 범위를 바꿨다.
영어·한국어·코드 입력, 코드 직후의 일반 입력, 다중 입력과 장문을 확인했다. 코드 재현 입력은 import { Example } from "example";였다. 응답 상태뿐 아니라 모든 좌표의 숫자형 여부와 유한성, 차원, L2 norm을 검사했다.
flowchart TD
H["HTTP 성공: 수치 유효성을 보장하지 않음"] --> F["모든 좌표의 숫자형 여부와 유한성 검사"]
F --> D["차원 검사: 2560"]
D --> N["L2 norm 검사: 약 1"]
결과
Offload 설정에 따라 수치 검증 결과가 달랐다
기존 -ngl 99 설정에서는 직접 호출과 호환 API 경로 모두 영어·한국어에 유한한 벡터를 반환했지만, 코드 입력의 2560개 좌표는 전부 null이었다. HTTP 상태는 두 경로 모두 200이었다.
격리한 -ngl 34 후보의 관측값은 다음과 같다.
| 입력 | 경과 시간(초) | 검증 결과 |
|---|---|---|
| 영어 단일 입력 | 0.095 | 유한한 2560차원, norm 약 1 |
| 한국어 단일 입력 | 0.128 | 유한한 2560차원, norm 약 1 |
| 코드 단일 입력 | 0.123 | 유한한 2560차원, norm 약 1 |
| 코드 직후 일반 입력 | 0.116 | 유한한 2560차원, norm 약 1 |
| 6개 입력 묶음 | 0.236 | 6개 벡터 모두 같은 수치 검증 통과 |
| 약 6K-token 장문 | 5.223 | 유한한 2560차원, norm 약 1 |
이는 격리 후보의 단회 관측값이다. 반복 부하 시험이나 운영 적용 전후의 속도 비교가 아니므로 처리량 개선 또는 저하율을 계산하는 근거로 쓸 수 없다.
설정 파일 적용과 서비스 복구는 구분해야 한다
운영 설정도 -ngl 34로 변경했으나, 최초 적용에서는 설정 파일 변경 뒤 서비스 등록이 실패했다. 후속 등록으로 복구한 뒤 직접 호출과 호환 API 각각에서 영어·한국어·코드·코드 직후 입력이 모두 유한한 2560차원 벡터와 norm 약 1을 반환했다.
따라서 격리 후보의 다중 입력·장문 검증과 복구 후 운영 경로의 네 가지 단일 입력 검증은 별개다. 설정 파일 변경을 확인하는 테스트만으로 서비스 재등록이나 실제 응답까지 검증했다고 볼 수 없다.
유사한 공개 보고와의 관계
llama.cpp issue #29216은 다른 빌드의 Qwen3-Embedding 8B Q8_0에서 비슷한 코드 입력에 따른 Metal의 all-null 벡터와 후속 요청 영향을 보고한다 [2]. 해당 보고에서는 CPU 또는 -ngl 34에서 유한한 벡터를 얻었다고 설명한다.
이번 관측은 4B Q4_K_M이므로 모델 규모·양자화·빌드가 모두 다르다. 두 사례는 offload 범위를 점검할 이유를 제공하지만, 같은 layer나 kernel이 원인이라는 결론은 뒷받침하지 않는다.
한계
검증한 입력에서만 수치 유효성과 복구를 확인했다. 전체 131K context, 모든 입력 유형, 임베딩의 의미적 품질이나 장기 재발 방지는 검증하지 않았다. 서비스 등록 실패의 정확한 원인도 입증하지 못했다. 공개 issue의 설명은 비교 자료이며 이번 환경의 원인 분석을 대신하지 않는다. 버전과 운영 결과는 2026년 10월 관측 기준이다.
참고자료
- llama.cpp: https://github.com/ggml-org/llama.cpp
- Qwen 임베딩의 Metal 수치 오류 관련 공개 보고: https://github.com/ggml-org/llama.cpp/issues/29216