샤오미가 8억 파라미터 OCR 모델을 오픈소스로 공개했으며, 복잡한 표를 읽고 정보를 추출하며 질문에도 답할 수 있다.

동찰 Beating AI 속보, 샤오미가 Xiaomi-OCR-0을 오픈소스로 공개했다. 파라미터는 8억 개에 불과하지만 세 가지 유형의 작업을 수행할 수 있다. 문서 내 텍스트, 복잡한 표, 수학 공식을 편집 가능한 콘텐츠로 변환하고, 인보이스·영수증·증명서에서 지정된 필드를 추출해 JSON으로 출력하며, 문서와 차트의 정보를 바탕으로 질문에 답할 수 있어 더 이상 이미지 속 글자를 그대로 옮겨 적는 데 그치지 않는다.

이 모델은 알리의 Qwen3.5-0.8B를 기반으로 추가 학습되었으며, 약 1억 7천만 건의 OCR 및 문서 이해 샘플을 사용했다. 데이터 품질을 높이기 위해 샤오미는 여러 OCR 모델이 인식 결과를 교차 검증하도록 했다. 복잡한 표와 공식을 만나면 인식 결과를 다시 이미지로 렌더링해 원본 이미지와 비교하여 위치 어긋남, 글자 누락 등의 문제를 찾아낸다. 학습도 단계적으로 진행된다. 먼저 문자 인식과 레이아웃 분석을 충분히 훈련한 뒤 정보 추출, 시각적 질의응답 등의 작업을 추가한다.

샤오미가 공개한 5개 OCR 시각적 질의응답 테스트에서 Xiaomi-OCR-0은 평균 83.2점을 기록해 파라미터가 2.5배인 Qwen3.5-2B(80.9)를 넘어섰고, 4B 모델의 84.9에 근접했다. 스캔, 종이 휘어짐, 화면 재촬영 등의 간섭을 모사한 Real5 문서 분석 테스트에서는 외부 레이아웃 검출기와 결합해 95.24점을 획득했다.

현재 모델 가중치, 추론 코드, MCP 서비스, Agent Skill이 모두 오픈소스로 공개되었다. 개발자는 이를 AI Agent에 연결해 스크린샷, PDF, 영수증을 읽고 다른 프로그램에 바로 전달할 수 있는 데이터를 추출할 수 있다.