128 장 A100로부터 0으로부터 교육 된! Byte Open Source 3B All-In-One Multi-Modal Model Lance

동찰 Beating 모니터링에 따르면, 바이트 댄스 (ByteDance Research) 가 공식적으로 네이티브 통합 다중 모달 대형 모델 Lance 를 오픈 소스로 공개했습니다. 이 모델은 단일 프레임워크 내에서 이미지 및 비디오의 이해, 생성 및 편집을 동시에 지원하는 3B만 활성화 매개 변수를 가진 경량 모델입니다.

현재 주류 통합 모델은 대규모 매개 변수에 의존하거나 생물학적 그림 구조를 사용합니다, 그러나 Lance 는 매우 낮은 계산 능력을 사용하는 협력적인 경로를 실행시켰습니다. 연구 및 개발팀은 모델을 처음부터 완전히 훈련시키고 전체 훈련 주기의 총 계산 예산을 128 개의 A100 GPU 로 낮추었습니다.

다중 모달 및 작업 간의 내부 충돌을 해결하기 위해 Lance 는 두 가지 하드 엔진 조치를 취했습니다:
- 교차로 섞인 다중 모달 시퀀스를 처리하기 위해 이중 흐름 혼합 전문가(MoE) 아키텍처를 사용하여, 공유된 하향식 컨텍스트에 기반을 두면서 이해 및 생성의 계산 경로를 분리했습니다.
- 모달 감지 회전 위치 인코딩을 도입하여, 이미지와 비디오 이종 시각 토큰 사이의 신호 간섭을 직접 약화했습니다.

극단적인 계산 능력 압축은 성능 상한선을 낮추지 않았습니다. 3B만 활성화 매개 변수를 가진 Lance 는 이미지 및 비디오 생성 및 편집이 대부분의 벤치마크 테스트에서 기존 오픈 소스 통합 모델을 선도하며, 작은 매개 변수를 통해 생성 및 의미 이해를 고려한 저비용 경로를 실행하는 다중 작업 협력을 통해 실행됩니다.