Tencent

Tencent, 770B 파라미터와 1M 토큰 컨텍스트를 갖춘 Hy4 프리뷰 오픈소스 공개

Tencent은 8월 28일 Hy4 프리뷰를 공개했다. 이는 7700억 파라미터(49B 활성)와 100만 토큰 윈도우를 가진 MoE 모델로 Apache...