modelos de linguagem

Tencent, 770B 파라미터와 1M 토큰 컨텍스트를 갖춘 Hy4 프리뷰 오픈소스 공개

Tencent은 8월 28일 Hy4 프리뷰를 공개했다. 이는 7700억 파라미터(49B 활성)와 100만 토큰 윈도우를 가진 MoE 모델로 Apache...