清华团队开源大模型推理引擎“赤兔Chitu”

sowang

3月14日，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”，该引擎首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，为国产AI芯片的广泛应用和生态建设带来了新的突破。

该引擎通过底层技术革新，首次实现了非H卡设备（包括英伟达Hopper架构之前的GPU卡及各类国产卡）对原生FP8模型的高效部署，摆脱对特定硬件的依赖，极大地降低了企业部署AI模型的门槛和成本。

清华大学翟季冬教授强调，赤兔凝结了团队多年并行计算与编译优化技术积累，目标是“弥合先进模型与多样化硬件之间的差距，让国产算力真正‘跑起来’，为中国大模型产业落地提供关键支撑”。清程极智CEO汤雄超表示：“赤兔的定位是成为连接多元算力与大模型应用的桥梁。我们不仅支持英伟达全系列GPU，还针对国产芯片深度优化，未来将陆续开源适配版本。”