泰达推出跨设备轻量化微调方案,赋能移动端大模型训练
泰达公司在QVAC Fabric平台正式发布BitNet LoRA微调框架,专为优化微软BitNet单比特大语言模型的训练与推理流程而设计。该系统突破性地使十亿参数量级的模型可在笔记本电脑、消费级显卡及智能手机等边缘设备上完成全周期微调任务。
移动端首现单比特模型微调能力,效率远超预期
该框架首次实现BitNet模型在移动GPU环境下的完整微调支持,覆盖Adreno、Mali及苹果Bionic等多种主流架构。实测数据显示,1.25亿参数规模模型可在约10分钟内完成训练,10亿参数版本仅需约1小时。即便在智能手机端,亦能稳定运行最高达130亿参数的扩展模型。
异构硬件全面适配,非英伟达生态迎来新机遇
此框架是首个在英特尔、AMD及苹果芯片平台上成功部署单比特大语言模型LoRA微调的技术方案,打破对英伟达硬件的依赖。在移动设备上,其推理速度相较传统CPU提升2至11倍,内存占用较常规16位模型最高减少77.8%,大幅优化资源利用效率。
推动AI训练向分布式与本地化演进
泰达表示,该技术有望重构人工智能开发范式,减少对集中式云算力资源的依赖,加速联邦学习、隐私计算等新型应用落地,助力构建更开放、自主的本地化智能生态。