Tether发布跨平台边缘AI框架,推动手机端大模型本地化运行
Tether公司正式推出集成BitNet LoRA技术的QVAC Fabric系统,首次实现在消费级显卡与高端移动设备上对数十亿参数规模的语言模型进行微调与推理,将关键人工智能任务从云端迁移至终端设备,开启边缘智能新阶段。
跨硬件生态支持,性能跃升显著
该框架已适配AMD与Intel GPU、苹果Metal架构以及主流移动GPU,据官方披露,在旗舰设备上推理速度相较传统CPU基准提升2至11倍,内存占用降低高达90%。这一优化对于资源受限的移动端和轻薄笔记本尤为关键,使更大规模模型的并发执行成为可能。
实测突破:手机端实现超百亿参数模型微调
测试数据显示,Tether团队已在Pixel 9、Galaxy S25和iPhone 16等最新机型上成功完成最高达38亿参数模型的本地微调,并在iPhone 16上实现130亿参数模型的训练。此举远超当前行业普遍采用的30亿参数以下模型范式,预示着设备端个性化与领域自适应能力的重大飞跃。
战略演进:从稳定币到底层技术基建布局
此次发布是Tether持续深化基础设施角色的关键一步。此前推出的包含4100亿token的Genesis I数据集与本地AI Workbench已构成基础支撑体系。如今通过开源其QVAC与BitNet LoRA代码库,公司正构建一个开放的开发者生态,旨在打破大型科技企业在AI工具链上的垄断地位。
未来挑战:性能验证与商业兼容性待考
尽管技术潜力巨大,但核心问题仍待解答:与llama.cpp、MLC或高通自有SDK相比,其实际能耗表现、散热控制能力以及许可条款是否适合企业级部署。即便仅实现宣称效果的一半,该方案也已实质性推进智能手机作为中型语言模型训练平台的可能性,为去中心化数字基础设施注入新动能。