Bittensor Subnet 3实现去中心化大模型训练突破

Bittensor网络的Subnet 3成功在无中央数据中心支持下,完成对拥有720亿参数的AI模型Covenant-72B的训练。该模型由全球超过70名节点参与者协作构建,所有节点仅通过普通家庭互联网连接参与,验证了分布式计算在大规模人工智能训练中的可行性。在MMLU基准测试的零样本条件下,Covenant-72B取得67.1分,超越Meta的LLaMA-2-70B模型(65.6分),为去中心化计算能力提供了可验证的实证。

两项核心技术支撑高效协同训练

此次训练覆盖1.1万亿词元数据,依赖两大创新机制实现高效协作。其一,SparseLoCo技术结合top-k稀疏化、2位量化与跨节点误差反馈,使通信开销降低146倍,无需中央服务器即可维持全网同步。其二,Gauntlet系统负责实时评估各节点的贡献度,基于损失函数与OpenSkill排名算法进行考核,所有评分结果上链存证,确保过程完全透明,每位参与者均可获取可验证的贡献记录。

市场反应迅速,代币价值显著提升

Covenant-72B训练成功的消息公布后,$TAO代币价格应声上涨14%,达到236美元。过去30天内累计涨幅达36%,六个月交易量增长167%。灰度在此期间扩大TAO信托基金规模,为机构投资者提供直接接入渠道。这一技术成果与市场兴趣的叠加,推动加密资产领域对AI相关项目关注度持续上升。该模型的分数具备可复现性与标准测试条件,使其区别于早期缺乏实证的宣称,成为去中心化人工智能发展的可信标杆。整个网络以社区驱动方式运行,为未来大规模分布式模型训练提供了可复制的范式。