needle_cactus-compute

needle

Needle 是一个实验性小型 AI 项目，将 Gemini 3.1 蒸馏为仅 2600 万参数的简单注意力网络，专为消费设备（手机、手表、眼镜等）上的个人 AI 工具调用设计。模型权重和数据生成方法完全开源，可在 Mac/PC 本地快速微调。提供 Web 界面和 Python API，支持一键测试自有工具、微调模型及推理。生产环境中在 Cactus 平台上可达每秒 6000 token 的预填充速度和 1200 token 的解码速度。