2024年，端侧大模型芯片竞赛进入白热化。主流厂商纷纷推出支持10亿至70亿参数模型本地运行的SoC，算力从TOPS跃升至数十TOPS，功耗却控制在瓦级，推动AI能力真正下沉到设备端。

巴古科技观察到，端侧芯片的竞争已从峰值算力转向能效比与模型适配度。存算一体、稀疏化加速等新技术，让大模型在有限内存下也能流畅推理，是2024年的关键突破。

在生态上，芯片厂商纷纷推出配套工具链，支持主流开源模型一键部署。巴古科技认为，工具链的易用性，将直接决定开发者是否愿意把AI能力放到端侧。

巴古科技判断，端侧大模型将催生隐私优先、离线可用的新一代智能硬件。巴古科技在方案选型时，优先评估芯片的模型兼容性与长期供货能力，保障客户产品竞争力。