2023年，以ChatGPT为代表的大模型席卷全球，产业界迅速将目光投向端侧部署，让模型在手机、汽车、家电等设备上本地运行，而非完全依赖云端。

巴古科技观察到，端侧部署的核心价值在于隐私保护、低时延与离线可用。但现实挑战同样严峻：主流大模型动辄数十GB，而端侧设备内存仅数GB，量化压缩与蒸馏技术成为必选项。

2023年，4位、8位量化与稀疏化推理逐步成熟，让7B级别模型可在高端手机运行。巴古科技认为，模型小型化与硬件协同设计，是端侧落地的两条主线。

巴古科技判断，端侧大模型将率先在旗舰手机、智能座舱落地，并逐步下沉。巴古科技正投入轻量化推理引擎研发，帮助客户在有限硬件上跑通实用AI能力。