在过往实际项目中，有的企业按TOPS排序选了算力最高的盒子，联调阶段才发现推理速度不到预期的一半。问题在于，选型时不能只看TOPS，内存带宽、推理框架适配和场景匹配度同样决定实际部署效果。

丨以TOPS为唯一衡量标准

TOPS是峰值理论算力，不等于实际推理性能。同一TOPS标称的硬件，因内存带宽、缓存层级、推理框架支持等配置不同，实际推理速度存在显著差异。选型时应以目标模型在目标平台上的实际推理表现为准，TOPS仅作参考。

丨只确认“能跑”，不关注“跑多快”

部分供应商仅标注“支持某模型”，但不提供推理速度数据。模型能加载运行，不等于能满足业务需求。例如，7B模型在8GB设备上可以运行，但如果生成速率低于业务可接受阈值，在客服场景中无法满足响应要求，在工业质检场景中无法匹配产线节拍，实际部署效果难以达标。选型时应明确要求供应商提供目标模型的推理性能数据，并优先要求基于实际业务数据测试。

丨只看模型大小，不看场景需求

27B模型在通用对话场景可能性能过剩，用于内部知识库问答时，响应延迟和资源占用可能高于实际需要，而在复杂推理或多模态场景可能仍显不足。模型规模应与场景复杂度匹配，单纯追求大参数未必能带来预期的业务效果。建议先定义场景的延迟、精度、并发需求，再反推模型规模和硬件配置。

丨只看硬件参数，不看软件栈适配

同一Jetson平台的算力盒子，不同供应商在驱动版本、推理框架预装程度、技术支持响应、部署工具链完整性上差异较大，直接影响集成周期。硬件到位后才发现驱动版本不匹配或推理框架未预装，项目可能延期数周。选型时应确认供应商能否提供完整的软件栈支持和工程对接服务，避免硬件到位后因软件适配问题拖延项目交付。

选型决策路径

• 确定目标模型规模 → 反推内存需求
• 明确推理性能要求 → 评估推理框架支持
• 锁定部署场景 → 确认环境适应性要求

如果您正在评估边缘侧大模型部署方案，需要选型建议，欢迎联系我们获取方案。