ST创意“基于单管道多路视频流批处理的NPU高并发推理方法及系统”专利获授权
天眼查APP显示,近日,创意信息技术股份有限公司申请的“基于单管道多路视频流批处理的NPU高并发推理方法及系统”专利获授权。摘要显示,本发明涉及人工智能视频处理及硬件加速技术领域,公开了一种基于单管道多路视频流批处理的NPU高并发推理方法及系统,通过将多路视频流在NPU端进行动态批量合并处理,避免频繁的内存拷贝与CPU参与,减少数据传输与模型加载次数、内存占用与加载延迟;通过单条推理管道即可支持多达32路视频输入,相较于多管道方案无需重复加载模型,大幅降低模型加载次数与内存占用,从而显著提升并发能力与吞吐率,支持断流容错和动态批大小调整,提高稳定性。本发明能够在保持低延迟的同时,提高系统的处理效率和资源利用率,适用于视频监控、智能交通、安防等多路视频AI分析场景。



