← 返回首页作品
COMPUTER VISION · EDGE AI

AI Smart Monitoring System

边缘端实时人脸识别与跌倒姿态检测综合监控平台

Python 3.12 SCRFD + ByteTrack InsightFace ArcFace YOLOv8-Pose (TensorRT) FastAPI + React 18 PostgreSQL
Video In RTSP / WebCam Face Pipeline SCRFD ➔ ByteTrack ➔ ArcFace 512-d Feature Search Fall Detection YOLOv8-Pose (TensorRT FP16) Isolated GPU Worker Zero-Loss Hub FastAPI Async Engine React 18 + PostgreSQL EDGE AI PIPELINE · REALTIME 30+ FPS

项目介绍与痛点

传统的监控系统通常停留在单纯的人脸抓拍或离线视频录制,无法在低功耗边缘端设备上同时处理多路并发、高精度人脸识别以及毫秒级的突发跌倒告警。在真实工程场景中,多模型并发容易争抢显存、卡顿甚至崩溃。

本项目构建了一套生产级、端到端的边缘智能监控平台,将 轻量级人脸检测识别(SCRFD + ByteTrack + ArcFace) 与 姿态跌倒检测(YOLOv8-Pose TensorRT FP16) 深度融合,兼具高吞吐量与极低延迟。

核心技术架构与实践

1. 轻量化人脸检测与跨帧追踪:选用 SCRFD 算法作为前置检测器,在 CPU/轻量 GPU 上实现极低推理开销;结合 ByteTrack 算法分配持久化 Track ID,有效解决目标在遮挡、晃动时的频闪和 ID 切换问题;后接 InsightFace ArcFace 提取 512 维特征向量,支持动态底库毫秒级比对。

2. 独立 GPU Worker 跌倒检测与 TensorRT 加载:为了避免大模型锁死主异步事件循环,跌倒检测模块采用独立的 GPU 工作进程部署。通过 NVIDIA TensorRT 将 YOLOv8-Pose 量化加速为 FP16 引擎,大幅削减显存占用与推理耗时,确保复杂多姿态动作下的实时骨骼捕捉。

3. 零丢帧事件流与异步流水线:使用 FastAPI 异步非阻塞网络层构建实时 WebSocket 与 REST API,告警事件持久化到 PostgreSQL;前端采用 React 18 构建现代化监控大屏,实现低延迟实时视频流展示与历史回溯。