雷达摄像头-电子哨兵
基本信息
| 项目 | 详情 |
|---|---|
| 项目名称 | 雷达摄像头-电子哨兵 |
| 小组名称 | ZZZ电子哨兵 |
| 项目方向 | 嵌入式 / 边缘视觉 / IoT |
| 项目周期 | 2026年7月 — 2026年8月 |
小组成员
| 姓名 | 角色 | GitHub |
|---|---|---|
| 蒋志文 | 组长 | @jjzzwwowo |
| 李创成 | 组员 | @cc-rechard |
| 庞伟业 | 组员 | @pwynb111 |
| 罗宇喆 | 组员 | @Luoluoss2 |
| 高亮赐 | 组员 | @miss-QwQ |
项目简介
基于 Fanconn RV1126B-P 摄像头与 HLK-LD2450 毫米波雷达的端侧电子哨兵。摄像头平时提供普通视频；雷达检测到目标进入设定警戒区后，触发板端 RKNN YOLOv5 推理对目标进行分类，系统将雷达目标的位置/速度与视觉识别结果在网页上统一展示，并记录报警事件。
雷达读取、视频取帧、YOLO 推理、事件存储与网页服务全部运行在摄像头内部，不依赖云服务器。
技术栈
硬件端
- 摄像头: Fanconn RV1126B-P（IMX415 传感器，4 GB + 64 GB，Buildroot IPC 固件）
- 雷达: HLK-LD2450 毫米波雷达，UART 串口（256000 8N1），最多输出 3 个目标的位置、速度与距离分辨率
嵌入式软件
- 语言: C++
- 视觉推理: RKNN YOLOv5（板端 NPU，640×640 输入）
- 视频管线: 自写 RTSP 客户端（H.265 子码流）+ Rockchip MPP 硬解 + RGA(im2d) 硬件缩放
- 构建与部署: CMake、aarch64 交叉编译、ADB/SSH 上传、init.d 开机自启
网页端
- 后端: 自写轻量 HTTP 服务器（keep-alive 连接复用、SSE 实时推送、turbojpeg 编码）
- 前端: 原生 HTML / CSS / JS，Canvas 绘制实时视频与雷达平面
- 测试: 主机端 CTest 单元测试
核心功能
- 雷达目标监测 — 串口接收 LD2450 固定 30 字节上报帧，解析最多 3 个目标的编号、X/Y 坐标、速度与距离分辨率；支持分段数据、前导噪声、坏帧恢复与连续多帧。
- 警戒区与触发状态机 — 软件矩形警戒区（四周扩大退出区，参数可配），
Idle → Detecting → Cooldown防抖状态机，连续 3 帧进入确认、5 帧离开确认。 - 端侧视觉识别 — 提供事件式与连续式两条取帧管线：事件式经
take-photoCGI 取帧，单次约 0.6s；连续式由自写 RTSP 客户端拉取子码流，经 MPP 硬解、RGA 缩放后送入 RKNN YOLO。识别结果与固件自带参考 demo 在黄金图上逐像素对齐，检测框坐标误差 <5px。 - 低功耗按需推理 — 常驻服务后台收流解码，待机（Idle/Cooldown）时 YOLO 零开销；雷达触发进入 Detecting 后从缓存取最新帧按需推理，待机恢复后自动停止。
- 网页实时监控 — 局域网内浏览器访问板端网页：实时视频低延迟轮询（整链路实测约 100ms）、YOLO 检测框叠加、雷达平面可视化（目标按速度着色、警戒区拖拽调整、1m 网格）、参数热生效。
- 报警事件与截图 — 报警事件列表 + 带框截图与 4K 高清截图双份保存，支持单条/批量删除（同步清理事件记录与截图文件）。
- 时间自动校准 — 板端无 RTC 且无外网，浏览器加载页面时上报真实时间，板端校准系统时钟（每 60s 一次），时区为北京时间，事件与文件时间戳显示正确。
项目截图
摄像头硬件
雷达硬件
网页界面
视频
设置
报警事件
截图
系统架构图
代码仓库
- 项目源码: https://github.com/jjzzwwowo/electronic_sentinel
- 项目文档: 见仓库内
README.md与PROJECT_DEVELOPMENT_ROADMAP.md
演示
无公网在线演示。系统在板端提供局域网网页服务，同一局域网内浏览器访问 http://10.0.0.254:8080 即可查看实时视频、雷达平面与报警事件。
项目亮点
- 全部推理、存储与网页服务运行在摄像头端侧，不依赖云服务器
- 雷达低功耗监测 + 视觉按需唤醒，待机时推理零开销
- 自写 RTSP 客户端 + MPP 硬解 + RGA 硬件缩放，全硬件视频取帧管线
- 与固件参考 YOLO demo 逐像素对齐，检测框坐标误差 <5px
- 主机单元测试覆盖雷达解析、状态机、视觉解码与网页后端全链路
项目总结
本项目完成了从雷达接入、警戒区触发、端侧 YOLO 识别到网页展示的完整闭环，并在真实摄像头硬件上验证：实机读取 30/30 有效雷达帧，警戒区触发与冷却状态切换正常；视觉识别与固件参考 demo 对齐；网页端支持实时视频、雷达平面、报警事件管理与时间校准。