- 2024.06-至今 | 经验轨迹
- 2024.12-2025.04 | 学习项目 | 《自主代客泊车理论与实践》第一期
- 2023.10-2024.05 | 激光众包（多程）建图
- 2023.05-2023.08 | 学习项目 |《自动驾驶与机器人中的SLAM技术》 第一期
- 2023.03-2023.08 | 基于Nerf的三维地图重建
- 2022.03-2023.02 | 基于cartographer的语义地图
- 2021.08-2022.02 | 基于车辆轨迹的路网提取
- 2019.06-2019.09 | 学习项目 | 《手写VIO》第一期
- 2018.04-2020.12 | *应急处置机器人关键技术研究
- 2017.12-2018.09 | 水面垃圾的自动识别与打捞
- 2015.11-2016.03 | 第十一届”恩智浦”杯智能车硬件
简单记录一些项目。
2024.06-至今 | 经验轨迹
| 路口 | 收费站 |
|---|---|
 |
 |
路网吸附:
- 通用功能：轨迹，sd, hq 之间 HMM 匹配
- 轨迹吸附到sd路网，生成sd序列，作为路由
轨迹聚类 ：
- 路由内的轨迹进行聚类，DBscan + 矢量参考
拓扑生成：
- 轨迹拟合：参考轨迹 + 多轨迹融合处的 singlepath + 轨迹平滑
- 轨迹选择： HMM 计算先验概率和转移概率，viterbi 选择最佳
2024.12-2025.04 | 学习项目 | 《自主代客泊车理论与实践》第一期
| 基于EKF的IMU、轮速计与GPS融合定位 | 基于IPM方法的鱼眼相机图像拼接 |
|---|---|
 |
 |
| 车位元素拼接，构建自主泊车的车库地图 | 视觉语义+IMU+轮速融合定位 |
 |
 |
| 基于Hybrid A*的车位导航轨迹规划01 | 基于Hybrid A*的车位导航轨迹规划02 |
 |
 |
| PID控制器 | LQR控制器 |
 |
 |
核心知识点：
- 基于EKF的IMU、轮速计与GPS融合定位
- 基于IPM方法的鱼眼相机图像拼接
- 基于BiSeNet语义分割算法的车位分割
- 车位元素拼接，构建自主泊车的车库地图
- 视觉语义+IMU+轮速融合定位
- 基于Hybrid A*的车位导航轨迹规划
- 设计PID和LQR控制器，实现车辆轨迹跟踪控制
2023.10-2024.05 | 激光众包（多程）建图
| 路口1 | 路口2 |
|---|---|
 |
 |
激光单程对齐:
- v1:使用定位融合结果进行单程帧间对齐和拼接;
- v2:使用定位融合,imu,轮速,rtk紧耦合优化单程
多程对齐:
- 同一个调度任务内的激光进行track－track的对齐
半自动对齐：
- 人工标注出约束关系，实现点云与地图对齐
2023.05-2023.08 | 学习项目 |《自动驾驶与机器人中的SLAM技术》 第一期
| 左乘模型下的ESKF | 由Odom数据触发的图优化 |
|---|---|
 |
 |
| 三维体素中NEARBY14最近邻的查找 | 2d_icp_likelihood |
 |
 |
| IncNDTLO和LooselyLIO | 基于点⾯ICP的IEKF LIO系统 |
 |
 |
| 地图切分保存 | NdtMap重定位 |
 |
 |
核心知识点：
- 点云最近邻和点云配准算法的原理与应用：ICP、NDT等点云配准算法的原理与实现，并练应用到2D/3D激光SLAM中。
- 组合导航系统与LIO系统的公式细节与实现：IMU、激光雷达、GPS等传感器的数学观测模型，IMU预积分/ESKF/IEKF的公式推导，滤波和图优化两种框架下实现多传感器融合的位姿估计。
- 建图与定位项目实践：基于多传感器融合的建图系统，基于地图的融合定位。
2023.03-2023.08 | 基于Nerf的三维地图重建
| 法向 | 渲染 |
|---|---|
 |
 |
基于Nerf的道路稠密重建， 用于打造数据闭环， 提供给数据仿真以及地图重建等使用。
2022.03-2023.02 | 基于cartographer的语义地图
| 分支定界 | 栅格地图 |
|---|---|
 |
 |
使用CV组处理的AVM环视语义信息， 基于cartographer开发带前端匹配、 后端优化的语义地图构建系统， 同时设计算法对建图质量进行评估。
2021.08-2022.02 | 基于车辆轨迹的路网提取
| 栅格地图 | topo地图 |
|---|---|
 |
 |
使用车辆轨迹进行膨胀、平滑、骨架提取、骨架扫描等处理获取骨架中的junction和link。然后再对路网进行精细化处理如Junction融合、剔除细小分支、自身环分割、 B样条平滑等获取更加准确的路网信息。
2019.06-2019.09 | 学习项目 | 《手写VIO》第一期
| 预积分模拟 | 相机1被 marg 以后的信息矩阵 |
|---|---|
 |
 |
| 单目 Bundle Adjustment 求解器 | 仿真数据集（视觉特征， imu 数据）接入 VINS 代码 |
 |
 |
核心知识点： IMU 传感器预积分，基于优化的IMU与视觉信息融合，基于滑动窗口算法的VIO系统：可观性和一致性，后端优化实践：逐行手写求解器，视觉前端，VINS初始化和VIO系统。
2018.04-2020.12 | *应急处置机器人关键技术研究
| 点线特征 | 超像素 |
|---|---|
 |
 |
| demo1 | demo2 |
 |
 |
| demo3 | 机器人 |
 |
 |
- 项目概述： 基于VINS-Mono开发，采用点线特征+深度信息+IMU进行实现定位，同时将位姿以及RGB-D信息传入地图重建模块实现基于Surfel模型对场景进行三维重建。 另外负责移植场景目标识别算法（组内同学使用yolo实现） 到系统中。
- 软件环境： C++； 硬件环境： NVIDIA Xavier、 Intel realsense D435i、 PC； 开发工具： Ubuntu16.04、 ROS、 OpenCV、 PCL、 ceres等
2017.12-2018.09 | 水面垃圾的自动识别与打捞
| pic01 | pic02 |
|---|---|
 |
 |
- 项目概述： 研究清污机器人在水面上进行远程控制，使水上机器人在指定水域内巡航识别水面垃圾并进行打捞作业。
- 软件环境： C++； 硬件环境： PC； 开发工具： ROS、 OpenCV
2015.11-2016.03 | 第十一届”恩智浦”杯智能车硬件
| pcb1 | pcb2 |
|---|---|
 |
 |
| pcb打样 | 车模成品 |
 |
 |
摄像头组。利用摄像头采集并处理后得到自车位置，利用编码器测量车模速度，构成速度闭环控制；利用左右轮子的差速，实现车模转向；利用PID控制算法控制电机和舵机；利用蓝牙、上位机、OLED屏幕等对程序进行调试，实现小车循迹运行。