GAAS
Search…
Powered By GitBook
无人机自动驾驶软件系列 E02 : 通过无人机机载摄像头构建建筑物 3D 模型
本讲中,我们将会介绍一个真实世界的无人机使用案例: 通过无人机机载摄像头构建建筑物3D模型。在接下来的部分里,我们会讲解如何基于上一讲的内容实现这一目的。
我们建议开发者使用镜像来安装 GAAS,这样可以节省很多的时间和精力:
我们建议开发者使用镜像来安装 GAAS,这样可以节省很多的时间和精力:上一讲里我们介绍了如何通过 MAVROS 以及 OFFBOARD 模式在 Gazebo 模拟器中控制无人机飞行。本讲中,我们会讲解如何通过上一课中用到的 API 以及本课提供的建模网站(完全免费) 来实现这一任务。
本教程在虚拟机环境下(VMWare,VirtualBox等)无法完成。
实现这一任务包括一下5个步骤:
    1.
    启动 Gazebo 模拟器;
    2.
    起飞无人机并开始录制一个 rosbag;
    3.
    控制无人机围绕建筑物绕圆周飞行一圈;
    4.
    停止 rosbag 录制并使用提供的脚本提取图片;
    5.
    使用提供的网站构建模型(构建模型所需环境配置过于复杂,之后的教程会详细讲解)。
前两步比较直接也很简单,对于第三步和第四步,我们会提供一个 python 脚本来辅助你来完成,但是实现并不是最好的。对于第五步,我们会在最后一部分讲解如何使用提供的网站来实现模型构建。
如果你想控制实机飞行并且构造一个实际环境的 3D 模型:
    1.
    使用遥控器控制无人机起飞 或者通过提供的 Python API 控制无人机起飞(因安全问题,暂时不推荐);
    2.
    开始录制 Rosbag;
    3.
    控制无人机围绕建筑物飞行;
    4.
    将无人机降落然后处理 Rosbag;
    5.
    将图片上传到提供的网站上建模。
接下来我们将从头开始讲解在 Gazebo 模拟器中构建模型,最终得到的结果如下图所示。
Fig 1, 3D 模型
运行 Gazebo 时,如果一切正常但出现以上报错信息,该报错信息并不会影响 Gazebo 运行,可以继续进行到下一步。
如果您知道如何解决以上报错,欢迎在 GAAS GitHub 页面提交 PR,帮助我们减少不必要的报错信息。

更新环境

开始前,记得更新 GAAS:
1
# 改变路径到 GAAS 所在路径,使用 git pull 更新 GAAS
2
cd (GAAS_PATH)
3
git pull origin master
Copied!
接下来,将 Gazebo 仿真用到的文件拷贝到 PX4 文件所在目录中:
1
cp -r (GAAS_PATH)/simulator/launch/* ~/catkin_ws/src/Firmware/launch/
2
cp -r (GAAS_PATH)/simulator/models/* ~/catkin_ws/src/Firmware/Tools/sitl_gazebo/models/
3
cp -r (GAAS_PATH)/simulator/worlds/* ~/catkin_ws/src/Firmware/Tools/sitl_gazebo/worlds/
4
cp -r (GAAS_PATH)/simulator/posix-config/* ~/catkin_ws/src/Firmware/posix-configs/SITL/init/ekf2/
Copied!
完成后,你可以继续到下一步.

启动仿真

如果你一步一步的做完了第一讲并且更新了本地环境,你可以直接执行下列命令来启动 Gazebo 仿真环境:
1
roslaunch px4 sfm.launch
Copied!
上述命令会一同启动 MAVROS 以及 Gazebo 仿真,启动后,你会发现你的无人机以及一栋房子出现在模拟器环境中,这栋房子将会是你建模的目标。
Fig 2, Gazebo 仿真环境
如果执行命令后Gazebo窗口不能正常开启且terminal中提示 "Getting models from ...", 你可以下载 https://bitbucket.org/osrf/gazebo_models/get/e6d645674e8a.zip 并将解压后的文件分别复制到 /home/your-user-name/.gazebo/models
(如果没有 models 文件夹需要手动新建)。
如下图所示,解压后的模型文件必须直接拷贝到指定位置,并不是以一个大文件夹的形式拷贝到该目录下。
如果上面这个链接无法下载的话(有用户反馈 18.04 无法下载),可以通过这里下载:https://drive.google.com/open?id=1dvkt3PKjUs4pXdo-5N3IMo11tk9ODVfJ
1
Copied!
在你进行下一步之前,记得通过如下命令检查 MAVROS 的连接情况:
1
# 确保 "connected" 为 "True"
2
rostopic echo /mavros/state
Copied!
当你启动仿真后,IMU,气压计,摄像头图像信息以及 GPS 等传感器信息会通过 MAVROS 发布出来; 你可以通过如下命令来查看可用的 ROS 主题:
1
rostopic list
Copied!
通过 MAVROS 发布出来的主题包括:
1
/gi/simulation/left/image_raw
2
/gi/simulation/right/image_raw
3
/mavros/imu/diff_pressure
4
/mavros/imu/mag
5
...
Copied!
而我们用来构建 3D 模型的主题只是左(或者右)摄像头信息:
1
/gi/simulation/left/image_raw
Copied!
你可以通过 Rviz 来查看发布出来的摄像头图片:
1
rviz
Copied!
在 Terminal 中输入 rviz 后你可以看到一个如下的窗口:
Fig 2, RVIZ
在窗口左下角,选择 “Add”->“by topic”->”/gi/simulation/left/image_raw“, 之后你可以看到当前的左目摄像头信息。我们接下来会在 Gazebo 环境中构建前方建筑物的 3D 模型。
Fig 3, 选择图像topic
Fig 4, rviz窗口中的图像展示

录制一个 Rosbag

若要生成一个 3D 模型,我们需要围绕建筑物或者环境的一组图片,而这些图片需要是从建筑物不同角度拍摄的连续图片(连续图片间需要有关于建筑物的共视区) 。Rosbag 类似于一个盒子,可以将ROS/MAVROS 发布出来的消息保存在内, 所以 Rosbag 非常适合保存摄像机发布出来的图像信息。
因为我们将使用左目摄像头,我们只需要订阅并存储左目摄像头的信息:
1
rosbag record /gi/simulation/left/image_raw -O sfm.bag
Copied!
接下来,起飞无人机:
1
python (GAAS_PATH)/demo/tutorial_2/2_Struction_from_Motion/px4_mavros_run.py
Copied!
无人机会起飞到 3 米高左右。接下来我们可以控制无人机围绕建筑物飞行,同时我们需要注意在控制无人机飞行的过程中,我们需要保持无人机的头部,也就是摄像头正前指向建筑物, 为此我们提供了一个脚本控制无人机围绕圆形飞行:
1
python (GAAS_PATH)/demo/tutorial_2/fly_circle.py
Copied!
无人机将会围绕建筑物飞行一圈,最终它将会降落在起飞点的地面上。
在录制 bag 过程中,若要构建一个比较好的模型,我们需要时刻注意一下几点:
    1.
    围绕建筑物拍摄的连续图片需要有一定视野上的重叠;
    2.
    避免幅度较大的 Yaw 运动;
    3.
    尽量将建筑物的表面都拍摄下来。
无人机降落后,停止 Rosbag 的录制,你会得到一个名为 “sfm.bag” 的 Rosbag, 接下来,我们将把 Rosbag 处理成一系列图片。

处理 Rosbag

为了构建 3D 模型,我们需要将 rosbag 中的图片信息提取出来,你可以使用 tutorial_2 提供的 python 脚本来实现这个功能。
1
python bag2image.py --bag (PATH-TO-YOUR-BAG) --output_path (IMAGE-OUTPUT-FOLDER) --image_topic /gi/simulation/left/image_raw
Copied!
完成上一步后,你会将所有的图片从 rosbag 提取出来并且存储到本地文件夹内。
请控制上传图片的数量;小场景建模的图片通常不超过 100 张(你可能需要进行图片筛选)。确保每张图片有 “重叠”,并尽量覆盖物体全部。

构造模型

3D 建模的环境配置比较复杂,为此我们提供了一个网站来帮助建模。通过网站即可构建模型,你所需要做的只是将图片上传到如下网站:
1
aviation.giai.tech
Copied!
Fig 5, 3D 建模网站首页
点击 “构建自己的模型” 后,点击 “Add FIles” 选择物体的图片(不支持批量上传),之后点击提交。
下图是真实世界的一个使用案例,通过 76 张图片构建出来的的3D模型。
Fig6, 吉林大学南岭校区,飞手控制无人机飞行并采集76张图片后的建模结果
将图片上传到网站后,因为计算能力限制,您需要等待一段时候后建模才可以完成。建模完成后,你会收到一封邮件,根据邮件提示即可得到模型。
Last modified 1yr ago