Project를 진행하다 보면 Intel Realsense Camera 사용하는 경우가 많다.

Github에서 간단하게 사용하는 방법을 Review 해보고자 한다.
Github Link : Realsense 공식 Wrapper

일단, 본 패키지를 clone 하기 전 Readme를 쭉 따라가 보도록 하자.

Ubuntu 22.04 환경 기준, 총 3개의 Step을 밟아야 한다.

1. Ros2 설치
   
   Ros2 설치 Reference : Ros2 공식 설치

2. Realsense Camera를 사용하기 위한 SDK 설치
   
   Camera SDK를 설치할 때부터, 사용하고 있는 환경에 따라 설치 종류가 달라진다.
   크게 3가지 정도로 볼 수 있는데,

   공식 Wrapper에서도 강조하듯, 가능한 한 가지 옵션만 선택할 것. (Conflict)

   2-1. Jetson SBC를 사용하는 경우 : Jetson 환경 설치
   2-2. ROS apt를 활용한 설치

   • sudo apt install ros-<ROS_DISTRO>-librealsense2\*
     대부분 이 커맨드를 활용한다. ROS_DISTRO에는 본인 ROS 버전을 넣으면 된다.
     ex) ROS2 Humble의 경우 : ROS_DISTRO = humble

   2-3. 직접 Build

   • jetson Tx2를 활용했을 때에는 직접 Build를 하는 방식을 사용했다.
   • 이후 Jetson Orin AGX를 활용할 때에는 1번을 활용했다.
   • 여기서 3번에 대한 설명은 여기로 마친다.

3. Realsense Package 설치
   3-1. Binary 활용.(간단한 Check 용으론 용이, 그러나 수정이 불가능함.)
   3-2. Git clone 후 진행하기.

   • First Step : Git clone을 위해 Ros2 Workspace 내 src 폴더로 들어가기.
     Change Directory를 진행해 ~/작업장소/src폴더에 들어왔다면 아래의 명령어를 입력하자.

     git clone https://github.com/IntelRealSense/realsense-ros.git -b ros2-master
     초기 Branch는 ros2-master가 Master Branch로 설정되어 있어 -b 뒷 부분은 사실 없어도 된다.

   • Second Step : Dependency 설치하기.
     Directory를 상위 Workspace로 바꾼다. 이 과정을 제대로 진행하지 않으면 rosdep 인식이 실패할 가능성이 있다.

       sudo apt-get install python3-rosdep -y
       sudo rosdep init # "sudo rosdep init --include-eol-distros" for Foxy and earlier
       rosdep update # "sudo rosdep update --include-eol-distros" for Foxy and earlier
       rosdep install -i --from-path src --rosdistro $ROS_DISTRO --skip-keys=librealsense2 -y
   

   • Third Step : Build 후 Source
     colcon build 명령어를 입력해 패키지를 빌드한다.
     이 과정에서 생기는 오류에 대한 리뷰는 다른 게시글에서 다루도록 하겠다.

   ROS_DISTRO=<YOUR_SYSTEM_ROS_DISTRO>  # set your ROS_DISTRO: iron, humble, foxy
   source /opt/ros/$ROS_DISTRO/setup.bash
   cd ~/ros2_ws
   . install/local_setup.bash
   

   위 코드는 간단한 내용이므로 자세한 내용은 생략한다.

Usage

가장 많이 사용하는 명령어 : ros2 run realsense2_camera realsense2_camera_node
본인의 경우, 해당 패키지에서 카메라 노드가 켜진 이후, yolo v8을 통해 Object Detection 하는 과정을 Launch 파일에 진행해두었다.
실제 프로젝트 내 Launch 파일

다양한 Parameter들을 조정하고 싶다면, ros2 launch realsense2_camera rs_launch.py 를 실행할 때, 해당 패키지 내 Parameter 값들을 조정하면 된다.
내 기억 상으로, 더 Detail하게 Parameter 값들을 조정하고 싶다면 내부 C++ 파일을 손보면 됐었던 기억이 있다. (실제 FPS 조절 및 해상도, 카메라 각도 등 조정했던 기억이 있다.)

(모터 동작 코드 병행 전) 카메라를 통한 Yolo 객체 탐지

이번 학기 점수는 4.45로, 과에서 2등을 기록했다.
(목표한 바는 못 채워 아쉬웠지만 그래도 만족할만한 결과다.)

부제 : 학기 후 계획

7월에 이르러, 본인은 Computer Vision에 본격적으로 돌입했다.
그러나, 가장 큰 문제가 발생했다.
부품이 7월 22일에 되어서야 주문이 완료된다는 이야기를 들었고, 사실상 8월이 되어서야 물품을 받을 수 있다는 걸 알게 되었다.

문제는 7월 28일까지 제출해야하는 보고서 때문이다. 국방로봇 경진대회 예선 보고서 제출이 7월 28일까지이므로, 모든 부품이 도착하지 않은 상태에서 영상 및 보고서를 작성해야 하는 상황이 온 것이다.

그냥 하면 되겠지만, 문제는 예선 보고서에 작성한 내용이 정확한지, 명확한 지에 대해 잘 모르는 것이 문제다.
(혹여 내가 잘못된 내용을 작성하게 될까봐 걱정이다.)

하드웨어는 도색 작업을 정상적으로 진행하고 있다.

Jetson Tx2

일단, 지금까지 Jetson Tx2의 단점의 문제가 부각되었다.
나는 Jetson Tx2가 EOL(End Of Life)인건 알고 있었다. 사실상, 크게 지원 없이 Ubuntu 18.04 환경에서 개발하면 된다고만 생각하고 있었다.
(어쩌면, 오히려 더 효율적일 수도 있을 것이라 생각했다.)

그러나, OPENCV4, YOLO V8,V9와 V10이 출시되면서 상황은 달라졌다. 코드가 훨씬 압축되고, 효율적인 Filtering을 제공하며,수많은 기능들이 추가되고 있다.

Jetson Tx2에서는 이를 사용할 수 없는게 가장 큰 문제이다. Ubuntu 18.04에서는 Python도 3.6까지 지원하며, 강제로 3.7로 업그레이드하자 오히려 다른 패키지들도 충돌나며 오류가 발생했다.

그럼 Ubuntu 20.04를 사용하면 되는 것이 아니냐는 이야기가 있을 수도 있지만, 이는 불가능하다.
Jetpack을 강제로 업그레이드를 하지 않는 한 Ubuntu 20.04는 불가능하고, Jetpack 역시 Nvidia에서 제공해주는 SDK이므로 함부로 업그레이드를 할 수 없었다.

Jetson Tx2는 YOLO의 고버전 지원 대상에서 제외되었다.
(using Pytorch)

물론, 그렇다고 해서 포기하진 않았다.

출처 : Bechmark

Nano와 Tx2는 Yolo 저 버전 기준 두 배 가까이 차이난다. 일부 모델에 한해서는 두 배 이상 나기도 하는데, Xavier와 Orin의 가격을 생각한다면 가장 효율적인 모델은 역시 Tx2일 것이다.

본 연구실에서 가지고 있는 건 본 필자 소유의 Tx2와 Nano, Orin이다. Orin이 타 대회에서 사용되므로, Nano를 사용하기보다는 Orin을 사용하는 편이 훨씬 효율적일 것이다.

자, 그렇다면 여기서 내가 할 수 있는 건 무엇일까?
Jetson Tx2에서 Yolo 저버전의 필터를 사용하면 될 것이라고 생각했다.
Nano의 필터가 아무리 좋다 한듯 기존 성능이 낮으므로, Jetson Tx2(버전이 낮아 조금은 어려울 수 있겠지만) 잘 사용할 수 있을 것이라고 생각한다.

Yolo V4 Project 진행

사실, 이미 Jetson Tx2의 Ubuntu를 두 번은 날려먹었다.

1. 용량 부족. (32GB Micro SD Card 사용 중)
2. Library 충돌 (강제 Install 과정)

그래서 Ros2 Project에서 Intel Camera Project를 진행하기로 했다.
제우스 경진대회는 9월이고, 예선이 통과해야 로봇이 도착해서 카메라를 사용하므로 그때까지는 D455 카메라가 연구실에 1대 남아서 사용이 가능하다.
그래서 사용을 했고, D455 Camera를 사용하기 위한 ROS2 wrapper를 설치했다.

이후, Object Detection을 진행하기로 했다. ROS2 Darknet, Yolov4가 최대였고, Yolo V5이상과 V8 이상의 Ref를 찾아보았으나 정상적으로 작동하기에는 어려웠다. (Python, Cuda 등 버전의 차이로 인해)

Realsense Github

해당 프로젝트를 정상적으로 따라가도 어려운 일들이 많았다. 이유는 간단하다.

내 환경은 Computer (Ubuntu 22.04, Ros2 Humble)이고,
SBC의 환경은 Jetson Tx2 (Ubuntu 18.04, Ros2 Dashing)이다.

서로 Node를 공유하며 Topic을 Susbscribe해 Computer에서 ssh로 연결해 확인하는 과정이 생각보다 원활하지 않았는데 Qos 설정에서 Depth값을 늘리고, Image Raw를 Susbscribe 하는 것을 Compressed로 변경하여 훨씬 더 FPS를 늘렸다.(말로는 한 줄에 끝났지만, 실제로는 2주 가까이 걸렸다.)

결과값은 아래와 같다.

기본 Dataset으로, 이제 해야할 일에 대한 Ref는 Notion에 정리해 두었다.

1. Dataset에 사용할 사진 찍기 (Vision Marker, Box, 국방부 옷) 각 Class별 1000장
2. Colab과 Darknet으로 YOLO 학습시키기
3. 학습시킬 Dataset Labeling In roboflow

이번 학기 박한솔의 가장 큰 목표는 과탑이다. (물론, 2등으로 실패했다.)
2학년 2학기 배틀로봇과 함께 시험을 조금 소홀히했던 나 자신에 너무 실망했고,
나 자신에 대한 자존감 극복과 등록금을 줄여 이번 국방로봇 경진대회에 크게 기여하고 싶었다.

부제 : 학기 중 진행 사항 기록

국방로봇 경진대회 기록 일지에 관한 내용이다.
개강 이후 ‘공학설계 I’ 과목과 연계하여 국방로봇 경진대회를 준비했다.

큰 로드맵은 아래와 같이 제시했다.

Manipulator는 시뮬레이션 및 그립 연구만을 진행하기에 제외했다.

2주 단위 회의

회의는 2주 단위, 시험 기간에는 제외하였으며, 공학 설계와 병행하였다.
약 6번의 회의를 진행했다. (추가 회의 제외)

너무 방대한 내용을 담고있으며, 디테일한 내용에 대해서는 앞으로의 게시글에서 생략하겠다.
(박한솔 본인이 진행한 사항에 대해서만 저술)

1. PID 제어 및 펌웨어 공부

Turtlebot을 활용한 PID 제어

간단한 PID 제어 코드를 작성하여 Ros2 Topic Programming을 진행했다.
영상 내부에서 간단하게 확인할 수 있는 부분은, 오차 범위 10cm 내로 진행하였다.

본 주행 코드는 전체 자율주행으로 이루어졌으며, Nonholonomic Constraint인 Double-Wheeled-Mobile-Robot(DWMR) 이다.
그러나, 우리가 실제로 제어하는 Angular Velocity, Linear Velocity of x,y,z에 대한 부분을 이해하기 위해서는 실제 펌웨어를 뜯어보아야 했다.

펌웨어 내 식에 대해서 논문 식들을 참고해가며 각 바퀴에 대한 제어를 통하여 Turtlebot이 작동하고 있음을 알 수 있게 되었다.
이 과정에서 각도의 변화에 대해서 Reference를 찾지 못한 부분이 있어서 많은 시간을 해맸던 기억이 있다.

그리하여, 본인은 Turtlebot을 판매한 ROBOTIS의 Debate에 들어가 펌웨어 내 계산식에 대해 질문해 보기도 했고, 역학 및 기구학 교수님께 여쭤보기도 하였으며, 지도교수님께 여쭤보며 문제들을 해결해 나갔다.
(물론, 각도에 대한 문제는 여전히 완벽히 해결하지 못한 채 찜찜하게 남아있다.)

• “그렇다면 난 무엇을 할 수 있을까?” 라는 대답에, 나는 내 입맛에 맞춰 펌웨어를 변경하기로 했다.

• Arm Architecture을 사용하는 RaspberryPI4
• AMD Architecture을 사용하는 Personal Computer(통칭 PC)
• aarch64를 사용하는 Jetson SBC

위 과정 중, PC에서는 Arduino IDE를 사용하여 OpenCR에 Fimrware 업로드가 가능하다.
그러나, 실제로 연산을 처리하고 ROS2의 핵심 주축이 되는 Rasbpberry4에서 작동을 하기 위해서는 Binary File을 .sh파일로 만들어 업로딩 후 사용해야 한다.
실제로 Arduino IDE에서 제공하는 Binary로 변환하는 파일을 사용하여 우리 로봇에 적합한 펌웨어로 변경하여 사용하는 방법을 채택하려 하였으나 실패하였다.
(Binary 파일 Upload를 하게 되면 Turtlebot Topic Launch 과정 중 OPENCR 인식을 정지하는 문제가 발생하였고, 이를 해결할 수 없었다.)

(펌웨어 내부 코드를 공부하는 과정, PPT SLIDE, 04/30)

(손으로 풀어가며 계산하는 과정, 공학 설계 세미나 때 모든 과정을 풀이로 진행했다.)

2. 메타로봇 연구회(MARS) 가입

메타로봇 연구회 가입은 이번 국방로봇 경진대회 준비의 중요한 요소 중 하나였다.
로봇을 만들 때 가장 중요한 건 무엇일까?

기술? 지식? 전부 맞지만, 가장 중요한 건 돈 이다.
로봇은 돈이 매우 많이 들어가는 분야이다.
동시에, 복합적인 모든 기술들이 집약되어 하나의 결과물을 만드는 과정이라고 생각한다.
로봇이 아름다운 이유는 이 모든 복합적 요소가 문제 없이 작동할 때, 로봇 움직이 움직인다는 울림을 주기 때문이다.

자본적 문제를 해결하기 위해서도, 그리고 우리의 로봇 개발에 더 발전을 박차기 위해서도 메타로봇연구회에 가입하기로 결정했다.

메타로봇 연구회는 우리 팀원 전원이 가입 완료했으며, 국방로봇 부문 팀장을 맡아 우리 팀 4명을 이끌기로 했다.

로봇 SLAM/NAVIGATION

원래였다면 SLAM/Navigation은 상당히 중요한 기능이다. 자율 주행에 있어 맵을 따오고,
알고리즘을 계산하여 가장 가까운 방향으로 이동하는 것이 필요하게 된다면 말이다.
그러나, 국방로봇 경진대회에서는 크게 필요가 없어보인다. (각 트랙을 한 번에 완주하는 것이 목표가 아니므로.)

그리하여 알고리즘 및 Turtlebot3 패키지에서 제시된 SLAM/NAVIGATION 코드 내부만 이해하고 진행 과정에 대해서만 이야기 해볼까 한다.
일반적으로, SLAM을 통해 내가 이동하는 모든 경로의 지도를 생성한다. 지도를 만들게 되면, 이 맵 안에서 내 위치를 계속해서 갱신한다.
이후, 내가 이동하고자 하는 위치로의 경로를 계산하고 이동하는 과정을 반복한다.

물론, 이 과정에서 수많은 알고리즘이 존재한다.
이 내용은 겨울방학, 혹은 내가 실제로 국방로봇 때 사용해야 한다면 그 때 다시 소개하겠다.

간단하게 방 내부 SLAM을 통해 맵을 따고, (RVIZ2 활용)

방 내부 SLAM 과정이고, Rviz2 자체에서 Navigation까지 이어서 진행할 수 있다.

중간 점검 및 최종 목표 설정 후 종료

사실, 이 모든 과정을 학기 중에 진행하는 것만 해도 충분히 어려웠다.
(학점을 4.5를 맞겠다는 목표를 다짐도 했으므로 더욱 그럴 것이다.)

물론, 팀원 중 한 명이 C.V를 그만두면서 본인이 맡게 되었고, 이 과정에서 모든 과정은 지연됐다.

Turtlebot3는 K-Community 이후로 잘 다루지 않게 되었고, 반납을 진행하였으나 다시 돌려받게 되었다.
그러나 ‘꼭 이게 필요할까?’ 라는 생각을 했었는데, 자율 주행 코드를 짜야지, 짜야지 하며 생각만 하며 머리를 끙끙 앓다가 눈에 들어온 것이 바로 이 터틀봇이었다.

시뮬레이션을 통해서 값들을 많이 조종해보고, Topic, Service, Action을 몸으로 익히는 과정을 거쳤다.
정확히는, GPU 가속을 받은 상태로 Simulation을 하면 더욱 효율적이지 않을까? 했지만, 이는 꽤나 큰 무리였던 모양이었다.

“왜요?”

• Desktop - Window (WSL2) Gazeobo Simulation 시 GPU 가속이 할당되지 않는 오류가 발견, 구글링 후 5페이지에 가까운 해결방법들을 전부 적용해 봤지만 해결되지 않았다.

• Desktop - Window (Docker) 위와같은 오류 발생, 해결 불가능.

• Desktop - Linux (사용 불가) 사용하고 있는 파티션들과 용도 자체가 한정되어 있어 설령 Linux 환경을 조성해서 사용한다고 하더라도, Linux에서 원격을 실행시켜 Laptop - Desktop - ssh가 아니고선 아무런 쓸모가 없어지기에, 때려쳤다.

• Laptop - Windows 환경을 사용할 필요 x. 현재는 Ubuntu 22.04, Ubuntu 20.04, Windows로 Triple boot를 적용시켜 사용하고 있다.

그렇게 Laptop에서 내장그래픽을 사용해 FPS 약 30정도로 준수하게 Simulation들을 해보았고, 여러 예제들을 실행시켜 보았다.

뭘 해야 하지?

사실, 그냥 뇌정지가 왔다.
Ros도 안다, Ubuntu 환경에서 커맨드를 자유자제로 사용하고, Python Programming을 준수하게 할 수 있는 수준이라고 판단했다.

그러나, 무엇을 어떻게 시작해야 하는가?
사막 한 가운데에 선 느낌이었고, 개발 환경을 조성하고 2주 가량 Turtlebot의 오류 해결 및 기본 예제들을 점검해봤다.

Trouble-Shooting

배터리 전압 인가 문제
OPENCR Battery 문제
Raspberry PI Ram 문제

각각의 문제들에 대해서는 추후에 다루도록 하겠다.

Coding

Simulation

• Simulation 한 결과물

Basic Drive

• 기초 코딩 결과물

Lidar Sensor Drive

• Topic, Publish, Subscribe를 이용한 기초 Run & Stop Drive

Lidar Sensor Drive 2

• Autonomous Drive

차후 해야할 일

• Action Programming
• SLAM & Navigation

현황 보고

2024/02/28에 진행한 회의 내용 포함

1. Team. H/W

현황 보고

• 3D Printer로 출력한 결과물(담헌실학관)이다.

• 공차 역시 오차 범위 내에 있어 샤프트 결합 방식이 적합하게 잘 맞아 떨어졌다.

• 경기장 제작은 잠시 연기 (보관할 장소의 문제)

• 서스펜션 설계는 1차적으로 완성(단순 Spring), 추후 보완 및 개발 예정

2. Team. S/W

물품 선정 및 Seminar 발표 준비

• 발표 자료 참고

• 특별 진행 사항 : Turtlebot 복귀 후 활동 결과 배터리 문제로 확인.

• 외 이상 無

이때까지 URDF 공부를 진행했다.
공부를 하다 보니, Gazebo Simulation 환경에서 GPU 가속을 사용하고 싶었다.
Desktop이 RTX3080을 사용하고 있었기에, 내장 그래픽을 사용하는 노트북 보다는 이 편이 나을 것 같았다.

그러나, Docker 환경을 통해 Windows 환경에서 Foxy를 통해 Gazebo를 실행한 결과, 아래와 같은 결과가 나왔다.

CPU 사용량이 하나 코어 기준 94%, 두개 사용 시 150% 이상 사용되며 프레임이 10 이하로 출력되었다.

이 문제는 Nvidia Driver, CUDA 미설치라는 이야기가 많았다.
그렇기에, CUDA와 Nvidia Driver을 Setup하고, Nvidia-smi 명령어를 통해 정상적으로 RTX3080 인식을 시켰다.

그러나 혁조 쪽에서는 정상적으로 작동되었고, 사용하고 있는 Process 내용을 정상적으로 인식하고 있었다.
내 쪽에서는 전혀 되지 않아서, 또 다른 방법을 강구해보고 구글링을 계속해서 해 보았다.

~2/23

Jetson Tx2 Setup을 완료했다.
소요 시간은 약 3시간 30분 정도.

Nvidia Docker에 대해서는 계속해서 공부를 진행했다.

처음으로 시도해본 방식은, WSL2를 사용해 직접적으로 설치해서 쓰는 것.
기존에는 컴퓨터 - WSL2(Ubuntu 20.04) - Nvidia-Docker - Foxy(Ubuntu 20.04) - Gazebo 였다면,
이번에는 중간에 Nvidia-Docker과 Foxy를 제거해 보기로 했다. 즉, WSL2을 통해 바로 Gazebo를 실행시키는 과정으로 변경하겠다는 뜻이다.

그렇게, 내 Desktop에 설치를 했고, Foxy Setup 과정을 거쳤다.
그 결과 Gazebo에서 FPS는 1~2 정도가 출력되었다.
CUDA, Nvidia Driver은 정상적으로 설치했고, RTX 3080도 인식을 잘 했으나, 해결되지 않았다.

이 문제를 해결하겠다고 이틀, 삼일 넘게 매달렸으나 수확은 없었다.
이 시기에, 이미 URDF는 하드웨어 팀에서 넘어온 상태였다.

~2/25

결국 나는 GPU 가속이 되지 않는 오류를 극복하지 못했다.

그래서, 다시 내장그래픽인 노트북으로 돌아가기로 했다.
프레임이 적게 나오더라도, 1~2 FPS보다는 나을 것이기 때문에,
추후에 문제가 발생한다면 다시 돌아오기를 기약했다.

노트북에서 URDF 파일을 받고 실행을 했으나, 역시나 문제가 발생했다.
ament_cmake 기반의 C 기반 패키지로 솔리드웍스에서 URDF가 도착하는데, 이는 ROS1 파일 기준이다.
ROS2 기준에서는 URDF 작성 방식은 동일하나, Package.xml과 setup.py 파일을 수정할 필요가 있었다.

파일을 수정하고, 실행한 결과 정상 출력이 되었으나 로봇의 형체가 나타나지 않았다.

로봇의 형체가 나타나지 않고, TF만 나타났다.
Gazebo에서는 심지어 멈춰버렸다.

아마도 STL을 불러오는 과정에서 내가 GPU가 없어서 그런가? 하고 혁조에게 전송했다.
그러나 혁조 역시 아래와 같은 사진이 뜨며 오류가 발생했다.

아아악!!!

이 문제를 어떻게 해결해야 할지 계속해서 연구하고 고민해 보겠다.
만약, 정 안된다면 Launch파일 만들기를 먼저 진행해야 할지도 모른다는 생각이 들었다.
보드 제어하는 방식에서 분명 배울 것이 있을 것이기 때문이다.

현황 보고

2024/02/19에 진행한 간이 회의 내용 포함

1. Team. H/W

국방로봇 Feedback

• Torque 계산은 동역학적 계산 방식으로 해도 상관 無
  Torque 계산에 복합적 요소가 들어가기 위해선 속도가 빨라야 함.
  그러나 우리가 움직이는 속도는 초속 10cm 이내이기 때문에, Dynamic 효과를 추가적으로 계산할 필요는 없음.

• Motor 선정 역시 안전율을 고려해서 계산할 것을 추천.
  모터는 비쌀수록 (정확히는 더 높은 토크를 가지고 있을수록) 좋으므로, 자본에 모터를 맞추길 권장하셨음.

• 차체 재료는 알루미늄 6061 계열이어도 충분하다고 판단.

• Payload 중량을 높일 수 있는 방법에 대해 논의.
  일부 논문에서는 적은 중량을 집어올릴 때 카운터 밸런싱 설계를 진행하면 역효과가 난다는 이야기가 있었음.
  교수님께서는 카운터 밸런싱 설계와 중력보상 메커니즘 적용을 추천해 주셨음.

• 바퀴 접지면을 늘리기 위해서 서스펜션 설계 추천하셨음.

추후 분기점 2/28일까지 완료할 사안

< 임상수 >

1. 적합한 모터 찾기 (기어 박스, 기어비 등 모든 요소 고려)
2. Manipulator URDF 추출 후 전달 (Grip부 제외)
3. Manipulator Grip부 제작

< 배성우 >

1. 완성된 몸체 초안 다듬기
2. 3D Printer로 뽑을 조립 제작 시작 (Partition 분할)
3. 4학년 랩장에게 Confirm 받기.
4. 초안 출력 전까지 완료

To do

1. 3D Printing을 할 장소 (새롬관, 사설, 교수님 등)
2. 국방로봇 주행용 맵 제작
3. Manipulator, Body 제작 및 주행 시 오류
4. Manipulator 목표 하중 들기
5. 궤도 설계 및 출력
6. 서스펜션 설계 및 출력
7. 알루미늄 6061 확보 및 설계, 출력
8. 조립을 위한 Detail 요소 선정 (나사, 모터, 세부 소재)

2. Team. S/W

국방로봇 개발 현황 보고

Ubuntu 22.04 Humble 환경에서 진행하던 현 상황.
그러나 더 방대한 자료가 있는 Ubuntu 20.04 Foxy 환경에서 진행하기로 결정.

< 이현승 >

1. Jetson Tx2 Board Setup 과정에서 어려움 겪는 중
2. DeepLearning 과정 이수
3. 사진으로 Object Detection 완료

< 권혁조 >

1. URDF 불러오는 과정에서 오류 발생.
2. 새롭게 환경 재구성 후 재시도, Manipulator URDF 불러오기
3. Launch 파일 공부

< 박한솔 >

1. URDF 불러오는 과정에서 GPU 인식 불가 오류 발생.
2. WSL2 재설치, 다시 URDF Package Setup하는 과정
3. NVIDIA-DOCKER 환경 구성

추후 분기점 2/28까지 완료할 사안

< 이현승 >

1. Jetson Tx2 Board Setup
2. Ros2 Topic Webcam Publish

< 권혁조 >

1. URDF 불러오기
2. Launch 파일 제작

< 박한솔 >

1. URDF 불러오기
2. Launch 파일 제작
3. Jetson Tx2 Board Setup 해주기

To do

1. IMU Board 제어 및 선정
2. 통신 구현
3. Object Detection 후 값 가져오기
4. 자율 주행 구현
5. Ros2 Foxy 환경에서 Gazebo Simulation
6. Camera, Lidar, Board 선정 및 구매
7. Manipulator Grip 구현

2월이 지나가기 전, 우리 팀의 목표는 기초를 전부 다지는 것이다.
심화적인 부분을 시작하기 전, 결과물을 도출하기 위한 실력을 제대로 길러보고자 노력했다.

1월 말부터 2월 중순인 현재, 아래 활동들을 진행했다.

• ROS 책 읽기 [1회독]
• 2차 회의 : 주제 / 대회 FIX 및 분석
• CAN통신 기초 개념 이해
• UDP/TCP 통신 개념 기초 이해
• Callback 함수 이해

그리고, 가장 중요한 부분에 대해서 배우기 시작했다.
Simulation을 위해서라면 Simulation을 위한 Manipulator, Robot 본체 등이 필요하다.
이 때문에 우리는 URDF를 공부를 해야 하는 것이다.

URDF(Unified Robot Description Format)는 실제 물리적인 로봇이 아닌 가상환경에서 로봇의 규격을 정의할 수 있는 규칙이라 할 수 있습니다. URDF는 XML 형식으로 구성되며 ROS 및 Gazebo와 연동하여 가상환경에서 다양한 동작을 실험할 수 있습니다. 출처 : Tistory

로봇을 간단하게 제작하고, 내가 원하는 방식으로 움직일 수 있으며, Gazebo와 연동해 물리학적 실험 역시 가능한 최고의 기술이다!
그 중에서도 역시, 간단하게 제작이라는 부분이 가장 큰 요소이지 않을까 싶다.

URDF Basic

처음으로는 URDF에 대한 내용 이해, Gazebo와 Rviz 각각에 대해 자세히 이야기 해주시는 Youtuber를 찾아갔다.
Articulated Robotics라는 분이 상당히 잘 설명해 주시는데, 나는 이 강의가 진짜 너무 효율적이었다고 본다.
(물론, 영어를 잘 못해 여러번 들었다.)

이 분의 강의는 짧은건 7분, 긴건 27분 정도로 잘 형성되어 있는데, 이 강의만 사실 전부 이해를 해도 URDF에 대한 이해가 어느 정도 된다고 본다.
이 후속에 대한 내용은 이 Articulated Robotics에 대해서 이해를 하고 넘어가는 것이 가장 효율적일 것이라 본다. Ros 기초에 대해서도 다뤄주니 말이다.

(URDF에 대한 이해를 위해 RQT_Graph를 통해 Robot_state_publish Check)

URDF Design

URDF 기초 설계 라는 게시글을 참고하면 Design에 도움이 된다.
본 필자는 처음으로 이 글을 보며 이해를 시작했고, 도움이 어느 정도 됐다.
사실, 실제로 해 보기 전까지 이런 내용들은 이론적 내용에 불과해 실제로 해보는 것이 중요하다는 생각이 들었다.

(Manipulator를 위한 축 Joint 설계 및 Test in Rviz)

URDF Make, Simulation

URDF 완벽 정복이라는 게시글을 참고했다. 처음부터 끝까지 전부 따라갔으며, Unity 부분부터는 다시 시작하는 느낌이라 제외했다.

그러나, 이걸 바탕으로 Simulation Tool에 대한 이해도, Gazebo와 Rviz Setup, Package.xml, URDF, Launch file, Executable 등 전부 이해를 완료했다.

너무나도 감사하고, 한 줄기 빛과 같은 한글 강의였다.

2월 15일부터는 Manipulator URDF를 가져와 Gazebo와 Rviz Simulation을 위한 Launch File 프로그래밍을 시작할 것 같다.

시작은 단순 주행이다. 마지막으로 이번 URDF 공부를 하며 찍었던 사진들에 대해 올려두겠다.

시작으로는 자동차를 설계해 움직여 보는 걸 확인했다.
Rviz에서만 움직여 이상적 상황에 움직임을 유도하는데, Collision(충돌) 을 켜 두었어도 충돌이 크게 없었기에, 의미가 없었다.

Lidar 센서를 부착하고, Gazebo에서 Simulation을 시작했다.
Lidar에서 뿌리는 선의 개수를 4개에서 360개로 증가시켰고, Corn을 바닥에 설치해 장애물을 확인하고, Rviz에서도 Use_sim_time을 true로 변경, Simulation을 동기화 해 확인해 보았다.

마지막으로, DepthCamera와 Lidar을 전부 작동시키고 동작하는 장면이다.
처음과 거의 유사하지만, 왼쪽의 Terminal에서 결과값을 출력하고 있는 걸 확인할 수 있다.

현황 보고

1. Team. H/W

PPT 제작 85%

• 천병식 교수님께 Confirm 받을 자료
• Payload 계산 필요
• 기어비 계산, RPM 계산 후 Motor 선정.

< 배성우 >

1. 국방 로봇 본체 초안 / 바퀴 제작 완료.

(바퀴 초안) (몸체 초안)

바퀴에는 24V 인가를 요청함. 추가 배터리를 사용할 것 같음.

< 임상수 >

1. Manipulator 초안 제작 완료

(Manipulator 초안)

500g을 들 수 있어야 하기에, 최소 750g 이상의 Payload를 요구함.
___

2. Team. S/W

소프트웨어는 모두 Ros2 책을 참고해서 공부를 진행했다.

공부 진행 분야

• 권혁조 : Manipulator, 역기구학, Ros
• 박한솔 : Socket-CAN, Ros Gazebo Simulation, URDF
• 이현승 : OpenCV Deep Learning 교육 이수중, Jetson Tx2 보드 공부

본 필자가 공부를 완료한 부분은 URDF에서 자세히 다루겠다.

다음 분기점은 2월 16일로 선정, 각자의 과업을 선정 완료하였음.

3. 물자 현황

• Jetson Tx2 Board(+) (사비로 구매)
  ___

Portfolio

Team H/W

PPT를 이용하거나, 네이버 블로그 등을 통해 제작할 예정.
메타로봇 연구회 지원 시, 다섯 명 전부 붙어 연구회의 지원 하 출전할 예정.

Team S/W

Github Upload를 진행할 예정.
Project형도 가능, Github.io 블로그 운영 예정. (필자와 유사)
2/18 (일) 20시 교육 예정. ___

~2/16

OpenCV 기초 완료 (카메라 Object Detection)
URDF Testing 완료, Launch File 구성 이해
Portfolio Setup (2/18)

Manipulator 역기구학 기초적 행렬 이해
국방로봇 초안 완성, PPT를 통한 발표

돈

제일 문제에 봉착했고, LINC사업단, 동아리, 연구회, 랩실 등 여러 군데 요청을 진행했다.

연구회에서는 자본적인 지원에 대한 이야기를 들었기에, 전원 연구회 지원 예정. (Portfolio 준비가 급해진 이유도 이 때문.)
랩실에서도 공학설계를 위한 지원을 담당 교수님께서 해주실 것으로 보임.

동아리는 배제.
LINC사업단에서는 이동 금액 지원, 식비 정도 지원해주므로 반드시 지원 신청을 한 달 전에는 해 두기.