9. Sensor Fusion 센서 퓨전

✅ 센서 퓨전 (Sensor Fusion)

센서 퓨전(Sensor Fusion)은 자율주행차가 여러 종류의 센서(카메라, 라이다, 레이다 등)에서 얻은 데이터를 통합하여 더 정밀하고 안정적인 판단을 내리는 기술입니다. 단일 센서만으로는 한계가 있는 인식 성능을 보완하고, 센서 간 약점을 서로 보완함으로써 신뢰도 높은 주변 인식을 가능하게 합니다. 예를 들어, 비 오는 날 레이더는 안정적인 탐지가 가능하지만 카메라는 시야가 흐릴 수 있으므로, 이를 함께 활용하여 정확도를 높입니다.

🟩 센서 퓨전 기술

1. Sensor Fusion (센서 퓨전)
- 서로 다른 유형의 센서 데이터를 결합하여 더 정확한 인식과 예측을 수행
- 자율주행차, 드론, 로봇 등 다양한 인공지능 시스템에서 핵심 기술로 사용됨
- 라이다로 거리, 카메라로 객체 형태를 파악하여 상호보완적으로 인식 성능 향상

2. Multi-Sensor Fusion (다중 센서 융합)
- 2개 이상의 센서를 조합해 객체 인식, 추적, 위치 파악 등을 수행
- 예: LiDAR + Radar + Camera → 차량 + 보행자 + 장애물 동시 탐지

3. Sensor-Level / Feature-Level / Decision-Level Fusion
- Sensor-Level: 원시 데이터(예: 이미지 + 포인트 클라우드)를 직접 결합
- Feature-Level: 각 센서에서 추출한 특징(예: 경계, 거리, 속도 등)을 통합
- Decision-Level: 센서별 인식 결과를 최종적으로 종합해 판단

4. Probabilistic Fusion (확률 기반 융합)
- 칼만 필터, 베이지안 필터 등을 활용해 센서 간 불확실성을 줄이고 정확도 향상
- GPS, IMU, 라이다 데이터를 융합해 차량의 실시간 위치 예측에 사용됨

⚪ 센서 퓨전(Sensor Fusion) 적용 예시

● 전방 거리 센서 + 카메라 영상 융합 → 보행자/장애물 탐지 시 자동 정지
● 라이다 + 레이더 융합 → 악천후 속에서도 안정적인 거리·속도 판단
● 카메라 + 초음파 융합 → 근거리 주차 시 사물 감지 정밀도 향상
● GPS + IMU + 라이다 융합 → 정밀 위치 추정(Localization) 구현
● 다중 센서 기반 객체 추적 → 주변 차량의 위치·방향 예측 정확도 향상
● 온도 센서 + 카메라 → 열 감지 기반 야간 보행자 탐지 및 화재 징후 인식
● 환경 센서 + 라이다 → 안개·비·조도 변화 감지에 따라 감지 알고리즘 자동 조정
● 사운드 센서 + 카메라 → 사이렌 소리 감지 시 긴급 차량(구급차·소방차) 위치 추적
● 바람 센서 + 라이다 → 드론·도심 자율이동체의 비행 안정성 확보
● 지자기 센서 + IMU + GPS → GPS 음영지역(터널 등)에서 보조 위치 인식
● 적외선 카메라(IR) + RGB 카메라 → 야간 주행 시 보행자·동물 탐지 정확도 향상

🛠 주요 구성 요소

1. 카메라 (Camera)
: 2D 이미지를 통해 사물의 형태, 색상, 차선, 신호등 등을 인식합니다.센서 퓨전 시 시각 정보를 제공하며, 객체 인식의 기반 역할을 합니다.
2. 라이다 (LiDAR)
: 고정밀 3D 거리 정보를 제공하며, 공간 구조 인식 및 장애물 회피 등에 활용됩니다.
3. 레이다 (Radar)
: 거리와 속도 측정에 강하며, 악천후와 야간 환경에서도 안정적인 감지가 가능합니다.
4. 관성 측정 센서(GPS + IMU)
: 위치, 가속도, 방향, 회전 등을 추적하며, 실시간 위치 인식에 필수적입니다.
5. 초음파 센서 (Ultrasonic Sensor)
: 근거리 장애물 감지에 유용하며, 주차나 저속 주행 시 보조 역할을 합니다.
6. 적외선 카메라 (Infrared Camera, IR)
: 야간이나 어두운 환경에서 사람, 동물 등의 열 신호를 탐지하여 시야 확보를 도와줍니다.
7. 환경 센서 (Weather/Light Sensor)
: 조도, 비, 안개, 온도 등 외부 환경 상태를 감지하여 다른 센서의 감지 민감도나 판단 알고리즘 조정에 사용됩니다.
8. 사운드 센서 (Microphone / Acoustic Sensor)
: 사이렌, 경적, 외부 충격 소리 등을 감지해 긴급 상황 대응이나 주변 차량 탐지에 활용됩니다.
9. 지자기 센서 (Magnetometer)
: 지구 자기장을 기반으로 방향을 감지하며, GPS 신호가 약한 지역에서 방향 보조 정보로 활용됩니다.
10. 온도 센서 / 열 감지 센서 (Thermal Sensor)
: 전자 장비 과열 감지, 외부 기온 감지, 열 기반 객체 탐지(사람, 동물) 등 다양한 역할 수행 가능

🎯 주요목적

● 센서의 단점을 상호 보완하여 정확한 객체 인식 및 상황 판단
● 주행 중 다양한 환경 조건(조도, 날씨, 거리 등)에서도 신뢰도 유지
● 자율주행 판단의 안정성 향상, 오탐률 감소
● 복잡한 도심 환경에서 객체, 도로 구조, 위치 등의 고정밀 분석 가능
● 센서 고장 또는 일시적 오작동에도 대응할 수 있는 시스템 안정성 강화

💡 예시를 통한 이해

📍 Object Detection 예시

●보행자 감지 (Camera + LiDAR)
전방의 카메라가 보행자의 형태를 인식하고, LiDAR가 거리 데이터를 함께 제공해 보행자의 정확한 위치를 계산합니다. 이를 통해 차량은 감속 또는 정지합니다.

● 차선 인식 + 차량 감지 (Camera + Radar)
카메라는 차선을 인식하고, 레이더는 앞 차량의 속도와 거리 정보를 제공합니다. 이를 융합하여 차량은 차간거리 유지 및 차선 중심 주행을 수행합니다.

●정밀 위치 추정 (GPS + IMU + LiDAR)
도심 주행 중 GPS 신호가 약해질 경우, 관성 센서(IMU)와 LiDAR 데이터를 함께 사용하여 차량의 위치를 정밀하게 추정하고 경로를 유지합니다.

●주차 보조 (Camera + Ultrasonic Sensor)
카메라가 주차 공간을 인식하고, 초음파 센서가 주변의 장애물까지 감지해 안전한 주차를 지원합니다.

1️⃣ 다중 객체 감지

1. 자율주행 차량 ‘주미’는 전진 주행 중 전방의 카메라로 객체를 감지합니다.
감지되는 Camera 객체 중 2개의 객체가 감지 되었다면, Camera 1은 보행자(person), Camera 2는 오토바이(motorcycle) 등 이동체로 감지 합니다.

2. 두 카메라는 각각 촬영한 실시간 영상을 인식 시스템(V2N 등)으로 전송합니다.
이 영상 데이터는 프레임 단위로 처리되며, 각 카메라의 입력은 각각 독립적으로 Object Detection 모델에 적용됩니다.

3. 사전 학습된 딥러닝 기반 객체 감지 모델(YOLO 계열 등)으로 데이터를 비교합니다.
각 모델은 이미지 속 객체의 위치와 특징(모양, 크기, 색상 등)을 분석하여 지정된 클래스(person, motorcycle 등)와 비교 합니다.

4. 종류(Label)와 위치 좌표(Bounding Box)를 전달합니다.
비교 되어진 데이터를 중점 적으로 보행자(person) 나 오토바이(motorcycle)를 유사하면 해당 객체의 종류(Label)와 위치 좌표(Bounding Box)가 자동으로 추출되어 차량 시스템에 전달됩니다.

5. 차량의 판단 로직은 두 카메라 중 하나라도 위험 요소를 감지한 경우, 즉시 제동 명령을 실행하여 정지합니다.
이처럼 복수 센서의 감지 결과를 통합적으로 활용하는 방식은 센서 융합(Sensor Fusion)의 일환으로, 단일 센서 감지 실패에 대비하고, 자율주행의 안전성과 신뢰도를 높일 수 있습니다.

🛑 프로그램 실행 시 주의사항

● 이 프로그램은 실행 하자 마자 주미 AI가 무한히 전진 합니다.
● 따라서 실행 전에 왼쪽 그림 처럼 주미 AI 와 객체를 어느정도 멀리 두고 프로그램을 실행 해주세요,
● 정상적으로 동작이 된다면 오른쪽 그림 처럼 물체가 감지 되고, 정상적으로 감지 되었다면 주미 AI가 정지합니다.
●주미 AI마다 카메라 성능이나 감지 거리에는 차이가 있을 수 있으므로, 정지하고자 하는 거리는 각 기기의 특성에 맞게 숫자를 조정하여 프로그래밍해 주세요.

2️⃣ 다중 객체를 감지 하는 프로그램 순서

1. Zumi AI 객체 생성 및 연결
ZumiAI 클래스 객체를 만들고, Zumi 로봇과 IP 주소를 통해 연결합니다. 연결이 성공하면 로봇과 통신할 준비가 완료된 상태가 됩니다.

2. 카메라 스트림 및 물체 인식 초기화
카메라 영상을 실시간으로 받아올 수 있도록 스트림을 시작합니다.물체 인식 기능을 ‘balance’ 모드로 초기화해서 성능과 속도 사이 적절한 균형을 맞추고 물체 인식 기능을 실행시켜서 감지를 시작합니다.

3. 감지할 물체 종류 설정
감지 대상 물체로 ‘오토바이(motorcycle)’와 ‘사람(person)’을 추가하며 이 두 가지 물체를 인식해서 크기를 측정하는 데 집중합니다.

4. 무한 루프로 계속 물체 크기를 받아옵니다.
get_obj_size()는 인식된 물체의 영상 내 크기를 숫자로 반환하며 물체의 크기가 클수록 카메라에 가까운 상태이고, 작을수록 멀리 있는 상태를 의미합니다. 예를 들어 오토바이 크기가 8000 이상이면 “가까이 있음”을 판단해 경고음 재생 후 멈추거나 사람 크기가 5000 이상이면 “가까이 있음”을 판단해 경고음 재생 후 멈춥니다.

5. 감지된 객체의 크기 (size)
물체가 카메라 영상에서 차지하는 크기(size)가 클수록 물체가 카메라에 가깝다는 뜻이며 반대로 size 값이 작으면 멀리 있다는 의미입니다. 그래서 프로그램에서는 일정 크기(8000, 5000)를 넘으면 “물체가 가까이 있다” 판단해서 멈추는 동작을 하도록 설계되어 있습니다.

3️⃣ 다중 센서 융합 (Multi-Sensor Fusion)

다중 센서 융합(Multi-Sensor Fusion)이란 자율주행 자동차를 시스템에서 두 개 이상의 서로 다른 종류의 센서 데이터를 통합하여 하나의 일관된 정보로 재구성하는 기술입니다. 이를 통해 각 센서의 한계를 보완하고, 보다 정밀하고 신뢰도 높은 객체 인식, 움직임 추적, 위치 파악, 주변 환경 이해 등을 가능하게 합니다. 예를 들어, 카메라가 제공하는 시각 정보와 라이다의 거리 정보, 레이더의 속도 감지 데이터를 함께 분석함으로써 차량은 다양한 상황에서 더욱 정확하고 빠르게 판단을 내릴 수 있습니다.

✅ 주미 AI 기반 센서 융합 예시

카메라 영상 융합
● 기능: 영상 데이터를 기반으로 객체(사람, 오토바이 등)를 인식
● 활용: 사람 또는 오토바이 감지 시 자동 정지 기능 활성화

전방 거리 센서 (예: Radar, 초음파 센서 등)
●기능: 차량 전방의 물체와의 거리 측정
●활용: 전방에 물체 감지 시 자동 정지 기능 작동

🎯 결과

다양한 센서의 정보를 결합하여 보다 정밀하고 안전한 자율 주행 구현 가능
상황 인식 능력 향상 → 충돌 방지, 보행자 보호, 운전자 안전성 확보

4️⃣ 센서 융합 비교

단일 센서(카메라)보다 카메라 + IR 센서를 융합한 다중 센서 시스템은 다양한 환경에서 더 안정적이고 정확한 객체 인식을 가능하게 하며, 특히 사람, 동물, 오토바이 등 열이 있는 객체를 구분하는 데 매우 효과적입니다.

️📷 카메라만 사용한 다중 객체 감지의 한계

- 조명 의존성: 어두운 환경, 역광, 야간 등에서는 객체를 제대로 인식하지 못할 수 있음
- 피사체 혼동: 배경과 색이 비슷하거나 빠르게 움직이는 객체는 인식 정확도가 떨어질 수 있음
- 온도 정보 없음: 카메라는 사람과 사물의 온도를 구분할 수 없어 객체 구분에 제한이 있음

️🔄 카메라 + IR 센서 융합 (다중 센서 융합)의 특징

- 어두운 곳에서도 감지 가능: IR 센서는 적외선 신호로 열을 감지하므로 야간이나 조도가 낮은 환경에서도 사람, 동물 등의 열원을 감지 가능
- 객체 특성 구분 강화: 시각 정보(카메라)와 열 정보(IR)를 결합함으로써, 사람과 배경 또는 물체를 더 쉽게 구분
- 감지 누락 감소: 카메라에서 놓칠 수 있는 객체도 IR 센서가 보완
- 다중 객체 인식 정확도 향상: 같은 장면에서도 중복된 관점(시각 + 열)을 통해 더욱 신뢰성 있는 감지 가능

️✅ 다중 센서 융합의 장점

1. 센서 간 약점 보완
각 센서는 장점과 단점을 가짐
(예시)
카메라는 색상, 형태 인식에 뛰어나지만 어두운 환경에 약함
LiDAR는 거리 측정에 정확하지만 날씨(비, 눈)에 민감함
Radar는 악천후에서도 작동하지만 해상도가 낮음
→ 센서 융합으로 이러한 단점을 상호 보완 가능

2. 정확도 향상
다양한 데이터를 통합 분석함으로써 객체 인식, 거리 측정, 위치 파악의 정확도와 신뢰도 증가
(예시) 보행자 위치를 카메라로 확인하고, LiDAR로 거리까지 파악

3. 강인한 상황 인식
날씨 변화, 조도 변화 등 다양한 외부 환경에서도 안정적인 인식 성능 유지

4. 실시간 반응 및 판단력 강화
융합된 정보를 기반으로 시스템이 더 빠르고 정확한 결정을 내림
(예시) 사람 + 거리 정보 → 즉시 정지 명령 수행

5. 자율주행 안정성 향상
주변 상황을 더 정확하게 이해함으로써 사고 위험 감소
자율주행 시스템의 전반적인 안전성과 신뢰성 향상