dSPACE 센서 차량의 데이터 기반 개발 사례
최근 몇 년 동안 데이터 기반 개발은 다양한 산업 분야에서 가장 중요한 소프트웨어 개발 방법 중 하나가 되었습니다. 자동차 업계는 고품질 데이터가 핵심인 자율 주행차의 문제 해결에 주력하면서 경쟁을 벌이고 있습니다. 도구를 추가로 개발하고 자동차 산업에 최첨단 기능을 제공하기 위해 dSPACE는 고품질 데이터 수집용 에코시스템을 구축했습니다. 이를 위해 회사는 이 목적에 맞게 특별히 개발된 자체 센서 차량을 사용합니다.
dSPACE 센서 차량
위에서 언급한 에코시스템의 핵심 구성 요소인 dSPACE 센서 차량에는 다음 센서가 장착되어 있습니다.
• 128 채널의 고해상도 Velodyne Alpha Prime LiDAR.
• 2,880 x 1,860 픽셀 해상도의 서라운드 및 스테레오 비전 기능을 갖춘 9대의 카메라.
• A 4-D UHD 레이더.
• 몇 센티미터의 정확도를 가진 위치 파악용 고정밀 GPS 센서.
센서들은 함께 시간당 약 10TB의 데이터를 생성합니다. 루프 박스에 있는 dSPACE AUTERA Autobox 데이터 로거는 모든 센서의 데이터를 기록하고 약 23GBit/s의 전송 속도로 SSD에 기록합니다. 센서 데이터 수집 및 시스템 관리는 모든 하드웨어 동기화, 시스템 프로세스 관리 및 데이터 기록과 같은 작업을 수행하는 RTMaps 미들웨어 소프트웨어에 의해 처리됩니다.
그러나 도로에서 데이터 수집을 시작하기 전에 센서 보정과 같은 일부 전제 조건을 수행하여 데이터 수집 이후의 데이터 기반 개발 파이프라인을 따라 특정 프로세스를 활성화해야 합니다.
센서 보정: 정의와 이유
센서 보정이란? 일반적으로 센서 보정은 센서의 출력과 센서가 실제로 측정한 데이터 간의 대응 관계를 측정하는 과정을 의미합니다. 그러나 센서 설정을 통한 데이터 수집의 맥락에서 센서 보정이라는 용어는 센서의 기하학적 보정을 의미합니다. 일반적으로 내재적 및 외재적의 두 가지 유형의 교정이 있습니다.
내재적 보정은 측정된 데이터와 실제 데이터 간의 기하학적 일치를 달성하기 위해 센서 자체를 보정하는 것을 말합니다. 카메라 재구획 정리라고도 불리는 내재적 카메라 보정에는 예를 들어 렌즈 및 이미지 센서의 매개변수 추정이 포함됩니다. 추정된 매개변수를 사용하여 렌즈로 인한 이미지 왜곡을 제거할 수 있습니다.
외재적 보정이란 한 센서를 다른 센서로 보정하여 한 센서에서 측정한 데이터와 다른 센서에서 측정한 데이터를 기하학적으로 일치시키는 것을 말합니다. 예를 들어, LiDAR와 카메라를 포함하는 센서 설정에서 외재적 보정에는 센서의 상대적 위치를 정의하고 LiDAR로부터의 측정 데이터를 설정된 카메라로 전송하는 데 사용할 수 있는 매개변수 추정이 포함됩니다.
센서 보정이 필요한 이유는? 보정은 일반적으로 센서의 정밀도와 재현성을 검증합니다. 한 센서에서 다른 센서로 정보를 전송하려면 기하학적 보정이 필요합니다. 자율 주행차 운행을 위해서는 여러 센서로부터 수신한 정보를 조정할 수 있도록 서로 관련있으면서 서로 다른 센서를 보정해야 합니다. 예를 들어, 여러 3D 물체 감지 알고리즘이 카메라 이미지를 LiDAR 포인트 클라우드 데이터와 결합하여 물체 감지 성능을 향상시킵니다. 또한, 3D LiDAR 포인트 클라우드의 물체에 정확하게 레이블을 지정하여 하나 이상의 카메라에서 2D 이미지에 쉽게 적용할 수 있는 3D 경계 상자 레이블을 생성할 수 있으므로 물체 인식을 위한 신경망을 훈련할 수 있습니다. 이를 위해서는 LiDAR에 대한 카메라의 내재적 및 외재적 보정이 모두 필요합니다.
센서 보정 방법
자율 주행 애플리케이션을 위한 센서 보정의 가장 일반적인 예는 카메라와 LiDAR 센서의 보정입니다. 가장 먼저 카메라의 내재적 보정을 수행해야 합니다. 내재적 카메라 보정을 수행하는 기본적인 방법은 평면 바둑판 타겟을 사용하여 카메라 매트릭스 및 왜곡 매개변수를 계산하는 것입니다. 바둑판의 주요 지점 또는 모서리가 이미지에서 감지됩니다. 그런 다음 이미지에서 감지된 키 포인트를 바둑판 패턴의 알려진 실제 키 포인트와 비교하여 매개변수를 계산합니다. 보정의 정확성과 견고성을 향상시키기 위해 일부 발견적 접근 방식을 사용하면 키 포인트 감지가 다양한 타겟 위치와 타겟 위치당 충분한 샘플을 통해 획득되도록 보장합니다. 계산된 고유 매개변수는 외재적 보정 프로세스에도 사용됩니다.
외재적 보정의 경우, 카메라 이미지(오른쪽)와 LiDAR 포인트 클라우드 데이터(왼쪽) 모두에서 키 포인트를 감지해야 합니다. LiDAR 포인트 클라우드 데이터의 양은 이미지 데이터의 양에 비해 적기 때문에 보정 타겟의 키 포인트를 감지하기가 어렵습니다. 보정 품질은 두 센서 데이터에서의 키 포인트 감지 정확도에 따라 달라집니다. 센서 설정의 보정 정확도를 조사하기 위해 여러 보정 타겟을 사용하여 보정 성능을 측정할 수 있습니다. 고전적인 방법은 키 포인트 감지를 위해 평면 바둑판 타겟을 사용하는 것입니다. 그러나 새로운 최첨단 방법에서는 원형 구멍이 있는 3D 타겟을 사용할 것을 제안하며, 이는 드문 포인트 클라우드가 있는 경우 키포인트를 감지하는 데에도 적합합니다.
발견법은 강력한 보정을 얻기 위해 정확한 키 포인트 감지만 유지되도록 보장합니다. 카메라 좌표계에서 감지된 키 포인트는 LiDAR 좌표계의 해당 기 포인트와 비교되어 서로에 대한 좌표계의 변환 및 회전을 정의하는 외재적 보정 매개변수를 계산합니다. RTMaps 소프트웨어에 내장된 내재적 및 외재적 보정 알고리즘은 모두 고품질의 라이브 키 포인트 감지를 기록하고 보정 알고리즘의 성능을 평가합니다.
고해상도 LiDAR 덕분에 두 방법 모두 외재적 보정을 위해 1 ± 0.1 픽셀 범위의 재투영 오류로 높은 정확도를 달성합니다. 바둑판 패턴 기반 보정은 사용된 바둑판 패턴이 3D 타겟보다 3배 더 많은 키 포인트를 포함하기 때문에 센서 설정에 대한 3D 타겟 기반 보정보다 빠르게 수렴합니다. 계산된 보정 매개변수는 이미지의 RGB 데이터를 LiDAR 포인트 클라우드 데이터와 병합하거나 LiDAR 포인트 클라우드 데이터의 깊이 정보를 이미지와 병합하는 데 사용할 수 있습니다.
