FLIR Firefly®와 함께 하는 가장자리에 배치할 수 있는("온 더 에지") 추론

소개

딥 러닝은 기존 애플리케이션을 혁명화하고 새로운 산업의 개발을 주도하고 있는 새로운 기술입니다. Google, Amazon, Intel 및 Nvidia가 제공하는 신경망 생성 및 교육을 위한 도구는 기술에 더 접근이 용이하게 해 주며, 새로운 플레이어가 경쟁력 있는 제품을 가지고 이미 자리잡은 시장에 진입할 수 있는 힘을 선사합니다.

딥 러닝의 가능성은 널리 알려져 있습니다. 귀하께서는 지금 본인의 애플리케이션을 위한 딥 러닝 사용 작업을 하고 계실지도 모릅니다.FLIR에서 저희들은 항상 기계 시각 개발자들이 이 기술을 더 잘 활용할 수 있는 방법을 생각해 왔습니다. 그 결과는 곧 출시되는 저희의 FLIR Firefly® 카메라입니다. 이 카메라는 교육된 네트워크를 현장에 배치하는 쉬운 경로를 제공합니다. FLIR Firefly®는 고품질 Sony Pregius 이미지 센서 및 Intel Movidius Myriad 2 Vison Processing Unit(VPU, 비전 처리 유닛)을 GenICam 컴플라이언스와 함께 통합하여 기계 시각을 딥 러닝 추론과 결합하였습니다.c

VPU란 무엇인가요?

FLIR Firefly®의 중심에 있는 Intel Movidius Myriad 2 Vison Processing Unit(VPU, 비전 처리 유닛)은 새로운 클래스의 프로세서입니다. VPU는 고속 하드웨어 영상 처리 필터, 범용 CPU코어, 그리고 병렬 벡터 프로세스 코어를 결합하고 있습니다. 카메라 내 추론을 가속화하는 데 사용되는 벡터 코어는 GPU 내에서 찾아볼 수 있는 범용 코어보다 더 신경망의 브랜칭 로직에 최적화되어 있습니다. 이렇듯 더 높은 정도의 최적화는 VPU가 적은 전력을 사용하는 동시에 높은 수준의 성능에 도달할 수 있게 합니다.

추론이란 무엇인가요?

추론은 새롭게 포착한, 라벨이 붙지 않은 실생활 데이터에 딥 러닝을 적용하는 것을 말합니다. 추론은 교육된 신경망이 새로운 데이터에 기반한 예측을 하는 것의 결과입니다.

그림 1. 추론은 라벨이 붙은 데이터(A)로 교육된 모델을 새롭고 라벨이 붙지 않은 데이터(B)에 적용한 것입니다.

추론에 사용될 수 있는 네트워크에는 여러 가지 유형이 있으나, MobileNet은 특히 이미지 분류 수행에 아주 적합합니다. MobileNet은 원래 Google이 고정밀 이미지 분류를 수행하고 휴대 기기 내 분할을 위해 사용할 수 있게 디자인되었습니다. MobileNet은 크고 전력을 많이 소비하는, GPU를 필요로 하며 컴퓨터상으로 훨씬 더 비싼 네트워크와 비슷한 정확도를 제공합니다.

추론 카메라는 "스마트 카메라"와 비교했을 때 어떤가요?

전통적인 스마트 카메라는 기계 시각 카메라와 단일 보드 컴퓨터가 실행하는 규칙 기반 이미지 프로세싱 소프트웨어를 결합한 형태입니다. 스마트 카메라는 바코드 읽기나 "이 부분에서 구멍이 있어야 할 자리에 있는 게 맞나요?"와 같은 질문에 답하는 등 간단한 문제 해결에 아주 좋은 솔루션입니다. 추론 카메라는 "이 사과는 수출할 만한 품질의 사과인가요?"와 같이 더 복잡하거나 주관적인 질문에 뛰어납니다. 추론 카메라는 알려진 좋은 이미지를 사용해 교육되는 경우, 규칙 기반 검사 시스템이 인식할 수 없는 예기치 못한 결함을 쉽게 식별할 수 있어 변동에 더 강합니다.

추론 카메라는 풍부하고 서술적인 메타 데이터가 있는 기존의 애플리케이션에 보조 장치로 사용될 수 있습니다. FLIR Firefly®는 GenICam 청크 데이터를 사용해 인퍼런스로 이미지를 태그할 수 있으며, 이는 호스트에게 전달되어 전통적인 규칙 기반 이미지 프로세싱을 실행하게 됩니다. 이렇게 하면 사용자들은 자신의 기존 비전(시각) 시스템의 능력을 빠르게 확장할 수 있습니다. 이 혼합 시스템 구조는 전통적인 비전 시스템을 트리거링하는 데 사용할 수도 있습니다.

전통적인 스마트 카메라에 사용되는 전산 하드웨어는 전력 효율성이 떨어지며 Firefly내 VPU보다 훨씬 크므로, FLIR Firefly®를 사용은 곧 커다란 공간 절약을 의미합니다. 크기가 27 mm x 27 mm에 불과한 FLIR Firefly는 좁은 공간에서도 통합이 가능합니다.

FLIR Firefly®는 열린 플랫폼입니다. 이는 사용자들에게 자신의 교육과 최적화에 딥 러닝 네트워크의 빠른 페이스와 관련 도구 체인을 이용할 수 있는 유연함을 제공합니다. 스마트 카메라는 그에 반해 가장 최근의 발전을 지연시킬 수 있는 전용 도구를 사용해 프로그래밍되었습니다.

인퍼런스 온 카메라의 이점은 무엇인가요?

비전 시스템의 가장자리에 인퍼런스를 활성화해 사용하는 것은 시스템 속도, 신뢰도, 전력 효율성 및 보안 개선을 제공합니다.

• 속도: 가장자리에 인퍼런스를 사용하는 것은 다른 유형의 에지(가장자리) 컴퓨터 사용과 같이 이미지 프로세싱을 중앙 서버가 아니라 데이터 소스 근처에서 진행할 수 있게 합니다. 이미지 전체를 원격 서버에 전송하지 않고 서술 데이터만 보낼 수 있습니다. 이렇게 하면 시스템이 전송해야 하는 데이터의 양이 크게 줄어들어 네트워크 대역폭과 시스템 지연 시간이 최소화됩니다.
• 신뢰도: FLIR Firefly®는 특정 애플리케이션에서 서버 및 네트워크 인프라에 대한 의존을 제거할 수 있어 신뢰도를 높여줍니다. Firefly는 내장 VPU와 함께 독립적으로 사용이 가능한 센서로 작용합니다. Firefly는 이미지를 포착하고 그에 기반한 결정을 내릴 수 있으며, 그 후 GPIO 신호를 사용해 행동을 트리거합니다.
• 전력 효율성:필요할 때만 비전 시스템을 트리거링한다는 것은 더 많은 프로세싱 시간이 전통적인 규칙 기반 이미지 프로세싱과 분석에 사용될 수 있음을 뜻합니다. 딥 러닝 인퍼런스는 특정 조건이 충족되었을 때 고전력을 필요로 하는 이미지 분석을 트리거링하는 데 사용될 수 있습니다. Myriad 2 VPU는 현속 회로를 지원함으로써 추가 전력 절약을 제공합니다. 이는 여러 단계의 분석을 활성화하며, 더 복잡하고 고전력을 필요로 하는 네트워크가 기존 네트워크의 특정 조건을 충족했을 때만 활용되게 할 수 있습니다.
• 보안:전송되는 적은 양의 데이터는 손쉽게 암호화되어 시스템 보안을 개선합니다.

어떻게 시작하면 되나요?

FLIR Firefly는 R&D에서부터 애플리케이션 작업까지 딥 러닝을 적용할 수 있는 손쉬운 방식을 제공합니다. Firefly는 이미지를 포착하고, GPIO 행위를 트리거링하는 그에 기반한 결정을 내려 독립된 센서로 사용될 준비가 되어 있습니다. FLIR Firefly는 2019년에 출시될 예정이나, 가장자리 인퍼런스는 오늘 바로 사용이 가능합니다. 곧 출시 예정인 FLIR Firefly의 중심에 자리잡은 Intel Myriad 2 VPU는 Intel Neural Compute Stick에서 사용이 가능합니다.

Intel Neural Compute Stick을 사용하면 $1000 이하로 완전한 가장자리 인퍼런스 비전 시스템을 구축할 수 있습니다. 비전 시스템 개발자들은 Intel OpenVINO toolkit와 함께 손쉽게 FLIR Firefly® 내에서 온 카메라 인퍼런스를 구동하는 동일한 VPU에 신경망의 성능을 최적화하고 이를 검증할 수 있습니다. 이는 사용자가 똑같은 카메라로 전통적 알고리즘 옆에서 Myriad 2로 구동되는 인퍼런스의 성능을 정확하게 평가할 수 있게 합니다.

그림 2. GPU 교육에서 Neural Compute Stick 개발, 그리고 FLIR Firefly® 배치까지

결론

딥 러닝 인퍼런스는 비전(시각) 시스템이 디자인되며 프로그램되는 방식을 본질적으로 바꾸어 놓을 것입니다. 딥 러닝 인퍼런스는 복잡하고 주관적인 결정이 전통적인 규칙 기반 방식을 사용하는 것보다 더 빠르고 정확하게 내려질 수 있게 할 것입니다. FLIR Firefly는 Sony Pregius 센서, GenICam 인터페이스, 그리고 Intel Movidius Myriad 2 VPU를 통합하여 기계 시각을 딥 러닝과 합쳐 놓았습니다. 이 새로운 클래스의 인퍼런스 카메라는 딥 러닝 인퍼런스를 기계 시각 애플리케이션에 배치할 수 있는 이상적인 방식을 제공합니다. 오늘 바로 Intel Neural Compute Stick과 함께 FLIR Firefly®를 위한 개발을 시작하실 수 있습니다.