An Energy and GPU-Computation Efficient Backbone Networkfor Real-Time Object Detection

• densenet은 dense connection을 이용해서 기존 resnet보다 더 다양한 feature level 정보를 사용할 수 있다.
  • 하지만 dense connection은 memory와 연산량 측면에서 overhead가 존재.
  • ResNet은 elementwise sum 즉 out = out + x 
    • 초기 feature map 정보가 사라질 수 있음.
  • densetnet은 concat 한다. 즉 out = torch.cat([out,x])
    • 초기 fature map 정보가 유지.

• 이를 해결하기 위해 One-Shot Aggregation (OSA)로 구성된 VoVNet 제안.

DenseNet 단점

• DenseNet이 적은 FLOPs을 갖지만 ResNet 대비 많은 리소스 소모
• FLOPs 외에도 memory access cost(MAC)와 GPU parallel 측면에서 효율적이지 않으면 전체 리소스가 많이 소요됨

VoVNet

• depth와 channel에 따른 model 구성.