Page - 15 - in Proceedings - OAGM & ARW Joint Workshop 2016 on "Computer Vision and Robotics“

One­ Shot  Learning  of  Scene  Categories  via  Feature Trajectory  Transfer Roland  Kwitt1,  Sebastian  Hegenbart1,  Marc  Niethammer2 1  University  of  Salzburg,  Austria; 2  University  of  North  Carolina,  Chapel  Hill,  NC,  USA Abstract The  appearance  of  (outdoor)  scenes  changes  considerably  with  the  strength  of  certain  transient attributes,  such  as  ``rainy'',  ``dark''  or  ``sunny''.  Obviously,  this  also  affects  the  representation  of an  image  in  feature  space,  e.g.,  as  activations  at  a  certain  CNN  layer,  and  consequently  impacts scene  recognition  performance.  In  this  work,  we  investigate  the  variability  in  these  transient attributes  as  a  rich  source  of  information  for  studying  how  image  representations  change  as  a function  of  attribute  strength.  In  particular,  we  leverage  a  recently  introduced  dataset  with  fine­ grain  annotations  to  estimate  feature  trajectories  for  a  collection  of  transient  attributes  and  then show  how  these  trajectories  can  be  transferred  to  new  image  representations.  This  enables  us  to synthesize  new  data  along  the  transferred  trajectories  with  respect  to  the  dimensions  of  the  space spanned  by  the  transient  attributes.  Applicability  of  this  concept  is  demonstrated  on  the  problem  of one­ shot   scene  recognition.   We  show  that   data  synthesized  via  feature  trajectory  transfer considerably  boosts  recognition  performance,  (1)  with  respect  to  baselines  and  (2)  in  combination with  state­ of­ the­ art  approaches  in  one­ shot  learning. 15