Robot-Nesne Etkileşiminde Çok Kipli Hata Sezme

Hizmet robotları için gündelik etkileşimlerinde yürütme, sensör veya ortamsal faktörlerden dolayı emniyetsiz durumlar oluşabilir. Bu tür durumlarda emniyetin sağlanması kritik öneme sahiptir. Bu durumların sezilebilmesi için sürekli eylem gözetimi ve hata sezme bileşenlerine ihtiyaç duyulmaktadır. Bu amaçla, bu çalışmada nesne etkileşim hatalarının sezilmesi için çok kipli bir eylem gözetimi ve hata sezme sistemi sunulmuştur. Tek bir sensör kipine bağımlı kalmak yerine, farklı tipte sensörlerden alınan gözlemler tümleştirilerek farklı hata senaryoları için hata sezme başarımı arttırılmıştır. Önerilen sistemde iç algı, işitsel algı ve görsel algı kipleri birbirlerinden bağımsız olarak işlenerek semantik yüklemler elde edilmiş ve bu yüklemler hata sezme için birleştirilmiştir. İnsansı robotumuz ile masa üstünde yapılan deney sonuçlarına göre sensör verilerinin hata sezmeye katkılarının tamamlayıcı olduğu gözlenmiştir. Çok kipli sensör füzyonuyla hata sezme, tutma eylemi için %86, bırakma ve itme eylemleri için %95 oranında hata sezme başarımı ile tek kipli hata sezmeden daha başarılı sonuçlar üretmiştir.