Proje: Bilgisayarın El İşaretleriyle Kontrol Edilmesi

Günümüzde insan ve makine arasındaki iletişimi sağlamak için birçok geliştirilmiş sistem vardır. Şuanda kullanılan mouse, joistick, eldiven ve benzeri sistemler kullanıcıya kısıtlı kontrol sağlamakta yada kullanıcıya yeterli rahatlığı verememektedir.

Mekanik sistemlerin butür dezavantajlarından dolayı son yıllarda görsel tabanlı insan makine etkileşimi (Human-Machine Interaction) sistemlerinin geliştirilmesine ağırlık verilmiştir. Bu tür sistemler, insan bedeni yada bedeninin bir parçası tarafından gerçekleştirilen işaretleri (gestures) içeren görüntüleri yorumlayarak makine ile iletişimi sağlamaktadır.

Gerçekleştirmiş olduğum bilgisayarla görüş (computer vision) uygulamasında mouse yerine kullanılan el işaretleri ile mouse işlevlerinin yerine getirilmesi sağlanmıştır. Uygulama çalışması için bir bilgisayar ve basit bir webcam den başka birşeye ihtiyaç duymamaktadır.

Aşağıdan gerçekleştirmiş olduğum uygulamanın çalışmasını gösteren videoyu izleyebilirsiniz.

Webcam tarafından alınan görüntüden öncelikle elin konumu bulunmakta ve bu görüntüden arkaplan verisi çıkarılmaktadır. Ardından elin hangi işareti yaptığı analiz edilmekte ve işarete bağlı olarak önceden belirlenmiş  görev yerine getirilmektedir.

Şuanda gerçekleştirilebilien mouse işlevleri:

1. Mouse pointer hareketi
2. Tıklama (Click)
3. Çift tıklama (Double Click)
4. İleri
5. Geri
6. Yakınlaştırma
7. Uzaklaştırma

El işaretine karşılık gelen görevler:

• El işareti 0: İşlem yok
• El işareti 1: Pointer ı hareket ettirme
• El işareti 2: Tıklama yada çift tıklama
• El işareti 3: İleri yada geri
• El işareti 4: Yakınlaştırma yada uzaklaştırma
• El işareti 5: Tanımsız

Uygulama görüntüde işlenen elin rotasyonundan, konumundan ve kameraya olan uzaklığından bağımsız olarak çalışmaktadır.

Proje halen geliştirme aşamasındadır.