Proje: Bilgisayarın El İşaretleriyle Kontrol Edilmesi

Günümüzde insan ve makine arasındaki iletişimi sağlamak için birçok geliştirilmiş sistem vardır. Şuanda kullanılan mouse, joistick, eldiven ve benzeri sistemler kullanıcıya kısıtlı kontrol sağlamakta yada kullanıcıya yeterli rahatlığı verememektedir.

Mekanik sistemlerin butür dezavantajlarından dolayı son yıllarda görsel tabanlı insan makine etkileşimi (Human-Machine Interaction) sistemlerinin geliştirilmesine ağırlık verilmiştir. Bu tür sistemler, insan bedeni yada bedeninin bir parçası tarafından gerçekleştirilen işaretleri (gestures) içeren görüntüleri yorumlayarak makine ile iletişimi sağlamaktadır.

Gerçekleştirmiş olduğum bilgisayarla görüş (computer vision) uygulamasında mouse yerine kullanılan el işaretleri ile mouse işlevlerinin yerine getirilmesi sağlanmıştır. Uygulama çalışması için bir bilgisayar ve basit bir webcam den başka birşeye ihtiyaç duymamaktadır.

Aşağıdan gerçekleştirmiş olduğum uygulamanın çalışmasını gösteren videoyu izleyebilirsiniz.

Webcam tarafından alınan görüntüden öncelikle elin konumu bulunmakta ve bu görüntüden arkaplan verisi çıkarılmaktadır. Ardından elin hangi işareti yaptığı analiz edilmekte ve işarete bağlı olarak önceden belirlenmiş  görev yerine getirilmektedir.

Şuanda gerçekleştirilebilien mouse işlevleri:

1. Mouse pointer hareketi
2. Tıklama (Click)
3. Çift tıklama (Double Click)
4. İleri
5. Geri
6. Yakınlaştırma
7. Uzaklaştırma

El işaretine karşılık gelen görevler:

• El işareti 0: İşlem yok
• El işareti 1: Pointer ı hareket ettirme
• El işareti 2: Tıklama yada çift tıklama
• El işareti 3: İleri yada geri
• El işareti 4: Yakınlaştırma yada uzaklaştırma
• El işareti 5: Tanımsız

Uygulama görüntüde işlenen elin rotasyonundan, konumundan ve kameraya olan uzaklığından bağımsız olarak çalışmaktadır.

Proje halen geliştirme aşamasındadır.

Proje:Basit Bir Nesne İzleme Uygulaması

Nesne izleme yada cisim takibi (object tracking),  genel anlamda hedef nesnenin yada nesnelerin herbir video framede ilişkilendirilmesidir.

Aşağıda gerçekleştirdiğim basit bir nesne izleme uygulamasının çıktısını izleyebilirsiniz. İzlenecek nesne seçildikten sonra, seçilen nesnenin merkezi bilgisayar taraından her frame de hesaplanmakta ve koordinatlarıyla birlikte  ekrana yazılmaktadır. Nesnenin “bounding box” içinde gösterilmeside mümkündür.

Proje: Statik El İşareti Tanıma

İlgili konuya geçmeden önce statik işaretler (static gestures) ve dinamik işaretler (dynamic gestures) hakkında ufak bilgi vermek yararlı olabilir. Literatürde işaretler genel olarak 2 sınıfa ayrılırlar: Statik işaretler ve dinamik işaretler.

Statik işaret yeni bir işaret gelinceye kadar değişmeyen bir pozdan oluşuyorken,  dinamik işaretler değişik pozlar ve bu pozların ardışık hareketlerinden oluşabilir.

Projede statik el işaretleri üzerine çalışılmaktadır. Bu bilgisayarla görüş (computer vision) çalışmasında basit bir webcam vasıtasıyla alınan statik el işareti görüntüleri gerçek zamanlı olarak sınıflandırılmaktadır.

Sistem 0 ile 5 arasındaki toplam 6 el işaretini algılayabilecek şekilde tasarlanmıştır.

Uygulama elin rotasyonundan, konumundan ve kameraya olan uzaklığından bağımsız olarak çalışmaktadır.