Sıçanların ve robotların karşılıklı öğrenmesine dair Boğaziçi'nden yeni araştırma

Günümüzde sinirbilim, robotik, yapay zekâ ve bilişsel bilimin kesişiminde heyecan verici çalışmalar yapılıyor. Buna karşın, görsel veri işlemlemesinden, mekânsal öğrenmeye kadar belirli hayvanların çok başarılı olduğu; ancak robotik ve yapay zekâ alanında henüz aynı performansın yakalanamadığı birçok bilişsel yeti var. Boğaziçi Üniversitesi’nde başlayan ve iki yıl sürecek araştırma, robot ve deney hayvanının birbiriyle etkileşime geçtiği bir karşılıklı öğrenme modeli geliştirmeyi hedefliyor. Proje, psikolojideki öğrenme literatürüne önemli bir katkı sunarak çeşitli makine öğrenmesi algoritmalarının sınanması için yeni bir platform oluşturacak.

Proje kapsamında Boğaziçi Üniversitesi Bilişsel Bilim Yüksek Lisans öğrencisi Oğuzcan Nas, Boğaziçi Üniversitesi Psikoloji Bölümü Dr. Öğr. Üyesi Güneş Ünal ve Boğaziçi Üniversitesi Bilgisayar Mühendisliği Bölümü’nden robotik uzmanı Dr. Öğr. Üyesi Emre Uğur danışmanlığında araştırmalarını sürdürüyor. Projenin başlangıcını ve hedeflerini Dr. Öğr. Üyesi Güneş Ünal ve Oğuzcan Nas ile konuştuk.

“Sıçanlar ve robotlar aynı anda hem “öğretmen” hem “öğrenci” olacak”

Proje fikri nasıl ortaya çıktı? Ne kadar sürmesi planlanıyor? 

Bu proje, geçen sene Bilişsel Bilim Programı çerçevesinde hazırladığımız “Çok Disiplinli BAP Proje” çalışmasının parçası olarak ortaya çıktı. Psikoloji Bölümü, Biyomedikal Mühendisliği Enstitüsü ve Bilgisayar Mühendisliği Bölümü’nden dört öğretim üyesi olarak; insan, (diğer) hayvan ve robot etkileşimlerine odaklanan geniş çaplı bir proje ortaya çıkarmaya başladık. Laboratuvar hayvanları ve robotlar arasında bir öğrenme modeli oluşturacak bu çalışma da gelecekte hayata geçirmeyi planladığımız bu kapsamlı türler arası etkileşim ve arayüz geliştirme projesinin ilk ayağıdır.

Bu çalışmanın yaklaşık iki yıl sürmesini bekliyoruz. Yaptığımız çalışma en genel tanımıyla bir robot-hayvan etkileşim çalışması. Mevcut literatürde bu konuda çalışmalar var. Örneğin; robotların sıçanlara bir görevi yapmayı öğrettiği ya da onlarla sosyalleştiği çalışmalar mevcut. Fakat bu klasik çalışmalar hep tek yönlü. Ya robotlar veya makineler hayvanlara bir işi öğretiyor ya da robotlar hayvanları gözlemleyerek (makine) öğrenme(si) oluşuyor. Bu çalışmaların hiçbirinde robot ile deney hayvanı birbiriyle etkileşime geçerek aynı anda birbirlerinden öğrenmiyor.

Biz ilk defa, bir edimsel koşullanma (Skinner kutusu) düzeneğinde, deney hayvanları (sıçanlar) ve robotların aynı anda hem “öğretmen” hem de “öğrenci” olacağı bir ortam oluşturacağız. Bu çalışma, hem psikolojideki öğrenme literatürüne önemli bir katkı sunacak hem de çeşitli makine öğrenmesi algoritmalarının sınanması için yeni bir platform oluşturacak. Daha da önemlisi, tüm bu çabaların sonunda hayvan ve robot etkileşimi kullanan farklı uygulamalarda kullanılabilecek bir “karşılıklı öğrenme” modeli geliştirilecek.

Sıçanların özellikle seçilme sebebi nedir? Hayvanlar, robot teknolojisi için pek çok yönden ilham kaynağı oluyorlar. Peki öğrenme modelleri geliştirilmesinde ön plana çıkan belli hayvanlar var mı?

Sıçanlar geleneksel olarak davranışsal sinirbilim alanındaki en yaygın hayvan modelidir. Bugün halen, farelerle birlikte beyin araştırmalarında en fazla sıçanlar kullanılmaktadır. Bunu sinekler ve primatlar gibi daha büyük memeliler takip etmektedir. Sıçanlardan bir kemirgen modeli olarak vazgeçilmemesinin ve çalışmaların sadece genetik yapıları daha iyi bilinen (ve daha küçük olan) farelerle yapılmamasının nedeni, sıçanların farelere göre daha uysal olmalarıdır. Bu uysallık, sıçanların davranış testlerinde halen tercih edilmelerinin temel nedenidir.

Hayvan robot etkileşimi çalışmalarına baktığımızda da en fazla kullanılan hayvanlar balıklar ve sıçanlardır. Biz de literatürle ve mevcut diğer çalışmalarımızla uyumlu olması için bu projede sıçanları kullanıyoruz. Buna karşın, bazı değişikliklerle aynı modeli birçok başka hayvanda uygulayabiliriz. Modelimiz Skinner Kutusu olarak bilinen bir düzenekte, edimsel koşullanma ile öğrenmeye dayanıyor; ki birçok hayvan bu şekilde yeni davranışlar öğrenebilmektedir. Zira bu düzeneği geliştiren meşhur Amerikalı psikolog Frederic Skinner, güvercinlerle çalışıyordu.

Ayrıca haklısınız, hayvanların birçok teknolojiye ilham kaynağı oldukları doğru. Yapay öğrenme konusunda en büyük ilham kaynağının belirli bir hayvan değil fakat genel olarak biyolojik beyinler olduğunu söyleyebiliriz. Yapay öğrenme modelleri, canlı beyinlerindeki sinir hücrelerinin temel çalışma prensipleri ile belirli beyin bölgelerinin kendilerine özgü işlevlerinden ilham alır.

“Uygun yöntem ile bir robot, insan dâhil herhangi bir hayvana birçok şey öğretebilir”

Robotların ve sıçanların karşılıklı öğrenmesi nasıl gerçekleşecek? Robotlar, sıçanların ne tür davranışlarını takip edecekler? 

Deney düzeneğine bir robot ve bir sıçan aynı anda konuluyor. İkisinin de ulaşmak istedikleri farklı amaçlar var. Sıçanın motivasyonu sevdiği bir yemeği ödül olarak almak. Bu doğal bir “yemek arama davranışı” yaratıyor. Robotun amacı ise sıçanla arkadaş olmak, ki bu robota bizim yüklediğimiz bir amaç. Robot için sıçanla arkadaş olmayı, sıçanı mümkün olduğunca kendi etrafında tutmak olarak belirliyoruz.

Genel olarak, robotun verdiği iki sinyal var. Bunlardan biri “ödül sinyali.” Robot bu sinyali verdiğinde (örneğin sol kolunu havaya kaldırdığında) eğer sıçan kendisine yaklaşırsa, deney düzeneğinin ödül köşesi olarak adlandırılan uzak bir noktasında sıçanımızın sevdiği bir yiyecek beliriyor. Yani robot belirli sinyal verdiğinde ve sıçan bu sinyali anlayıp robota yaklaştığında, robotumuz deney kutusunun uzak bir noktasında sıçana ödül vermiş oluyor. Tabii sıçanın ödülü almak ve karnını sevdiği yiyecekle doyurmak için, zaman içinde bu olumlu sinyalin anlamını ve ödülün verildiği noktayı öğrenip, sinyal gelince o köşeye gitmesi gerekiyor.

Bu kendi başına basit bir edimsel koşullanma deneyi. Ancak robot sadece ödül vermiyor, bazen de olumsuz sinyal (bir çeşit ceza) veriyor. Örneğin sol değil, sağ kolunu kaldırdığında bir değişiklik olmuyor, ödül köşesinden sıçan yemi gelmiyor. Sıçanın bu olumsuz sinyali, olumlu sinyalden yani ödül sinyalinden ayırt etmesi gerekiyor. Sıçan bunu öğreniyor.

İşin ilginç tarafı bu süreçte, robot da kendi verdiği sinyallerin ne işi yaradığını öğreniyor. Robot deneye olumlu (ödül) ve olumsuz sinyalleri rastgele vererek başlıyor. Hatırlarsanız, ödül sinyalinin özelliği sıçanı robota yaklaştırmasıydı. Robot sadece bu sinyali verdiğinde sıçan kendisine yaklaşırsa, ödül köşesinden sıçan yemi geliyor. Robot olumsuz sinyal verdiğinde sıçan robota yaklaşsa da herhangi bir ödül alamıyor. Robotun motivasyonu sıçanın kendisine yaklaşması olarak tanımlandığı için, robot da zaman içinde sadece bir sinyalin sıçanı kendisine yaklaştırdığını öğrenip sadece bu sinyali, yani ödül sinyalini vermeye başlıyor! Sonuçta, zaman içinde “mükemmel karşılıklı öğrenme” gerçekleşiyor: Robot sadece ödül (ve ödül sinyali) vererek sıçanı etrafında tutarken (onunla arkadaşlık ederken) sıçanımız karnını doyuruyor. Kısacası deney iki taraf için de mutlu sonla bitiyor.

Özetle anlattığımız bu sisteme farklı modüller ekleyerek, robot-hayvan etkileşimini çeşitlendiriyor ve böylece farklı modellerin hayvanın ve robotun öğrenmesini nasıl etkilediğini araştırıyoruz. Robotlar aracılığıyla hayvanlara öğretilebilecek şeylerin sınırı, hayvanların nöronal kapasiteleri ile sınırlıdır. Uygun yöntem ile bir robot, insan dâhil herhangi bir hayvana birçok şey öğretebilir. 

Robot-hayvan/insan ilişkisi, genel anlamda makine-hayvan/insan etkileşimine göre önemli bir avantaja da sahip. Bu avantaj robotların bize veya sıçanlara, yani etkileşim içinde oldukları türe fiziksel ve davranışsal olarak benzeyebilmelerinden geliyor. Antropomorfik robotların bilimkurgu alanındaki başarısını ve popülaritesini düşünün! Sıçana benzeyen bir robot, karmaşık bir labirentte sıçanlara kılavuzluk edebilir. Onlara kendi başlarına, hatta bir simülatör yardımı ile çok uzun sürede öğrenecekleri bir haritayı, çok daha kolay öğretebilir. Eğitilmiş hayvanlar, arama kurtarma ve mayın temizliği gibi önemli alanlarda kullanılıyor. Bu tip eğitim süreçlerinin robotlar aracılığıyla kolaylaştırılması ve hızlandırılması da büyük önem taşıyor.

Kaynak: https://haberler.boun.edu.tr/