Takviyeli Öğrenme

 Bu öğrenmede kendi ortamını algılayan ve ortamında hareket yapan özerk bir etmenin, amacını gerçekleştirmek için en uygun hareketleri yapmayı nasıl öğrenebileceği sorusuna cevap verilir [1]. Robotik, oyun programlama, hastalık tanı ve teşhisi, otomasyon gibi sistemlerde yaygın olarak kullanılmaktadır.

Takviyeli öğrenme ortamında etmendeki bir hareketinin karşılığı olarak eğitici veya yazılım, yeni durumun istem durumunu belirtmek için bir ödül veya ceza ile etmeni takviye işlemi gerçekleştirir. Böylece bu sistemde, amaca ulaşmak için gerçekleştirilebilecek en iyi eylem seçilmeye çalışır [2].

Takviyeli öğrenme ile problemleri çözmek için iki ana yöntem vardır: Bunlardan ilki, ortamı iyiye götüreni bulmak için eğitim uzayında bir arama yapmak, ikincisi ise faydalı hareketi tahmin etmek için istatistik ve dinamik programlama yöntemlerini kullanmaktır [3].

Takviyeli öğrenmenin amacı optimal politikayı bulmaktır. Optimal politika, etmenin problemi optimal yönden çözmesini ve sonuca ulaşmasını sağlar. Böylece etmen hedefi olan en yüksek ödül değerine de ulaşmış olur. Optimal politika rasgele bir st durumundan başlanmış indirgenmiş toplam ödül miktarının maksimum değeri şeklinde ifade edilebilir. Takviyeli öğrenmede etmenin amacına ulaşması için eğitmen veya yazılım tarafından belirlenen amaç ve ödüller büyük önem taşımaktadır. Bu sebeple takviyeli öğrenme metoduyla tasarlanan sistemlerde amaç ve ödüllendirmenin, etmenin başarısını etkilediği ve ne kadar önemli olduğu görülmektedir [4].

 Burada П davranış politikası, V ise değer fonksiyonu olup 𝑠𝑡 ise t anındaki davranış durumudur.

Takviyeli öğrenmenin denetimli öğrenmeden en belirgin farkı, etmenin tahminleri için etmene sadece bir kısım geribildirim verilir. Ayrıca buradaki tahminler kontrol edilen sistemin gelecekteki durumu üzerinde uzun vadeli etkili olabilir. Böylece zaman önemli bir faktör olmaktadır [5]. Takviyeli öğrenme sistemi Şekilde gösterilmiştir [4].

Takviyeli öğrenme sistemi

Bir takviyeli öğrenme sisteminde etmen ve çevre dışında biri opsiyonel olmak üzere dört unsur bulunur [6]:

• Politika (policy)
• Ödül (reward signal)
• Değer/Durum Değeri (value function)
• Çevre modeli (model)

Politika; etmenin içinde bulunduğu durumda alabileceği aksiyonu belirler. Ödül; etmenin gerçekleştirmiş olduğu bir aksiyona karşılık çevreden aldığı puandır. Durum değeri; etmenin içinde bulunduğu durumdan ve o durumu takip eden diğer durumlardan bekleyebileceği ödüllerin toplamıdır. Model; isteğe bağlı olarak sisteme dâhil edilen bir unsurdur [6].

Zamansal fark öğrenimi (temporal difference learning — TD learning): Zamansal fark öğrenmenin açıklanmasından önce, temel bir değer fonksiyonları anlayışı ile başlamak gerekir. Değer fonksiyonları, belirli bir eylemin belirli bir durumda ne kadar iyi olacağını tahmin eden durum-eylem çifti işlevleridir veya bu eylemin geri dönüşünün ne olacağını tahmin eder. Değer fonksiyonları gösterimi [7]:

Vπ(s) — π politikasındaki s durumunun değeri.

Qπ(s,a) — π politikasındaki s durumunun, a hareketini gerçekleştirme değeri (Q değeri).

Burada bulunan problem, belirli bir politika için bu değer işlevlerini tahmin etmektir. Bu değer işlevlerini tahmin etmenin sebebi, verilen durumda gerçekleştikten sonra, mümkün olan en iyi toplam ödülü sağlayacak bir işlemi, doğru bir şekilde seçmek için kullanılabilecek olmalarıdır [7].

TD öğrenim yöntemi, ortamın dinamikleri modeli olmadan doğrudan ham deneyimlerden öğrenebilen bir takviyeli öğrenme algoritmasıdır. Bu yöntemde, nihai bir sonuç beklemeden, diğer öğrenilmiş tahminlere dayanan tahminler kısmen güncellenir (önyükleme yapılır) [3]. TD öğrenim yönteminde tahminler öğrenme sürecinde hedef olarak kullanılır. Modelsiz bir öğrenme algoritması olan TD öğrenimin iki önemli özelliği vardır:

• Model dinamiğinin önceden bilinmesini gerektirmez.
• Epizodik olmayan görevler için de uygulanabilir.

TD öğrenim değer fonksiyonlarını tahmin etmek için kullanılabilir. Değer fonksiyonları tahmin edilmeksizin hesaplanacak olsaydı, herhangi bir durum-eylem çifti değerleri güncellenmeden önce, son ödülün alınmasını beklemek gerekirdi. Nihai ödül alındıktan sonra, nihai duruma ulaşmak için alınan yolun geri dönülmesi ve her değerin buna göre güncellenmesi gerekirdi. Bunun yerine TD öğrenim yöntemleriyle, her bir durumda nihai ödülün bir tahmini hesaplanır ve durumun her adımı için durum-eylem değeri güncellenir. Bu hesap şöyle ifade edilir [7]:

Burada: 𝑟𝑡+1, t + 1 zamanında gözlenen ödüldür. 𝛾 ise 0 ile 1 arasında bir indirim oranı değeridir. Değer ne kadar yüksek olursa, o kadar az indirim yapılır.

TD öğrenim yöntemi “önyükleme” yöntemi olarak adlandırılır, çünkü değer, nihai bir ödül değil, mevcut bir tahmin kullanılarak kısmen güncellenir. TD öğrenme “Politikalı” ve “Politika Dışı” Öğrenme olarak iki şekilde düzenlenebilir. Politikalı öğrenmede yöntemler karar vermek için kullanılan politikanın değerini öğrenir. Değer işlevleri, bazı politikaların belirlediği eylemleri gerçekleştirmenin sonuçları kullanılarak güncellenir. Bu politikalar genellikle yumuşak (her zaman politikaya bir keşif unsuru olduğunu garanti eder) ve determinist değildir. Politika katı değildir ve her zaman en fazla ödülü veren eylemi seçer. Soft, greedy ve softmax olmak üzere üç çeşit sıklıkla kullanılan politika vardır. Politika Dışı yöntemler, davranış ve tahmin için farklı politikalar öğrenebilir. Davranış politikası genellikle yumuşaktır. Politika dışı algoritmalar, aslında denenmemiş olan varsayımsal eylemleri kullanarak tahmini değer işlevlerini güncelleyebilir. Politika dışı algoritmalar araştırmayı kontrolden ayırabilir ve politika içi algoritmalar yapamaz. Politika dışı bir yöntem kullanılarak eğitilmiş bir ajan, öğrenme aşamasında mutlaka göstermemesi gereken öğrenme taktikleri ile sonuçlanabilir.

Qöğrenme: En sık kullanılan takviyeli öğrenme algoritmalarındandır. Q öğrenme çevre hakkında bilgi sahibi olunamayan ortamlarda çevrimiçi olarak öğrenebilen bir algoritmadır. Rasgele bir ortam içinde etmene, optimal politikayı nasıl öğrenebileceği gösterilir. Etmenin optimal politikayı doğrudan öğrenmesi zordur. Çünkü etmen için kullanabileceği eğitim verileri bulunmamaktadır. Etmen için kullanılabilir eğitim verisi sadece anlık ödüllerdir. Bu eğitim verilerini kullanarak sayısal bir değerlendirme fonksiyonunu öğrenmek ve daha sonra bu fonksiyon yardımıyla optimal politikayı belirlemek daha kolaydır [4].

TD öğrenme için politika dışı bir algoritmadır. Q öğrenme algoritmasının temel amacı bir sonraki hareketleri inceleyip yapacağı hareketlere göre kazanacağı ödülü görmek ve bu ödülü en çok hale getirecek şekilde hareket etmektir. Bu algoritmada bir nevi, ajanın geleceğe dair plan kurması beklenmektedir. Bu algoritma labirent ve arama gibi problemlere sıklıkla uygulanmaktadır.

Algoritmanın temel olarak iki matris üstüne kurulmuştur. İlk matris Reward (Ödül) matrisi, diğeri ise State (durum) matrisidir. Belirli bir tekrar süresince hareket eden robot bu hareketler sırasında R matrisindeki değerler yoluyla S matrisini tamamlar. Tüm tekrarlar sonucunda oluşan S matrisinin son değerleri ise optimal sonucu gösterir.

Q öğrenme, sonlu durumlu Markov Karar Süreci olarak modellenebilen alanlara kolaylıkla uygulanabilecek modelden bağımsız bir Takviyeli Öğrenme algoritmasıdır. Takviyeli öğrenme problemleri matematiksel olarak Markov karar süreçleri gibi modellenebilirler. Markov karar süreci şu parametrelere bağlı olarak tanımlanır [8].

• Sonlu durumlar kümesi, S
• Hareketler kümesi, A
• Bir ödül fonksiyonu, R: S x A → R
• Durum geçiş fonksiyonu, T: S x A → π(S)

Burada π(S), S kümesi üzerinde bir olasılık dağılımı olarak tanımlanabilir. Durum geçiş fonksiyonu, etmenin o andaki durum ve hareketinin bir fonksiyonu olarak, bir olasılıkla ortamın sonraki durumunu belirler. Ödül fonksiyonu ise anlık ödülleri verir. Bu özellik Markov Özelliği olarak bilinir. Buna göre, geçmiş durum, hareket ve takviye arasında bir bağımlılık söz konusu değildir. Bu yüzden, Markov karar süreci ortamın sadece bir adım için dinamiğini tanımlar [8].

Q öğrenme prosedürü şöyle sıralanabilir:

• Q-değerleri tablosunu (Q (s, a)) başlat.
• Mevcut durumu gözlemle, s.
• Eylem seçimi politikalarından birine dayalı bir eylem seç. (soft, greedy veya softmax).
• Harekete geç ve ödülü (r) ve yeni durumu (s’) izle.
• Gözlemlenen ödülü ve bir sonraki durum için mümkün olan maksimum ödülü kullanarak durum için Q değerini güncelle.
• Durumu yeni durumuna ayarla ve terminal durumuna ulaşana kadar işlemi tekrarla.

SARSA: Sarsa algoritması, TD öğrenme için bir politika algoritmasıdır. Sarsa ile Q öğrenme arasındaki en büyük fark, bir sonraki durum için maksimum ödülün mutlaka Q değerlerini güncellemek için kullanılmamasıdır. Bunun yerine, yeni bir eylem ve dolayısıyla ödül, orijinal eylemi belirleyen politika kullanılarak seçilir. Mevcut durumda, S bir eylem, “A” alınır ve ajan bir ödül alır, “R” ve bir sonraki durumda sona erer, “S1” ve aksiyon alır, S1'de A1. Buradan yola çıkarak (S, A, R, S1, A1) adını almıştır.

SARSA prosedürü şöyle sıralanabilir:

• İlk olarak, Q değerlerini bazı keyfi değerlere sıfırla,
• Epsilon-greedy politikasına göre bir eylem seç ve bir durumdan diğerine geç,
• Güncelleme kuralını izleyerek önceki durumdaki Q değerini güncelle.

 

Dünden Bugüne Yapay Zeka

KAYNAKLAR

[1] Kaelbling, L. P., Littman, M. L., and Moore, A. P. (1996). Reinforcement learning: A Survey. Journal of Artificial Intelligence Research, 237–285.

[2] Hoshino, Y., and Kamei, K. (2003). SICE 2003 Annual Conference. A proposal of reinforcement learning system to use knowledge effectively, 1582–1585. IEEE Xplore.

[3] Sutton, R. S., and Barto, A. G. (1998). Reinforcement Learning: An Introduction. Cambridge: MIT Press.

[4] Hacıbeyoğlu, M. (2006). Çoklu Etmen Mimarisi ve Takviyeli Öğrenme. Bilgisayar Mühendisliği Anabilim Dalı, Yüksek Lisans Tezi, Selçuk Üniversitesi Fen Bilimleri Enstitüsü, Konya.

[5] Szepesvari, C. (2010). Algorithms for Reinforcement Learning. Morgan & Claypool. doi: 10.2200/S00268ED1V01Y201005AIM009

[6] Kayaoğlu, T., Bilgiç, T., Özkaynak, S., Çalışır, S., ve Güçkiran, K. (2018). Pekiştirmeli Öğrenmeye Giriş Serisi-1. Web: https://medium.com/deep-learningturkiye/peki%CC%87%C5%9Fti%CC%87rmeli%CC%87-%C3%B6%C4%9Frenmeye-gi%CC%87ri%CC%87%C5%9Fseri%CC%87si%CC%87-1-8f5c35b6044

[7] Eden, T., Knittel, A., and Uffelen, R. v. (2019). Reinforcement Learning. Web: http://www.cse.unsw.edu.au/~cs9417ml/RL1/tdlearning.html

[8] Kaya, M. (2003). Çoklu Etmen Takviyeli Öğrenmeye Veri Madenciliği Tabanlı Yeni Yaklaşımlar, Doktora Tezi, Fırat Üniversitesi Fen Bilimleri Enstitüsü. Elazığ.

[9] Savaş, S. (2019), Karotis Arter Intima Media Kalınlığının Derin Öğrenme ile Sınıflandırılması, Gazi Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Ana Bilim Dalı, Doktora Tezi, Ankara.

 

 

Makine Öğrenmesi

 Makine öğrenmesi sayesinde, bilgisayarlar artık hava durumunu tahmin etme, borsa sonuçlarını belirleme, alışveriş alışkanlıklarını anlama, bir fabrikada robotları kontrol etmek vb. gibi durumlar için “eğitilebilir” durumdadırlar. Google, Amazon, Facebook, Netflix, LinkedIn gibi firmalar tüketiciye yönelik daha popüler hizmetlerin tümünü makine öğrenmesiyle desteklemektedir. Fakat tüm bu öğrenmelerin merkezinde bir algoritma olarak bilinen şey vardır. Özet olarak bir algoritma tam bir bilgisayar programı değil, tek bir problemi çözmek için sınırlı bir adım dizisidir. Algoritmada özel ve tek bir hedefe ulaşmak için belirli adımlar atılmaktadır.

 

Özünde makine öğrenmesi deneme yanılma esasına dayanır. Kendi kendini süren bir arabanın bir yayayı bir ağaçtan veya bir araçtan ayırt etmesine yardımcı olabilecek bir program el ile yazılamayabilir ancak verileri kullanarak bu sorunu çözebilecek bir program için bir algoritma oluşturulabilir. Algoritmalar ayrıca programların bir kasırganın yolunu tahmin etmesine, Alzheimer’ın erken dönemini teşhis etmesine, dünyanın en fazla ödenen ve ödenmeyen futbol yıldızlarını belirlemesine yardımcı olmak için oluşturulabilir. Makine öğrenme algoritmaları temelde programların öngörülerde bulunmalarını sağlar ve zaman içinde deneme yanılma deneyimlerine dayanarak bu tahminlerde daha iyi sonuçlar alır.

Makine öğrenmesi algoritmalarının dört ana türü vardır:

• Denetimli Öğrenme (Supervised Learning)
• Denetimsiz Öğrenme (Unsupervised Learning)
• Yarı Denetimli Öğrenme (Semi-supervised Learning)
• Takviyeli Öğrenme (Reinforcement Learning)

Denetimli öğrenmede etiketli verileri içeren bir bilgisayar programı sağlanır. Örneğin, görüntüleri sıralamak için bir algoritma kullanarak kedi ve köpek resimlerini ayırma görevi tanımlandığında, kedisi olanların bir “kedi” etiketi olur ve köpeği olan resimlerin “köpek” etiketi olur. Bu bir “eğitim” veri seti olarak kabul edilir ve etiketler, program görüntüleri kabul edilebilir bir oranda başarılı bir şekilde sıralayabilene kadar yerinde kalır. Sürecin sonunda girdi verilerini en iyi tanımlayan işlev seçilir ve verilen “X” (girdi) için en iyi tahmini “y” (çıktı) yapar. Denetimli öğrenme algoritmaları, hedef tahmin çıktısı ile girdi özellikleri arasındaki ilişkileri ve bağımlılıkları, önceki veri setlerinden öğrendiği ilişkilere dayanarak yeni veriler için çıktı değerlerini tahmin edebilecek şekilde modellemeye çalışır.

• En Yakın Komşu (Nearest Neighbor),
• Naive Bayes, Karar Ağaçları (Decision Trees),
• Doğrusal Regresyon (Linear Regression),
• Destek Vektör Makineleri (Support Vector Machines),
• Yapay Sinir Ağları (Artificial Neural Networks)

gibi algoritmalar, denetimli öğrenme algoritmalarının başlıcalarıdır.

Denetimsiz öğrenme hiçbir şekilde etiket içermez. Bunun yerine, program iki yöntemden birini kullanarak kedi ve köpek görüntülerini iki gruba bölme görevine kör bir şekilde atılır. Kümeleme algoritmasında bacak boyu, gövde uzunluğu, gözler vb. gibi özelliklere dayalı olarak benzer nesneler bir araya getirilir. Diğer algoritmaya ise ilişkilendirme denir ve programın keşfettiği benzerliklere dayanarak kurallar oluşturulur. Başka bir deyişle, görüntüler arasında ortak bir kalıp belirlenir ve görüntüler buna göre sıralanır. Temel olarak desen tespiti ve tanımlayıcı modellemede kullanılan makine öğrenme algoritmaları ailesidir.

• K-Ortalama Kümeleme (K-Means Clustering),
• Birliktelik Kuralları (Association Rules)

gibi algoritmalar, denetimsiz öğrenme algoritmalarının başlıcalarıdır.

Yarı denetimli öğrenme, bilgisayarların hem etiketli hem de etiketsiz verilerin varlığında, insanlar gibi doğal sistemlerin nasıl öğrendiği üzerine yapılan çalışmalarla ilgili bir öğrenme paradigmasıdır [1]. Yarı denetimli öğrenmede yalnızca birkaç resim etiketlenir. Bilgisayar programı daha sonra etiketlenmemiş görüntüler hakkında en iyi tahminde bulunmak için bir algoritma kullanır ve ardından veriler programa eğitim verileri olarak geri beslenir. Daha sonra sadece birkaç etiketi içeren yeni bir görüntü grubu sunulur. Program kedi ve köpekleri kendi arasında kabul edilebilir bir oranda ayırt edebilinceye kadar tekrarlayan bir işlemdir. Yarı denetimli öğrenme önceki ikisinin arasında yer alır. Etiketleme pek çok durumda uzmanları gerektirdiği için maliyeti oldukça yüksektir. Dolayısıyla, gözlemlerin çoğunda etiket yokluğunda ancak az sayıda mevcut olsa da, yarı denetimli algoritmalar model yapımı için en iyi adaylardır. Bu yöntemler, etiketlenmemiş verilerin grup üyeliğinin bilinmemesine rağmen, bu verilerin grup parametreleri hakkında önemli bilgiler taşıdığı fikrinden yararlanmaktadır.

Takviyeli öğrenmede program oyunun kurallarını ve nasıl oynanacağını bilir ve turu tamamlama adımlarını uygular. Satranç, bu tür bir algoritmaya örnek olabilir. Programa verilen tek bilgi maçı kazanıp kazanmamasıdır. Sonunda bir maç kazanana kadar başarılı hamlelerini takip ederek oyunu tekrarlamaya devam eder. Sürekli olarak yinelemeli bir şekilde çevreden öğrenir. Süreçte aracı, çevre konusundaki deneyimlerinden olası tüm durumları araştırana kadar öğrenir.

• Zamansal Fark (Temporal Difference (TD)),
• Q Öğrenme (Q Learning),
• Sarsa algoritmaları,

başlıca takviyeli öğrenme algoritmalarındandır.

Bu öğrenme türlerinin derinlemesine olarak içeriğine sonraki postlarda değineceğim.

                                                      Dünden Bugüne Yapay Zeka
 

KAYNAKLAR

[1] Zhu, X., and Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Artificial Intelligence and Machine Learning, 130. doi: 10.2200/S00196ED1V01Y200906AIM006

[2] Savaş, S. (2019), Karotis Arter Intima Media Kalınlığının Derin Öğrenme ile Sınıflandırılması, Gazi Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Ana Bilim Dalı, Doktora Tezi, Ankara.