Matris çarpımı, birçok makine öğrenimi buluşunun merkezinde yer alır ve şimdi iki kat daha hızlıdır. Geçen hafta, DeepMind matris çarpımını gerçekleştirmenin daha etkili bir yolunu keşfettiğini duyurdu ve 50 yıllık bir rekoru fethetti. Bu hafta, Johannes Kepler University Linz'deki iki Avusturyalı araştırmacı, bu yeni rekoru bir adım geride bıraktıklarını iddia ediyor.

İki dikdörtgen sayı dizisinin çarpılmasını içeren matris çarpımı, genellikle konuşma tanıma, görüntü tanıma, akıllı telefon görüntü işleme, sıkıştırma ve bilgisayar grafikleri oluşturmanın merkezinde bulunur. Grafik işleme birimleri (GPU'lar), büyük ölçüde paralel yapıları nedeniyle matris çarpımını gerçekleştirmede özellikle iyidir. Büyük bir matris matematik problemini birçok parçaya ayırabilir ve özel bir algoritma ile aynı anda bazı kısımlarına saldırabilirler.

1969'da Volker Strassen adlı bir Alman matematikçi, bir matris hesaplaması yapmak için gerekli adım sayısını azaltan, 4×4 matrisleri çarpmak için önceki en iyi algoritmayı keşfetti . Örneğin, geleneksel bir okul odası yöntemini kullanarak iki 4×4 matrisi birbiriyle çarpmak 64 çarpma alırken, Strassen'in algoritması aynı başarıyı 49 çarpmada gerçekleştirebilir.

DeepMind, AlphaTensor adlı bir sinir ağı kullanarak bu sayıyı 47 çarpmaya indirmenin bir yolunu keşfetti ve araştırmacıları geçen hafta Nature'da bu başarı hakkında bir makale yayınladılar .

49 adımdan 47'ye çıkmak kulağa pek fazla gelmiyor, ancak bir GPU'da her gün kaç trilyon matris hesaplamasının yapıldığını düşündüğünüzde, artımlı iyileştirmeler bile büyük verimlilik kazanımlarına dönüşebilir ve AI uygulamalarının mevcut sistemlerde daha hızlı çalışmasına olanak tanır. donanım.

AlphaTensor, ( 2017'de dünya şampiyonu Go oyuncularını geride bırakan) AlphaGo'nun ve satranç ve shogi ile uğraşan AlphaZero'nun torunudur . DeepMind, AlphaTensor'u "matris çarpımı gibi temel görevler için yeni, verimli ve kanıtlanabilir şekilde doğru algoritmalar keşfeden ilk yapay zeka sistemi" olarak adlandırıyor.

Daha verimli matris matematik algoritmalarını keşfetmek için DeepMind, sorunu tek oyunculu bir oyun gibi kurdu. Şirket , geçen hafta bir blog gönderisinde süreç hakkında daha ayrıntılı olarak yazdı :

Bu oyunda tahta, mevcut algoritmanın doğru olmaktan ne kadar uzak olduğunu yakalayan üç boyutlu bir tensördür (sayı dizisi). Algoritma talimatlarına karşılık gelen bir dizi izin verilen hareket yoluyla, oyuncu tensörü değiştirmeye ve girişlerini sıfırlamaya çalışır. Oyuncu bunu yapmayı başardığında, bu, herhangi bir matris çifti için kanıtlanabilir şekilde doğru bir matris çarpma algoritmasıyla sonuçlanır ve verimliliği, tensörü sıfırlamak için atılan adım sayısı ile yakalanır.

DeepMind daha sonra AlphaGo'nun Go oynamayı öğrendiğine benzer şekilde bu kurgusal matematik oyununu oynamak için pekiştirmeli öğrenmeyi kullanarak AlphaTensor'u eğitti ve zaman içinde yavaş yavaş gelişti. Sonunda, DeepMind'e göre Strassen'in ve diğer insan matematikçilerin çalışmalarını yeniden keşfetti ve onları geride bıraktı.

Daha karmaşık bir örnekte, AlphaTensor 5×5 matris çarpımını 96 adımda gerçekleştirmenin yeni bir yolunu keşfetti (eski yöntem için 98'e karşı). Bu hafta, Avusturya'nın Linz kentindeki Johannes Kepler Üniversitesi'nden Manuel Kauers ve Jakob Moosbauer, bu sayıyı 95'e indirdiklerini iddia eden bir makale yayınladılar. Görünüşe göre rekor kıran bu yeni algoritmanın DeepMind'ın çalışmasını temel aldığı için bu kadar çabuk gelmesi tesadüf değil. Kauers ve Moosbauer makalelerinde, "Bu çözüm, [DeepMind araştırmacılarının] şemasından, bir çarpmanın ortadan kaldırılabileceği bir şemaya götüren bir dizi dönüşüm uygulayarak elde edildi."

Teknolojik ilerleme kendi kendine gelişiyor ve yapay zeka artık yeni algoritmalar ararken, diğer uzun süredir devam eden matematik kayıtlarının da yakında düşmesi olası. Bilgisayar destekli tasarımın ( CAD ) daha karmaşık ve daha hızlı bilgisayarların geliştirilmesine nasıl izin verdiğine benzer şekilde, AI, insan mühendislerin kendi lansmanını hızlandırmasına yardımcı olabilir.

Kaynak: Deepmind'ın bu araştırmayla ilgili blog yazısı