Oxford Araştırmacıları Basit Bir Matematik Numarasıyla Yapay Zekayı İki Kat Daha Hızlı Eğitiyor

Zaman Damgası: 21 Mart 2022 10:00
Kaynak Düğüm: 1225402
AI geri yayılım hızı hızlı ışık ışınları

AI modelleri daha da büyüdükçe, para miktarı ve enerji onları eğitmek için gerekli olan bir sıcak düğme sorunu haline geldi. Disiplinin temel yapı taşlarından birini yeniden yazan yeni bir yaklaşım, olası bir geçici çözüm sağlayabilir.

O zamandan beri GPT 3 sadece artışla elde edilebilecek performanstaki önemli sıçramaları gösterdimodel boyutu, yapay zeka endüstrisindeki liderler kaynakları eğitime yığıyor giderek daha büyük sinir ağları.

Ancak bu çok büyük miktarda paraya mal olur, çok büyük bilgi işlem kaynakları gerektirir ve çok büyük miktarda güç kullanır. Bu, yalnızca çevresel etkileri nedeniyle değil, aynı zamanda daha küçük yapay zeka ekiplerinin rekabet etmesini zorlaştırdığı ve sonuç olarak gücü endüstri liderlerinin elinde yoğunlaştırması nedeniyle giderek artan bir sorun olarak görülüyor.

Ancak şimdi, Oxford Üniversitesi'nden araştırmacılar potansiyel olabilecek yeni bir yaklaşımın ana hatlarını çizdiler.ly eğitim sürelerini yarıya indirin. Bunu, günümüzün sinir ağı tabanlı AI sistemlerindeki en temel bileşenlerden birini yeniden yazarak yapıyorlar: geri yayılım.

Bir sinir ağının verileri nasıl işlediği, çeşitli nöronları arasındaki bağlantıların gücü tarafından yönetilir. Bu nedenle, yararlı işler yapmalarını sağlamak için, verileri istediğiniz şekilde işleyene kadar önce bu bağlantıları ayarlamanız gerekir. Bunu, iki aşamaya ayrılan geri yayılım adı verilen bir süreç kullanarak, sorunla ilgili veriler üzerinde ağı eğiterek yaparsınız.

İleriye dönük çalıştırma, verilerin ağ üzerinden beslenmesini ve tahminlerde bulunmasını içerir. Geriye geçişte, bu tahminlerin doğruluğunun ölçümleri, ağ üzerinden geriye gitmek ve performansı artırmak için çeşitli bağlantıların gücünün nasıl ayarlanması gerektiğini bulmak için kullanılır. Bu işlemi çok sayıda veri kullanarak birçok kez tekrarlayarak, ağ kademeli olarak eldeki sorunu çözen en uygun bağlantı yapılandırmasına doğru çalışır.

Bu tekrarlayan süreç, yapay zekayı eğitmenin bu kadar uzun sürmesinin nedenidir, ancak Oxford araştırmacıları işleri basitleştirmenin bir yolunu bulmuş olabilir. ina ön baskı yayınlandı arXiv, onlar deGeriye geçişi tamamen ortadan kaldıran yeni bir eğitim yaklaşımı yazın. Bunun yerine, algoritmaları ağırlıkların nasıl olması gerektiğine dair tahminler yapar. be ileri geçişte değişti ve bu yaklaşımların geri yayılımla karşılaştırılabilir performans elde etmek için yeterince yakın olduğu ortaya çıktı.

Araştırmacılar, yaklaşımın çeşitli farklı makine öğrenimi algoritmalarını eğitmek için kullanılabileceğini, ancak yalnızca ileri bir geçiş içerdiğinden eğitim sürelerini yarı yarıya azaltabildiğini gösterdi.

Bu basit bir matematiksel numara, İngiltere'deki Exeter Üniversitesi'nden Andrew Corbett söyledi New Scientist, ama ortakAI'nın karşılaştığı en acil zorluklardan birinin üstesinden gelinmesine yardımcı olur. "Bu çözülmesi çok çok önemli bir şey çünkü bu, makine öğrenimi algoritmalarının darboğazı" dedi.

Bununla birlikte, yaklaşımın ne kadar geniş çapta uygulanabilir olduğu görülecektir. Araştırmacılar makalelerinde, bir sinir ağındaki katman sayısı arttıkça çalışma zamanı maliyetlerindeki farkın daraldığını ve tekniğin daha büyük modellerle azalan getirilere sahip olabileceğini öne sürüyorlar.

Bununla birlikte araştırmacılar, standart makine öğrenimi algoritmalarının yöntemlerine daha iyi uyacak şekilde çalışma şeklini değiştirmek için bir dizi fırsat belirlediklerini ve bunun da daha fazla performans kazanımına yol açabileceğini belirtiyorlar.

Araştırma ayrıca potansiyel olarak insan zekasında devam eden bir gizeme katkıda bulunabilir. Yapay sinir ağları, beynin nasıl öğrendiğini araştırmak için en iyi araçlarımızdan biri olmaya devam ediyor, ancak haNöronlar arasında herhangi bir geriye doğru bağlantı olmaması nedeniyle geri yayılımın biyolojik olarak makul olmadığı uzun zamandır biliniyordu. Yalnızca ileri geçiş gerektiren bir öğrenme yaklaşımı, beynimizin öğrenme problemini nasıl çözdüğüne ışık tutabilir.

Resim Kredi: Pexels / 9144 resim

Zaman Damgası:

Den fazla Tekillik Merkezi