Bu blog dizisinde, var olan çeşitli diyalog sistemlerini veya daha yaygın olarak bilinen chatbot'ları ve bu sistemleri geliştirmek için kullanılan tasarım teknikleri ve algoritmalarından bazılarını araştırmaya çalışacağım. 1960'lardaki başlangıcından bu yana, diyalog sistemleri, insanlar ve makineler arasındaki konuşmaları düzene koyma yetenekleri nedeniyle artan bir ilgi gördü. Kullanıcı deneyimi ve katılımı, dünyanın dört bir yanındaki işletmelerin büyümesi için önemli bir faktör haline geldi ve diyalog sistemleri, genel deneyimlerini geliştirmek için bir kullanıcının ilgisini çekmenin mükemmel bir yoludur. Bunu göz önünde bulundurarak bu blog, kural tabanlıdan nesil tabanlıya kadar çeşitli sohbet robotu mimarilerini kapsayacaktır. Bir sonraki blogda bu diyalog sistemlerinin sosyal yanıt verebilirliğini ve bu sohbet botlarının uygulanması için mimariyi nasıl başarabileceğimizi daha ayrıntılı olarak inceleyeceğim.
Girdi olarak doğal dildeki metni veya insan sesini alan ve bir insan ile bir makine arasında akıllı ve doğal bir konuşmayı mümkün kılmak için en iyi insani yanıtları üretebilen bilgisayar programları, konuşma aracıları olarak bilinir. Bu diyalog sistemleri, e-ticaret, konaklama, sağlık, otomotiv, soru yanıtlama ve daha pek çok alana uzanan geniş uygulamalara sahiptir. Mevcut diyalog sistemleri, belirli bir görev için tasarlanmış ve bilgi edinmek ve görevi tamamlamak için kullanıcıyla kısa konuşmalar yapma eğiliminde olan Görev Odaklı diyalog sistemleri veya insan katılımı ve sosyal konuşmalara odaklanan Chatbot'lar olarak sınıflandırılabilir [1]. ]. Bir diyalog Sistemi mimarisi, kural tabanlı sistemler veya derlem tabanlı sistemler olarak sınıflandırılabilir. Derlem tabanlı sistemler ayrıca bilgi alma sistemleri veya üretim tabanlı sistemler olarak sınıflandırılabilir. İlerleyen bölümlerde bu mimarilerin detaylarını vereceğim.
Bu sistem, giriş metnini belirli kriterlere göre ayrıştırmak ve bazı anahtar kelimelerin varlığını aramak gibi basit bir yönteme dayanmaktadır. Bulunan bu anahtar kelimeler daha sonra dönüştürülür ve kendileriyle ilişkili kurallara ve belirli montaj özelliklerine göre yeniden birleştirilir. ELIZA, Rogerian psikoloğu[2] taklit etmek için geliştirilen ilk kurala dayalı diyalog sistemiydi, ardından şizofreni[3] üzerine çalışmak için kurala dayalı bir sohbet robotu olan PARRY geldi. Daha yeni kural tabanlı sohbet botları, DBpedia platformu[4] ile kullanıcı etkileşimini geliştirmek için tasarlanmış DBpedia Chatbot'u içerir.
Veri kaynağı olarak DBpedia Tartışma ve Geliştiriciler posta listesi kullanıldı, ardından bu liste temizlendi, vektörleştirildi ve her mesajdaki her terimin frekansını içeren bir matris dizisine dönüştürüldü. Bu vektörler, kosinüs benzerliği kullanılarak konulara ve dizilere kümelendi ve ardından kalıplar biçiminde, düzenli ifadelerin yapısını izleyen kurallara dönüştürüldü.
Bu tür sohbet robotları, kalıpları, sohbet robotunu eğitmek için kullanılan kurallarla uyuşmayan soruları yanıtlama açısından verimli değildir. Ek olarak, farklı senaryolar için mümkün olan çeşitli kurallar yazmak ve bunu da neredeyse imkansız hale gelen her olası senaryo için çok zahmetli bir iştir.
1. Konuşmaya Dayalı Yapay Zeka Müşteri Hizmetlerini Nasıl Otomatikleştirebilir?
2. Otomatik ve Canlı Sohbetler: Müşteri Hizmetlerinin Geleceği Nasıl Görünecek?
3. COVID-19 Pandemisinde Tıbbi Asistan Olarak Chatbotlar
4. Chatbot'a Karşı Akıllı Sanal Asistan — Fark nedir ve Neden Bakım?
Elle oluşturulmuş kuralların doğasında var olan sorunlar nedeniyle, makine öğrenimi çözümleri gerçek dünya verilerinden oluşturulan derceye uygulanır ve bu nedenle derlem tabanlı sohbet robotları adı verilir. Bu korporalar, yazılı veya sözlü korpora, insan-insan (insanlar arasındaki etkileşim girişlerini içerir) veya insan-makine korpora (girişler bir insan ve makine arasındaki etkileşimlerden oluşur), doğal veya doğal olmayan kurum vb. [5]. Derlem tabanlı doğal dil üretimi, yalnızca önceden tanımlanmış bazı kurallara veya şablonlara göre hareket etmek yerine bir insanı taklit etmenin doğal avantajı nedeniyle sözlü diyalog sistemleri için kullanılır [6]. Bu korpus tabanlı sohbet robotları ayrıca bilgi alma modelleri veya üretim tabanlı modeller olarak sınıflandırılabilir.
Bu botlar, olası yanıtlarıyla birlikte bir dizi sorgu, bir dizi diyalog etkileşimi üzerinde eğitilmiştir. Mevcut yanıtlar kümesinden, bu sistem eşleşen tüm yanıtları sıralar ve en uygun yanıtı bir çıktı olarak verir. Hem sorgu hem de yanıtın TF-IDF vektörleri olarak temsil edildiği ve akıcı yanıtların döndürüldüğü bir sorgu ile yanıt arasındaki benzerliği ölçmek için bir yorum sonrası çift veri kümesi için Sorgu-Yanıt Benzerliği ve Sorgu-Sonrası Benzerlik ölçümleri tanıtıldı [7] .
Geri alma tabanlı sohbet robotlarıyla ilgili önemli bir sorun, dilbilimsel olarak farklı temsiller nedeniyle iki nesne tanımı arasında var olan anlamsal boşluktur. Kullanıcıyı sohbet robotuyla meşgul etmek için, model tarafından üretilen yanıtların yalnızca belirli bir soruya verilen yanıtlardan daha fazlası olması son derece önemlidir. Sohbeti devam ettirmek ve kullanıcıyla bir tartışma ortamı oluşturmak için bazı ek bilgiler içermeleri gerekir.
Konuya duyarlı evrişimli sinir tensör ağı (TACNTN), mesajı, yanıtı ve bunlarla ilgili konu bilgilerini, eşleştirme için nöral tensörler tarafından işlenen vektör uzaylarına gömerek konu bilgisini içeren eşleştirme algoritmasını geliştirmek için tanıtıldı[8]. Bu yaklaşımı kullanarak sistem, LSTM, CNN, Cosine, vb. gibi diğer temel modellerden daha iyi performans gösterdi.
Yukarıdaki tartışma, yalnızca görüşmedeki son giriş mesajını dikkate alan, geri alma tabanlı sistemlerdeki tek dönüşlü konuşmalara odaklanmıştır. Şimdi, yanıtların yalnızca son giriş mesajına göre değil, görüşmenin genel bağlamına göre üretildiği çok yönlü görüşmeleri dikkate alıyoruz. Çok dönüşlü bir konuşma sistemindeki zorluk, doğru bilgiyi belirlemek ve ardından bu bilgiyi farklı dönüşler arasındaki ilişkileri korurken bağlama uygun yanıtları bulmak için kullanmaktır.
Bağlam vektörünün üretildiği ve daha sonra yanıt vektörüyle karşılaştırıldığı bir Sıralı Eşleştirme Ağı önerilmiştir [9]. Her mesaj-yanıt çifti için, model, kelime gömmelerini ve kapılı yinelenen birimleri kullanarak kelime-sözcük ve dizi-dizi benzerlik matrisi oluşturur. Bu şekilde, yanıtı önceki dönüşlerle karşılaştırarak, sohbet robotunun genel performansına katkıda bulunabilecek yararlı bilgiler korunabilir.
Mevcut derlemden bir sorgu için en uygun yanıtı seçmek yerine, nesil tabanlı sohbet robotları, yanıtlarını, sorgunun bir vektör temsilinde kodlandığı ve kod çözücü birimine bir girdi olarak verildiği bir kodlayıcı-kod çözücü çerçevesi kullanarak üretme eğilimindedir. yanıtı oluşturur. Bunu bir yanıt oluşturmanın alternatif bir yolu olarak düşünebiliriz, burada makine çevirisi kullanıcının yanıt vermesinden yanıta dönüşür.
Ritter ve ark. yanıt üretimi için istatistiksel makine çevirisinin kullanımını araştırdı ve açık alan dilsel yanıt oluşturmaya yönelik ilk yaklaşımdı[10].
Mesaj-yanıt çiftlerinin, iki dilli metnin makine çevirisi durumunda olduğu gibi anlamsal olarak eşdeğer olmadığını ve çok daha uyumsuz olduklarını belirlediler. Daha sonra, kodlayıcı-kod çözücü tabanlı modeller veya Seq2Seq modelleri, giriş mesajını okumak ve karşılık gelen yanıtı her seferinde bir belirteç oluşturmak için tekrarlayan sinir ağlarını kullandı [11]. Öngörülen bir çıktı dizideki bir sonraki çıktıyı tahmin etmek için bir girdi olarak beslendiğinden ve çıktının tamamı önceden bilinmediğinden, ışın aramayı kullanmak daha az açgözlü bir yaklaşımdır; burada çoklu çıktılar bir önceki adımda bir girdi olarak verilir. sonraki adımın çıktısını tahmin edin. Bu basit ve genel mimari, basit yanıtlar üretebildi ve temel bir konuşma düzeyini koruyabildi, ancak bir sonraki adımı bir öncekinden tahmin etmekten farklı olan, insan konuşmasıyla ilişkili uzun vadeli hedefi ve bilgileri yakalayamadı.
Bu mimarinin konuşmanın daha uzun önceki bağlamını modelleme konusundaki yetersizliğinin üstesinden gelmek için, modelin önceki dönüşleri görmesine ve veri kümesinde bulunan daha uzun mesajlar için ek kısa vadeli bağımlılıklar getirmesine izin veren çift yönlü RNN kodlayıcılı hiyerarşik tekrarlayan sinir ağları kullanıldı[12 ].
Aynı konulara ve insan konuşması türlerine dayanan diyalog dışı ek veri kümeleri dahil edilerek modelde bir başka geliştirme yapılmıştır. Basit Seq2Seq mimarisiyle ilgili başka bir sorun, birden fazla dönüşte modeller tarafından üretilen yanıtın tutarsız olma eğiliminde olması ve bu nedenle yalnızca tek yanıtlar oluşturmak için iyi olmasıydı.
Bu sorun, diyalog oluşturmak ve diyalog bağlamını sürdürmek için hiyerarşik bir gizli kodlayıcı-kod çözücü modeli tanıtılarak ele alındı[13]. Her bir diyalog mesajıyla birlikte, önce yanıtın yüksek seviyeli anlamsal içeriğinin temsil edildiği, ardından bir kelimeden kelimeye yanıt üretiminin sunulduğu, yüksek boyutlu sürekli bir gizli değişken eklenir.
Bu yöntem, mesajlar arasındaki yüksek değişkenlik sorununu çözmeye yardımcı oldu ve konuşmayı daha doğal hale getirdi. Takviye öğrenmeye dayalı diyalog yöneticisi, görev tamamlama diyalog sistemlerinde sağlamlık, esneklik ve tekrarlanabilirlik konularını ele almak için önerildi ve doğal etkileşimlere izin vermek için sohbet robotlarına daha fazla uygulanabilir [14].
Bu yazıda, size sohbet robotlarımızı modellemek için diyalog sistemleri fikrini ve çeşitli mimari türlerini tanıttım. Gelecek yazılarda, bu mimariyi uygulamak için yaygın olarak kullanılan teknikler ve algoritmalardan daha fazla bahsedecek ve sohbet robotlarında sosyal ve duygusal farkındalık fikrine değineceğim.
[1] Konuşma ve Dil İşleme. Daniel Jurafsky ve James H. Martin.
[2] Weizenbaum, J. (1966). ELIZA — -insan ve makine arasındaki doğal dil iletişimini incelemek için bir bilgisayar programı. ACM'nin İletişimi, 9(1), 36-45.
[3] Colby, KM, Hilf, FD, Weber, S., & Kraemer, HC (1972). Paranoid süreçlerin bir bilgisayar simülasyonunun doğrulanması için Turing benzeri ayırt edilemezlik testleri. Yapay Zeka, 3, 199-221.
[4] Athreya, RG, Ngonga Ngomo, AC ve Usbeck, R. (2018, Nisan). Veriye Dayalı Chatbot'larla Topluluk Etkileşimlerini Geliştirme — DBpedia Chatbot. İçinde Web Konferansı 2018'in Tamamlayıcı Bildirileri (s. 143–146). Uluslararası World Wide Web Konferansları Yönlendirme Komitesi.
[5] Serban, IV, Lowe, R., Henderson, P., Charlin, L., & Pineau, J. (2015). Veriye dayalı diyalog sistemleri oluşturmak için mevcut derlemlerin bir araştırması. arXiv ön baskı arXiv: 1512.05742.
[6] Ah, AH ve Rudnicky, AI (2000). Sözlü diyalog sistemleri için stokastik dil üretimi. İçinde ANLP-NAACL 2000 Çalıştayı: Konuşma Sistemleri.
[7] Ji, Z., Lu, Z., & Li, H. (2014). Kısa metin konuşmasına bir bilgi alma yaklaşımı. arXiv ön baskı arXiv: 1408.6988.
[8] Wu, Y., Li, Z., Wu, W., & Zhou, M. (2018). Geri alma tabanlı sohbet botları için konu ipuçlarıyla yanıt seçimi. Neurocomputing, 316, 251-261.
[9] Wu, Y., Wu, W., Xing, C., Zhou, M., & Li, Z. (2016). Sıralı eşleştirme ağı: Geri alma tabanlı sohbet robotlarında çok dönüşlü yanıt seçimi için yeni bir mimari. arXiv ön baskı arXiv: 1612.01627.
[10] Ritter, A., Cherry, C., & Dolan, WB (2011, Temmuz). Sosyal medyada veriye dayalı yanıt üretimi. İçinde Doğal dil işlemede ampirik yöntemler konulu konferansın tutanakları (s. 583–593). Hesaplamalı Dilbilim Derneği.
[11] Vinyals, O., & Le, Q. (2015). Sinirsel bir konuşma modeli. arXiv ön baskı arXiv: 1506.05869.
[12] Serban, IV, Sordoni, A., Bengio, Y., Courville, A., & Pineau, J. (2016, Mart). Üretken hiyerarşik sinir ağı modellerini kullanarak uçtan uca diyalog sistemleri oluşturma. İçinde Yapay Zeka Üzerine Otuzuncu AAAI Konferansı.
[13] Serban, IV, Sordoni, A., Lowe, R., Charlin, L., Pineau, J., Courville, A., & Bengio, Y. (2017, Şubat). Diyalog oluşturmak için hiyerarşik bir gizli değişken kodlayıcı-kod çözücü modeli. İçinde Yapay Zeka Üzerine Otuz Birinci AAAI Konferansı.
[14] Li, J., Monroe, W., Ritter, A., Galley, M., Gao, J., & Jurafsky, D. (2016). Diyalog üretimi için derin pekiştirmeli öğrenme. arXiv ön baskı arXiv: 1606.01541.
- &
- 11
- 2016
- 7
- 9
- Hesap
- Ek
- avantaj
- ajanları
- AI
- algoritma
- algoritmalar
- Türkiye
- arasında
- uygulamaları
- Nisan
- mimari
- etrafında
- Asistan
- Otomatik
- otomotiv
- Temel
- kiriş
- İYİ
- Blog
- birisinde
- botlar
- bina
- işletmeler
- hangi
- meydan okuma
- chatbot
- chatbots
- CNN
- gelecek
- Yakın İletişim
- topluluk
- Konferans
- konferanslar
- içerik
- konuşma
- konuşmaları
- Covid-19
- Müşteri Hizmetleri
- veri
- Dizayn
- geliştirmek
- geliştiriciler
- e-ticaret
- çevre
- vb
- Fed
- Ad
- Esneklik
- takip et
- Airdrop Formu
- iskelet
- gelecek
- GAO
- boşluk
- genel
- Tercih Etmenizin
- Büyüme
- GV
- sağlık
- Yüksek
- misafirperverlik
- Ne kadar
- HP
- hr
- HTTPS
- İnsanlar
- ia
- Fikir
- Dahil olmak üzere
- bilgi
- etkileşim
- Uluslararası
- araştırmak
- sorunlar
- IT
- Temmuz
- dil
- öğrenme
- seviye
- dilbilim
- Liste
- makine öğrenme
- makine çevirisi
- Makineler
- büyük
- adam
- Mart
- Maç
- ölçmek
- medya
- tıbbi
- orta
- model
- Doğal lisan
- Doğal Dil Üretimi
- ağ
- ağlar
- sinirsel
- sinir ağı
- nöral ağlar
- Diğer
- performans
- Mesajlar
- mevcut
- Programı
- Programlar
- takviye öğrenme
- İlişkiler
- yanıt
- kurallar
- Ara
- Dizi
- set
- kısa
- Basit
- simülasyon
- Sosyal Medya
- sosyal medya
- Çözümler
- Ders çalışma
- Anket
- sistem
- Sistemler
- konuşma
- testleri
- Gelecek
- zaman
- simge
- Konular
- dokunma
- Çeviri
- Sanal
- sanal asistan
- ses
- W
- ağ
- Dünya
- world wide web
- wu