Yapay zekâ destekli çeviri, toplantı ve müşteri hizmeti yaklaşımı: Etkileşimli yanıt asistanı

Yapay Zekâ Destekli Çeviri, Toplantı ve Müşteri Hizmeti Yaklaşımı: Etkileşimli Yanıt Asistanı

Dr. Alparslan KAPLAN, Prof. Dr. Eren ÖZCEYLAN

Özet

Yapay zeka teknolojilerinin hem iş hayatında hem de günlük yaşamda kullanımı her geçen gün artmaktadır. Makine öğrenmesi tabanlı algoritmalar yardımıyla anlık dil çevirileri (orijinal ses tonu ve dudak senkronizasyonu ile) ve 7/24 müşteri hizmeti daha uygulanabilir hale gelmiştir. Bu durum geleneksel müşteri hizmeti gecikmelerini ortadan kaldırabilir, anlık yanıtları başlatabilir, herhangi bir dile çevirebilir ve tüm bunları sorunsuz bir şekilde sunabilir.

Bu çalışmada, üç aşamada hizmet veren bir yapay zeka asistanı geliştirilmiştir. Birinci aşamada, asistan çevrimiçi toplantı notlarını yönetici özetleri olarak hazırlar. İkinci aşamada, bu notlar ton ve dudak senkronize bir şekilde ses ve video olarak istenen dile çevrilir. Son aşamada, konuşma aşamasında müşterilerin cümlelerini, isteklerini ve sorularını tanımak için ASR (Otomatik Konuşma Tanıma) modeli kullanılır.

I. Giriş

Son zamanlarda, çeşitli alanlarda ve sektörlerde yapay zekaya (AI) olan ilgi artmıştır. Yapay zeka araçları, çeşitli görevlerin yerine getirilmesinde insanlara yardım etmek veya onların yerini almak için geniş bir uygulama yelpazesi ile oluşturulmuştur. Hizmet sektöründe, yapay zeka görevlerin yerine getirilmesinde işbirlikçi bir araç olarak önemli ilerleme kaydetmiş ve şirketlerin müşterilerine hizmet sunma şeklini potansiyel olarak dönüştürmüştür.

Özellikle COVID-19 sırasında ve sonrasında hayatımıza giren çevrimiçi toplantılarda, tartışılanları not almak ve yöneticilere özet sunmak önemli bir görevdir. Öte yandan, bu notları veya videoları dudak ve ton uyumlu bir şekilde istenen dile çevirmek uluslararası arenada bir gerekliliktir. Son olarak, farklı hizmet sektörlerinde (bankacılık, sağlık vb.) müşteri bakım hizmetleri için yapay zeka asistanlarının kullanımı kesintisiz hizmet anlayışı için önemlidir.

Bu çalışma, bütüncül bir yaklaşım içinde üç aşamalı bir model önermektedir. Birinci aşamada, yapay zeka destekli bir asistan avatar olarak çevrimiçi toplantılara katılır, gerekli notları alır ve yönetici özetleri yapar. İkinci aşamada, istenen dile çeviri yaparak hem ses hem de dudak senkronizasyonu ile iletişim sağlanır. Son aşamada, yapay zeka asistanı çağrı merkezi olarak hizmet verir ve müşterilerden veya paydaşlardan ilgili verileri toplar.

II. Önerilen Modeller

Literatürde, yukarıda bahsedilen üç farklı süreci entegre bir şekilde bir araya getiren bir çalışma bulunmamaktadır. Bu nedenle, her uygulama alanı hakkındaki literatür araştırılmıştır.

A. Sanal Toplantı Asistanı

Uygulamanın konuşma tanıma ve çeviri kısmı, konuşma sırasında müşterilerin cümlelerini, isteklerini ve sorularını tanımak için Otomatik Konuşma Tanıma (ASR) modelinin kullanıldığı uygulama kısmıdır. Otomatik konuşma tanıma modeli, derin öğrenme algoritmaları kullanılarak on binden fazla veri ile eğitilerek oluşturulmuştur.

Otomatik konuşma tanıma modelini eğitmek için gerekli olan veri seti, otuz yedi farklı dilden kelimeler toplanarak oluşturulmuştur. Böylece model, otuz yedi farklı dilde konuşmayı otomatik olarak algılama ve yanıt verme kapasitesine sahiptir.

Literatür Taraması

Literatürdeki ilgili çalışmalardan birinde, Karunya ve arkadaşları tarafından Sanal Toplantılar için Gerçek Zamanlı Konuşmadan Konuşmaya Çeviri sistemi geliştirilmiştir [1]. Modelleri bir dilde konuşmayı yakalar ve Otomatik Konuşma Tanıma (ASR), Makine Çevirisi (MT) ve Metinden Konuşmaya (TTS) bileşenlerini entegre ederek sanal toplantılar sırasında gerçek zamanlı olarak net ve anlaşılır çeviriler sağlar.

Benzer bir çalışmada, Wyawahare ve arkadaşları [2] hem metinsel hem de ses verilerini analiz ederek toplantıların kapsamlı özetlerini oluşturabilen otomatik bir sistem geliştirmişlerdir. Gelişmiş Doğal Dil İşleme (NLP) ve ses işleme tekniklerinden yararlanan model, toplantı transkriptlerinden ve ses kayıtlarından kilit noktaları, eylem öğelerini ve ilgili bilgileri ustalıkla çıkararak zahmetli manuel inceleme ihtiyacını ortadan kaldırır.

Sonuçlar ve Katkılar

Bu araştırma, üç gelişmiş teknolojiyi tek bir entegre sistemde birleştirerek uygulamalı yapay zeka alanına önemli bir katkı sunmaktadır. Geliştirilen sistem, modern iş ortamının karmaşık zorluklarıyla başa çıkabilme kapasitesine sahiptir, özellikle gerçek zamanlı çeviri ve çok dilli iletişim ihtiyacının kritik olduğu uluslararası bağlamlarda.

İlk sonuçlar, sistemin toplantı verimliliğini önemli ölçüde artırabileceğini ve birçok müşteri hizmeti görevinde insan müdahalesine olan ihtiyacı azaltabileceğini göstermekte, bu da maliyet tasarrufuna ve hizmet kalitesinin iyileştirilmesine yol açmaktadır. Sistemin etkileşimin farklı aşamalarında bağlamı koruyabilme yeteneği, onu karmaşık iş senaryoları için özellikle değerli kılmaktadır.