Öz

Amaç

Bu çalışmanın amacı, yapay zeka (AI) destekli sohbet robotlarının (ChatGPT-4, BingAI ve Gemini) osteoporoz ile ilgili verdiği bilgilerin kalitesini ve okunabilirliğini değerlendirmek ve karşılaştırmaktır.

Gereç ve Yöntem

Google Trends üzerinden osteoporoz hakkında en sık sorulan 25 soru belirlendi ve her bir sohbet robotuna ayrı ayrı soruldu. İlk verilen yanıtlar okunabilirlik [Flesch-Kincaid Okuma Kolaylığı (FKRE) ve Flesch-Kincaid Sınıf Düzeyi (FKGL)] ve bilgi ve yazım kalitesi (EQIP aracı) açısından değerlendirildi. Yanıtların doğruluğu ve yeterliliği iki deneyimli klinisyen tarafından Likert ölçeğiyle değerlendirdi.

Bulgular

Ortalama FKRE skorları ChatGPT-4, BingAI ve Gemini için sırasıyla 34,5, 33,8 ve 36,1 idi. FKGL puanları 11,2 ile 12,5 arasında değişmekteydi. Bu skorlar metinlerin okunmasının zor olduğunu ve üniversite düzeyinde okuma becerisi gerektirdiğini ortaya koydu. Kalite açısından BingAI (EQIP: 55,4±7,9) ve Gemini (54,4±8,8), ChatGPT-4’ten (48,6±6,3) anlamlı şekilde daha iyi performans gösterdi (p=0,005). Tüm modellerde doğruluk ve yeterlilik yüksek olup, ortalama puanlar 5 üzerinden 4,3’ün üzerindeydi.

Sonuç

Üç yapay zeka sohbet robotu da osteoporoz hakkında doğru ve yeterli yanıtlar üretse de içeriklerinin okunabilirliği hala istenilen seviyede değildir. BingAI ve Gemini, muhtemelen anlık veri kullandığından daha yüksek kaliteli bilgiler sunmaktadır. Sohbet robotlarının güncellemelerinde okunabilirliğin artırılması ve güncel veri erişiminin sağlanması, osteoporoz gibi anlaşılması önem arzeden konularda sağlık iletişimini güçlendirebilir.