Öz
Amaç
Bu çalışmanın amacı, yapay zeka (AI) destekli sohbet robotlarının (ChatGPT-4, BingAI ve Gemini) osteoporoz ile ilgili verdiği bilgilerin kalitesini ve okunabilirliğini değerlendirmek ve karşılaştırmaktır.
Gereç ve Yöntem
Google Trends üzerinden osteoporoz hakkında en sık sorulan 25 soru belirlendi ve her bir sohbet robotuna ayrı ayrı soruldu. İlk verilen yanıtlar okunabilirlik [Flesch-Kincaid Okuma Kolaylığı (FKRE) ve Flesch-Kincaid Sınıf Düzeyi (FKGL)] ve bilgi ve yazım kalitesi (EQIP aracı) açısından değerlendirildi. Yanıtların doğruluğu ve yeterliliği iki deneyimli klinisyen tarafından Likert ölçeğiyle değerlendirdi.
Bulgular
Ortalama FKRE skorları ChatGPT-4, BingAI ve Gemini için sırasıyla 34,5, 33,8 ve 36,1 idi. FKGL puanları 11,2 ile 12,5 arasında değişmekteydi. Bu skorlar metinlerin okunmasının zor olduğunu ve üniversite düzeyinde okuma becerisi gerektirdiğini ortaya koydu. Kalite açısından BingAI (EQIP: 55,4±7,9) ve Gemini (54,4±8,8), ChatGPT-4’ten (48,6±6,3) anlamlı şekilde daha iyi performans gösterdi (p=0,005). Tüm modellerde doğruluk ve yeterlilik yüksek olup, ortalama puanlar 5 üzerinden 4,3’ün üzerindeydi.
Sonuç
Üç yapay zeka sohbet robotu da osteoporoz hakkında doğru ve yeterli yanıtlar üretse de içeriklerinin okunabilirliği hala istenilen seviyede değildir. BingAI ve Gemini, muhtemelen anlık veri kullandığından daha yüksek kaliteli bilgiler sunmaktadır. Sohbet robotlarının güncellemelerinde okunabilirliğin artırılması ve güncel veri erişiminin sağlanması, osteoporoz gibi anlaşılması önem arzeden konularda sağlık iletişimini güçlendirebilir.
Anahtar Kelimeler: Osteoporoz, yapay zeka, sohbet robotu, ChatGPT, okunabilirlik, sağlık iletişimi
Kaynakça
Sözen T, Özışık L, Başaran NÇ. An overview and management of osteoporosis. Eur J Rheumatol. 2017;4:46-56.
Pouresmaeili F, Kamalidehghan B, Kamarehei M, Goh YM. A comprehensive overview on osteoporosis and its risk factors. Ther Clin Risk Manag. 2018;14:2029-49.
Rashki Kemmak A, Rezapour A, Jahangiri R, Nikjoo S, Farabi H, Soleimanpour S. Economic burden of osteoporosis in the world: a systematic review. Med J Islam Repub Iran. 2020;34:154.
LeBoff MS, Greenspan SL, Insogna KL, Lewiecki EM, Saag KG, Singer AJ, et al. The clinician’s guide to prevention and treatment of osteoporosis. Osteoporos Int. 2022;33:2049-102. Erratum in: Osteoporos Int. 2022;33:2243.
Allen-Meares P, Lowry B, Estrella ML, Mansuri S. Health literacy barriers in the health care system: barriers and opportunities for the profession. Health Soc Work. 2020;45:62-4.
Singareddy S, Sn VP, Jaramillo AP, Yasir M, Iyer N, Hussein S, et al. Artificial intelligence and its role in the management of chronic medical conditions: a systematic review. Cureus. 2023;15:e46066.
Battineni G, Baldoni S, Chintalapudi N, Sagaro GG, Pallotta G, Nittari G, et al. Factors affecting the quality and reliability of online health information. Digit Health. 2020;6:2055207620948996.
De Angelis L, Baglivo F, Arzilli G, Privitera GP, Ferragina P, Tozzi AE, et al. ChatGPT and the rise of large language models: the new AI-driven infodemic threat in public health. Front Public Health. 2023;11:1166120.
Durmaz Engin C, Karatas E, Ozturk T. Exploring the role of ChatGPT-4, BingAI, and gemini as virtual consultants to educate families about retinopathy of prematurity. Children (Basel). 2024;11:750.
Yu P, Xu H, Hu X, Deng C. Leveraging generative AI and large language models: a comprehensive roadmap for healthcare integration. Healthcare (Basel). 2023;11:2776.
Erden Y, Temel MH, Bağcıer F. Artificial intelligence insights into osteoporosis: assessing ChatGPT’s information quality and readability. Arch Osteoporos. 2024;19:17.
Huang AS, Hirabayashi K, Barna L, Parikh D, Pasquale LR. Assessment of a large language model’s responses to questions and cases about glaucoma and retina management. JAMA Ophthalmol. 2024;142:371-5. Erratum in: JAMA Ophthalmol. 2024;142:393.
Moult B, Franck LS, Brady H. Ensuring quality information for patients: development and preliminary validation of a new instrument to improve the quality of written health care information. Health Expect. 2004;7:165-75.
Alas AN, Bergman J, Dunivan GC, Rashid R, Morrisroe SN, Rogers RG, et al. Readability of common health-related quality-of-life instruments in female pelvic medicine. Female Pelvic Med Reconstr Surg. 2013;19:293-7.
Şahin MF, Ateş H, Keleş A, Özcan R, Doğan Ç, Akgül M, et al. Responses of five different artificial intelligence chatbots to the top searched queries about erectile dysfunction: a comparative analysis. J Med Syst. 2024;48:38.
Tsiamtsiouris J, Kollia B, Kamowski-Shakibai MT, Garcia P, Basch, CH. Applying tests of readability to online stuttering information. Adv Neurodev Disord. 2020;4:279-83.
Temel MH, Erden Y, Bağcıer F. Information quality and readability: ChatGPT’s responses to the most common questions about spinal cord injury. World Neurosurg. 2024;181:e1138-44.
Samaan JS, Yeo YH, Rajeev N, Hawley L, Abel S, Ng WH, et al. Assessing the accuracy of responses by the language model ChatGPT to questions regarding bariatric surgery. Obes Surg. 2023;33:1790-6.
Akkara JD, Kuriakose A. Commentary: is human supervision needed for artificial intelligence? Indian J Ophthalmol. 2022;70:1138-9.
