Öz
Amaç
Bu çalışmanın amacı, spondiloartropati (SpA) ile ilgili yapay zeka destekli oluşturulan metinlerin içeriğinin kalitesini ve okunabilirliğini kapsamlı bir şekilde değerlendirmektir.
Gereç ve Yöntem
Google Trends üzerinden SpA grubu ile ilgili en sık aranan anahtar kelimeler belirlendi. Belirlenen anahtar kelimeler sırayla yapay zeka sohbet robotlarına (ChatGPT, Bard, Copilot) girildi. Bilginin netliği ve yazım kalitesi açısından değerlendirmek için Hastalar için Kaliteli Bilgi Sağlama aracı (EQIP) kullanıldı. Metinlerin okunabilirliğini değerlendirmek için Flesch-Kincaid okunabilirlik testleri (okuma kolaylığı ve sınıf düzeyi) ve Gunning Fog indeksi (GFI) kullanıldı.
Bulgular
Metinlerin EQIP skoru ortalama değerleri 66,44’tür. Flesch-Kincaid okuma kolaylığı skoru ortalama değeri ise 38,06’dır. Flesch-Kincaid sınıf düzeyi için ortalama skor 11,38’dir. GFI skoru ortalaması ise 13,91’dir. Çalışmamız, yapay zeka sohbet robotlarının SpA konusundaki yanıtlarının genel olarak “küçük sorunlarla birlikte iyi kaliteli” olduğu sonucuna varmaktadır. Üretilen metinlerin yaklaşık 11 yıl eğitim gerektirecek karmaşıklıkta olduğu belirlendi. Yapay zeka sohbet robotlarına oluşturduğu metinler kalite ve okunabilirlik özellikleri karşılaştırıldığında, Copilot tarafından üretilen metinlerin EQIP skorları, hem ChatGPT hem de Gemini tarafından üretilenlere göre anlamlı derecede daha yüksekti (sırasıyla, p<0,001, p=0,004). Ayrıca, ChatGPT tarafından üretilen metinlerin, hem Copilot hem de Gemini tarafından üretilenlere göre daha yüksek bir eğitim seviyesi gerektirdiği belirlendi (sırasıyla, p=0,002, p=0,004).
Sonuç
Bu çalışma, yapay zeka sohbet robotlarının SpA hakkındaki metinlerinin kalite ve okunabilirlik konusunda belirli eksikliklerin bulunduğunu ortaya koymaktadır. Sonuç olarak, çevrimiçi kaynakların ve yapay zeka araçlarının sağlık alanında bilgi sunumunda önemli bir rol oynadığını, ancak kalite ve okunabilirlik kontrolünün sağlanması gerektiğini vurgulamaktadır. Bu, hastaların doğru, güvenilir ve anlaşılır bilgilere erişimini kolaylaştırabilir.
Anahtar Kelimeler: Anahtar kelimeler: Spondiloartropati, yapay zeka sohbet robotu, ChatGPT, Bard, Copilot, kalite değerlendirmesi, okunabilirlik
Kaynakça
Ivanova M, Zimba O, Dimitrov I, Angelov AK, Georgiev T. Axial spondyloarthritis: an overview of the disease. Rheumatol Int. 2024;44:1607-19.
Hay CA, Packham J, Prior JA, Mallen CD, Ryan S. Barriers and facilitators in diagnosing axial spondyloarthritis: a qualitative study. Rheumatol Int. 2024;44:863-84.
Bagcier F, Yurdakul OV, Ozduran E. Top 100 cited articles on ankylosing spondylitis. Reumatismo. 2021;72:218-27.
Sieper J, Poddubnyy D. Axial spondyloarthritis. Lancet. 2017;390:73-84.
Stolwijk C, van Onna M, Boonen A, van Tubergen A. Global prevalence of spondyloarthritis: a systematic review and meta-regression analysis. Arthritis Care Res (Hoboken). 2016;68:1320-31.
van Hartskamp M, Consoli S, Verhaegh W, Petkovic M, van de Stolpe A. Artificial intelligence in clinical health care applications: viewpoint. Interact J Med Res. 2019;8:e12100.
Hamet P, Tremblay J. Artificial intelligence in medicine. Metabolism. 2017;69S:S36-40.
Skjuve M, Brandzaeg PB (2019). Measuring user experience in chatbots: An approach to interpersonal communication competence. Internet Science: INSCI 2018 International Workshops, St. Petersburg, Russia, October 24–26, 2018, Revised Selected Papers 5: Springer;113–120.
Chow JCL, Sanders L, Li K. Impact of ChatGPT on medical chatbots as a disruptive technology. Front Artif Intell. 2023;6:1166014.
Li J, Dada A, Puladi B, Kleesiek J, Egger J. ChatGPT in healthcare: a taxonomy and systematic review. Comput Methods Programs Biomed. 2024;245:108013.
Şahin MF, Ateş H, Keleş A, Özcan R, Doğan Ç, Akgül M, et al. Responses of five different artificial intelligence chatbots to the top searched queries about erectile dysfunction: a comparative analysis. J Med Syst. 2024;48:38.
Chapman L, Brooks C, Lawson J, Russell C, Adams J. Accessibility of online self-management support websites for people with osteoarthritis: a text content analysis. Chronic Illn. 2019;15:27-40.
Varady NH, Dee EC, Katz JN. International assessment on quality and content of internet information on osteoarthritis. Osteoarthritis Cartilage. 2018;26:1017-26.
Erden Y, Temel MH, Bağcıer F. Artificial intelligence insights into osteoporosis: assessing ChatGPT’s information quality and readability. Arch Osteoporos. 2024;19:17.
Temel MH, Erden Y, Bağcıer F. Information uality and readability: ChatGPT’s responses to the most common questions about spinal cord injury. World Neurosurg. 2024;181:e1138-44.
Moult B, Franck LS, Brady H. Ensuring quality information for patients: development and preliminary validation of a new instrument to improve the quality of written health care information. Health Expect. 2004;7:165-75.
Ladhar S, Koshman SL, Yang F, Turgeon R. Evaluation of online written medication educational resources for people living with heart failure. CJC Open. 2022;4:858-65.
Benzer A. A step towards a Turkish artificial intelligence based readability formula. Journal of Research and Experience. 2020;5:47-82.
Gül Ş, Erdemir İ, Hanci V, Aydoğmuş E, Erkoç YS. How artificial intelligence can provide information about subdural hematoma: assessment of readability, reliability, and quality of ChatGPT, BARD, and perplexity responses. Medicine (Baltimore). 2024;103:e38009.
Daraz L, Morrow AS, Ponce OJ, Farah W, Katabi A, Majzoub A, et al. Readability of online health information: a meta-narrative systematic review. Am J Med Qual. 2018;33:487-92.
Fahy S, Oehme S, Milinkovic D, Jung T, Bartek B. Assessment of quality and readability of information provided by ChatGPT in relation to anterior cruciate ligament injury. J Pers Med. 2024;14:104.
Abou-Abdallah M, Dar T, Mahmudzade Y, Michaels J, Talwar R, Tornari C. The quality and readability of patient information provided by ChatGPT: can AI reliably explain common ENT operations? Eur Arch Otorhinolaryngol. 2024;281:6147-53.
Kocyigit BF, Koca TT, Akaltun MS. Quality and readability of online information on ankylosing spondylitis. Clin Rheumatol. 2019;38:3269-74.
Elangovan S, Kwan YH, Fong W. The usefulness and validity of English-language videos on YouTube as an educational resource for spondyloarthritis. Clin Rheumatol. 2021;40:1567-73.
Gravina AG, Pellegrino R, Cipullo M, Palladino G, Imperio G, Ventura A, et al. May ChatGPT be a tool producing medical information for common inflammatory bowel disease patients’ questions? An evidence-controlled analysis. World J Gastroenterol. 2024;30:17-33.
Kocyigit BF, Akaltun MS. Does YouTube provide high quality information? Assessment of secukinumab videos. Rheumatol Int. 2019;39:1263-8.
Sasse M, Ohrndorf S, Palmowski A, Wagner AD, Burmester GR, Pankow A, et al. Digital health information on autoinflammatory diseases: a YouTube quality analysis. Rheumatol Int. 2023;43:163-71.
Tolu S, Yurdakul OV, Basaran B, Rezvani A. English-language videos on YouTube as a source of information on self-administer subcutaneous anti-tumour necrosis factor agent injections. Rheumatol Int. 2018;38:1285-92.
Pamukcu M, Izci Duran T. Are YouTube videos enough to learn anakinra self-injection? Rheumatol Int. 2021;41:2125-31.
Erkin Y, Hanci V, Ozduran E. Evaluating the readability, quality and reliability of online patient education materials on transcutaneuous electrical nerve stimulation (TENS). Medicine (Baltimore). 2023;102:e33529.
Younis HA, Eisa TAE, Nasser M, Sahib TM, Noor AA, Alyasiri OM, et al. A systematic review and meta-analysis of artificial ıntelligence tools in medicine and healthcare: applications, considerations, limitations, motivation and challenges. Diagnostics (Basel). 2024;14:109.
Coşkun AB, Elmaoğlu E, Buran C, Alsaç SY. Integration of Chatgpt and E-Health Literacy: opportunities, challenges, and a look towards the future. Journal of Health Reports and Technology. 2024;10.
Temel MH, Erden Y, Bağcıer F. Information quality and readability: ChatGPT’s responses to the most common questions about spinal cord injury. World Neurosurg. 2024;181:e1138-44.
Javaid M, Haleem A, Singh RP. ChatGPT for healthcare services: an emerging stage for an innovative perspective. BenchCouncil Transactions on Benchmarks, Standards and Evaluations. 2023;3:100105.
