A content analysis and methodological evaluation of meta-analyses on Turkish samples<p>Türkiye örnekleminde meta analiz çalışmalarının içerik analizi ve metodolojik değerlendirilmesi

Abstract

This content analysis study aims to methodologically evaluate the appropriateness of meta-analyses, conducted on Turkish samples on a variety of topics. Through an exhausting literature review, 80 meta-analyses were gathered together and coded into a detailed Meta-Analysis Evaluation Form.  The form consisted of 59 items (1 = Not Present, 2 = Present and 3 = Not Mentioned) both regarding the study and substantial characteristics. Two researchers coded the studies and the reliability of the coding of five studies indicated no problems with consistencies of the codings (Kappa= .90). According to the results, the most often encountered problem in meta-analyses was reporting both the fixed and random effects analyses without making a priori decision about the model choice. It was found that 60.0% of the meta-analyses investigated by the current study excluded studies conducted abroad which resulted underrepresentation of the literature.  Furthermore, the studies suffered from a small sample size issues. The methodology (how the studies were selected, coding form, reliability of the codings and etc.) was not explained clearly in more than a quarter of the studies. Therefore, it would be hard to claim that they have sufficient level of internal and external validity. It was hoped that researchers may benefit from the results of the current study to conduct better quality meta-analysis in the future.

Özet

Bu içerik analizi çalışmasının amacı Türkiye'de yapılan meta analiz çalışmalarının metodolojik değerlendirmesinin yapılmasıdır. Meta Analiz Değerlendirme Formu üzerinden Türkiye literatüründeki 80 meta analiz çalışması kodlanmıştır. Değerlendirme formu çalışmaların künyelerini ve meta analiz yönteminin kullanımındaki çeşitlenmeyi içeren 59 (Evet-Hayır-Belirtilmemiş şeklinde cevaplanabilecek) maddeyi kapsamaktadır. İki araştırmacı kodlamaları gerçekleştirmiş ve öncesinde beş çalışmalık bir pilot çalışma üzerinden kodlamaları arasındaki uyum hesaplanmış ve Kappa katsayısı (Kappa= .90) yeterli düzeyde bulunmuştur. Sonuçlara göre meta analiz çalışmalarındaki en belirgin problem herhangi bir tercihte bulunmaksızın sabit ve rasgele etkiler modellerinin birlikte rapor edilmesidir. Çalışmaların %60'ında yurtdışı çalışmalar dahil edilmeksizin Türkiye örneklemindeki çalışmaları kullanarak meta analiz yapılmıştır. Yurtdışı çalışmalara yer veren meta analizlerde ise sayının çok düşük olduğu dolayısıyla örneklemin temsil ediciliğinin düşük olduğu görülmüştür. Meta analizlerde örneklem büyüklüğünün sayıca çok yetersiz olduğu ya da olmadığı görülmüştür. Çalışmaların dörtte birinden fazlasında metodoloji bölümünde çalışmaların nasıl toplandığı, kodlama formu, kodlamaların güvenirliği gibi konular açıklanmamıştır. Bu durum ilgili meta analiz çalışmalarının güvenirlik ve geçerliğini düşürmektedir. Mevcut değerlendirme çalışmasının, gelecekte meta analiz konusunda çalışacak araştırmacılara metodolojik bakımdan daha kaliteli araştırmalar ortaya koymaları hususunda katkı sağlayacağı beklenmektedir.