Meta Analysis & Pooled Data Analysis

Pada saat mempelajari atau mengerjakan telaah sistematik laporan-laporan penelitian empirik (PE) tentang efikasi suatu intervensi kita menemui Effect Size (ES) yang beragam besarnya dan arahnya. Dan jika penelitiannya dilakukan pada sampel, ES yang bersangkutan digunakan untuk memperkirakan ES populasi yang disampel dengan  CI yang beragam lebarnya. Setelah dikumpulkan, disaring, dan ditelaah kritis dengan kriteria dan cara yang ketat, penelitian-penelitian tersebut diharapkan mempunyai kerangka konsep, rancangan penelitian dan pelaksanaan penelitian yang valid dan seragam. Jika dapat dipastikan bahwa ES-ES yang beragam ini dihasilkan dari pengumpulan data yang seragam dan tidak bias (karena definisi operasional dari variabel-variabel intervensi dan outcome seragam dan menggunakan secara konsisten alat/cara pengumpul data valid yang seragam pada unit-unit pengamatan yang tepat yang memenuhi kriteria inklusi dan eksklusi yang seragam) maka ES yang beragam ini disebabkan karena kebetulan (karena dihasilkan dari penelitian sampel kecil) atau semu (karena dihasilkan dari penelitian yang variabel-variabel moderatornya tidak dikendalikan/diamati). Dengan jumlah unit analisis yang terbatas peneliti bisa saja menggunakan rancangan RCT dan menyatakan bahwa variabel-variabel perancu sudah dikendalikan. Namun, dengan rancangan tersebut yang dikendalikan hanya variabel-variabel moderator non-spesifik (i.e., history, maturation, etc.), sedangkan confounding juga terjadi jika variabel-variabel moderator spesifik (i.e., ciri-ciri dan keadaan unit analisis) tidak dikendalikan atau tidak diamati (i.e., tidak ikut dianalisis). Jadi keragaman ES yang ditemukan pada telaah sistematik disebabkan karena jumlah unit analisis yang terlampau sedikit untuk menghasilkan PE dengan validitas dalam yang besar dan sampling error yang kecil.

Untuk memperoleh manfaat dari ES-ES yang beragam ini ada upaya untuk menghitung ES baru melalui meta analisis (MA), dengan menggabungkan ES, atau pooled analysis (PA), dengan menggabungkan data, dari PE-PE yang lolos tahap-tahap sebelumnya dari telaah sistematik. Secara sederhana MA dapat dilakukan dengan memberi bobot kepada masing-masing ES sesuai dengan jumlah unit analisis yang digunakan (dan dengan demikian sesuai dengan tingkat validitas dalam atau besar sampling error) dan membagi jumlah total ES yang sudah diberi bobot dengan jumlah penelitian. Namun, biasanya PE yang lolos tahap-tahap sebelumnya dari telaah sistematik hanya menggunakan rancangan experimental (RCT atau time-series dengan kelompok kontrol) dengan N yang tidak cukup untuk mengendalikan/mengamati variabel-variabel moderator spesifik. Jadi sebenarnya ES baru yang diperoleh melalui MA merupakan sintesis dari ES-ES semu (confounded, atau lebih tepat jika dikatakan hubungan intervensi-outcome menutupi hubungan moderator-outcome). Lagi pula sampel-sampel PE tidak berasal dari populasi yang sama dan ES sintesis tidak dapat digunakan untuk memperkirakan ES dari populasi tersebut. ES baru juga dapat dihitung jika peneliti-peneliti sebelumnya mengumpulkan data untuk variabel-variabel moderator spesifik dan bersedia memberikan data mentahnya untuk diPA. Namun ES yang baru ini tidak merupakan hasil dari suatu RCT dengan N besar karena unit-unit analisis gabungan tidak ditempatkan secara acak ke kelompok-kelompok intervensi. Juga, variabel-variabel moderator spesifiknya kemungkinan besar tidak seragam jumlah dan jenisnya (serta definisi operasionalnya masing-masing). Jadi ES baru yang diperoleh melalui PA sintesis juga merupakan ES semu.

Karena kecil sekali kemungkinannya menjaring PE-PE  yang valid dan seragam dalam hal kerangka konsep, rancangan penelitian, dan pelaksanaan penelitiannya ada peneliti-peneliti yang menggunakan berbagai uji keberagaman (heterogeneity tests) yang pada dasarnya menguji apakah keberagamannya bermakna secara statistik (bukan secara substantif) dalam hal validitas dalam, sampling error atau keduanya. Jika keberagaman tidak bermakna, analisis dilanjutkan mengikuti Fixed Effect Model atau Random Effects Model. Pada model yang pertama diasumsikan bahwa ES-ES sebenarnya sama karena berasal dari populasi yang sama dan bahwa yang membuatnya beragam ialah besar sampel yang berbeda. Pada model yang kedua diasumsikan bahwa ES-ES memang berbeda secara acak karena  berasal dari populasi-populasi yang beragam pengendalian variabel-variabel moderatornya (i.e., melalui kriteria inklusi).

Selain sarat asumsi telaah sistematik dihantui oleh bias publikasi, yang cenderung menyingkirkan PE-PE dengan ES yang kecil atau negatif. Cara yang lebih masuk akal untuk menguji kemaknaan substantif ES (i.e., outcome memang berhubungan erat dengan intervensi atau prediktor lain) ialah secara prospektif melakukan PE-PE multi-center, atau multi-peneliti, yang direncanakan dan disepakati bersama dalam hal kerangka konsep, rancangan penelitian dan pelaksanaan penelitian.  Dengan demikian keberagaman ES karena jumlah unit analisis yang kecil dapat diatasi. Keberagaman dalam CI dapat ditiadakan jika masing-masing menggunakan penelitian populasi. Jika ES masih beragam berarti ada variabel moderator yang belum dikendalikan atau ikut diamati, yang pasti akan timbul ketika intervensi diterapkan di populasi sasaran.

 

Rujukan:

  • Basu, A. (2014). Introduction to Meta Analysis. PeerJ PrePrints, 2, e665v1.
  • Berman, N. G., & Parker, R. A. (2002). Meta-analysis: neither quick nor easy. BMC medical research methodology, 2(1), 1.
  • Blettner, M., Sauerbrei, W., Schlehofer, B., Scheuchenpflug, T., & Friedenreich, C. (1999). Traditional reviews, meta-analyses and pooled analyses in epidemiology. International journal of epidemiology, 28(1), 1-9.
  • Borenstein, M., Hedges, L. V., Higgins, J., & Rothstein, H. R. (2010). A basic introduction to fixed‐effect and random‐effects models for meta‐analysis. Research Synthesis Methods, 1(2), 97-111.
  • Kevin C. Chung, MD, Patricia B. Burns, MPH, H. Myra Kim, ScD. “Clinical Perspective: A Practical Guide to Meta-Analysis.” The Journal of Hand Surgery. 31A no.10  December 2006.

3 thoughts on “Meta Analysis & Pooled Data Analysis

  1. Sangat bermanfaat. Tapi bagaimana kaitannya dengan anggapan bahwa MA menempati stratum tertinggi piramida ilmu? Sedangkan berdasarkan sintesis di atas, saya menangkap tidak semua MA nir bias. Terima kasih. Salam hormat.

    • Puncak piramida pembuktian efikasi intervensi adalah telaah sistematik. Jika penelitian-penelitian empirik yang lolos penyaringan cukup homogen hasil penelitian-penelitian tsb dapat disintesis dalam bentuk meta analisis selain dalam bentuk narasi.

      • Dari artikel di atas, saya merasa tambah sedikit memahami kenapa seorang peneliti harus selalu rendah hati. Terima kasih. Tetap sehat bahagia untuk Pak Rossi..

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s