Sackett-1979-BiasinAnalyticResearch
Search Results for: Critical appraisal
PR ProDi S3 IKM UNS Okt-Nov 2020
Ujian:
Artikel2 yg digunakan untuk ujian Rabu 18 No4 2020:
Soal Ujian:
Karena angka kesakitan dan kematian akibat pre-eclampsia cukup tinggi seorang mahasiswa ProDi S3 IKM berniat melakukan penelitian yang dapat menghasilkan rekomendasi pencegahan primer berupa (1) Kegiatan Fisik (KF) bumil dan (2) Konseling KF (KKF) oleh FasKes primer. Ketika mencari artikel2 terkait dia menemukan lima artikel (A – E) yang mungkin dapat membantu dia menyusun proposal penelitian primer dan sekunder KH dan KKF bumil. Sebutkan masukan (gagasan, informasi, data, rujukan dsb) yang dapat diberikan masing2 artikel A s/d E.
Kuliah:
- Di posting https://rossisanusi.wordpress.com/2020/09/24/hubungan-kausal-intervensi-i-dan-outcome-o/ ada rujukan Chu dkk (2020). Apakah menurut Health Evidence (https://www.healthevidence.org/search.aspx) systematic review (SR) yang dilakukan Chu dkk tsb valid? Dalam hal apa SR tsb perlu diperbaiki? Caranya?
- Organisasi apa Health Evidence? Jelaskan masing2 butir penilaian makalah SR.
- Makalah penelitian empirik (PE) apa tentang Covid-19 yang digunakan Chu dkk untuk meta-analysis yang menunjukkan Effect Size yang bermakna? (Lihat Gambar 2 di Chu dkk).
- Bandingkan kedua penelitian pustaka di bawah ini dalam hal Tujuan, Metoda dan Hasil?
Bartoszko, J. J., Farooqi, M. A. M., Alhazzani, W., & Loeb, M. (2020). Medical masks vs N95 respirators for preventing COVID‐19 in healthcare workers: A systematic review and meta‐analysis of randomized trials. Influenza and other respiratory viruses.
Godoy, L. R. G., Jones, A. E., Anderson, T. N., Fisher, C. L., Seeley, K. M., Beeson, E. A., … & Sullivan, P. D. (2020). Facial protection for healthcare workers during pandemics: a scoping review. BMJ global health, 5(5), e002553.
- Mengapa Health Evidence memberi skor yang lebih rendah bagi makalah Godoy dkk.? Apakah sebaiknya digunakan kriteria yang berbeda untuk menilai mutu scoping review (ScR)?
Arksey, H., & O’Malley, L. (2005). Scoping studies: towards a methodological framework. International journal of social research methodology, 8(1), 19-32.
Daudt, H. M., van Mossel, C., & Scott, S. J. (2013). Enhancing the scoping study methodology: a large, inter-professional team’s experience with Arksey and O’Malley’s framework. BMC medical research methodology, 13(1), 48.
Tricco, A. C., Lillie, E., Zarin, W., O’Brien, K. K., Colquhoun, H., Levac, D., … & Hempel, S. (2018). PRISMA extension for scoping reviews (PRISMA-ScR): checklist and explanation. Annals of internal medicine, 169(7), 467-473.
Page, M. J., Moher, D., Bossuyt, P., Boutron, I., Hoffmann, T., Mulrow, C., … & Chou, R. (2020). PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews.
- Tentukan landasan teori yang akan saudara gunakan untuk PE disertasi dan cari makalah SR/ScR teori tersebut.
Contoh:
Ryan, C., Bergin, M., & Wells, J. S. (2018). Theoretical perspectives of adherence to web-based interventions: a scoping review. International journal of behavioral medicine, 25(1), 17-29.
- Buat tabel 2 kolom: kolom kiri diisi PICO dari SR I-O yang akan saudara lanjutkan (beri sitasinya) dan kolom sebelah kanan diisi PICO dari PE disertasi saudara. Jika saudara belum menemukan makalah SR yang akan dilanjutkan, kolom kiri diisi PICO untuk SR yang sedang saudara cari. Buat flow diagram SR. Kotak2 diisi keterangan tentang apa yang akan sdr lakukan (= Tujuan SR)
8. idem No 7 untuk ScR/SR landasan teori.
9. Cari makalah PE terkini dengan PICO yg sama untuk No 7 dan No 8 yg memenuhi kriteria inklusi (berdasarkan full-textnya). Sebutkan kesimpulan PE2 ini. Apakah kesimpulan dan rekomendasinya valid? Jika sdr melanjutkan SR dan ScR gunakan kriteria Critical Appraisal (CA) yg digunakan SR dan ScR tsb untuk menilai mutu PE2 tsb. Jika sdr melakukan SR dan ScR yg baru sebutkan kriteria CA yg akan digunakan untuk menilai mutu PE2.
10. Buat proposal Bab II disertasi saudara, t.a. 3 bagian: (1) SR hubungan I-O; (2) SR/ScR Landasan teori hubungan I-O; dan, (3) Kerangka konsep, definisi operasional konstruk dan hipotesis2 penelitian. Contoh2 protokol SR dan ScR dapat dilihat di https://systematicreviewsjournal.biomedcentral.com/.
11. Apakah tahap penggabungan SR di proposal/protokol Bab II disertasi diuraikan secara jelas.
12. Presentasi PPt tentang Bias yang mungkin terjadi di tahap2 SR. Masing2 mahasiswa menyiapkan 3 slide: (1) Definisi operasional dari bias yg bersangkutan; (2) Akibat pada hasil SR jika ada bias tsb; dan, (3) Cara mencegah/mengatasi bias tsb.
| NO | Mahasiswa | Bias | |
| 1 | T512008001 | AKHMAD AZMIARDI | Multiple Subject Use Bias |
| 2 | T512008002 | ANITA LUFIANTI | Recording Bias |
| 3 | T512008003 | DIPO WICAKSONO | Reporting Bias |
| 4 | T512008004 | DYAH RAHMAWATIE RBU | Bias in Scoring Study quality |
| 5 | T512008005 | FARID SETYO NUGROHO | Extractor Bias |
| 6 | T512008006 | IDA NURSANTI | Inclusion Criteria Bias & Selector Bias |
| 7 | T512008007 | RAHMAWATI | Multiple Publication Bias |
| 8 | T512008008 | RONALD | Reference Bias |
| 9 | T512008009 | SRI MULYANTI | Indexing Bias & Search Bias |
| 10 | T512008010 | VITA NURLATIF | Publication Bias |
Rujukan
Bias in SRFelson, D. T. (1992). Bias in meta-analytic research. Journal of clinical epidemiology, 45(8), 885-892.Download
Bias in SRFelson, D. T. (1992). Bias in meta-analytic research. Journal of clinical epidemiology, 45(8), 885-892.Download
Bias overviewK. Choi, B. C., & P. Pak, A. W. (2014). Bias, overview. Wiley StatsRef: Statistics Reference Online.Download
Hubungan Kausal Intervensi (I) dan Outcome (O)
“All scientific work is incomplete – whether it be observational or experimental. …That does not confer upon us a freedom to ignore the knowledge we already have,or to postpone the action that it appears to demand at a given time.” – Sir Austin Bradford Hill (8 July 1897-18 April 1991), English epidemiologist and statistician
Penelitian empirik (PE) yang menggunakan rancangan experimental dapat memenuhi beberapa pertimbangan kausasi yang dikemukakan Bradford Hill. Untuk memenuhi semua pertimbangan Hill PE perlu dilengkapi penelitian pustaka sistematis PE2 terkait (systematic review, SR). Makin banyak pertimbangan kausasi dipenuhi PE dan SR tentang hubungan ko-relasi (ko-variasi) antara I dan O makin kuat dugaan bahwa hubungan tersebut merupakan hubungan sebab-akibat dan makin kuat alasan untuk mengusulkan tindakan sesuai I manipulasi* (I yang dilakukan peneliti) atau I observasi* (I dari lingkungan/pihak lain) di populasi sasaran. Pada tahun 1965 Bradford Hill mengusulkan sembilan pertimbangan hubungan kausal I dan O, yang dapat dioperasionalkan sbb: (1) Effect Size (ES) – besaran korelasi antara I dan O; (2) Konsistensi ES hasil PE2 sebelumnya dengan I dan O yang sama tetapi dengan Populasi (P) dan cara Control (C, cara mengendalikan variabel2 moderator) yang beragam; (3) Spesifisitas – konsistensi ES hasil PE2 sebelumnya dengan P, I dan O yang seragam dan C yang beragam; (4) Temporalitas – I mendahului O; (5) Kecenderungan biologis – distribusi ES menunjukkan kurva dose-respons jika I berskala kadar (bukan jenis); (6) Plausibiltas – dapat dijelaskan dengan suatu teori yang berperan sebagai mediator antara I dan O; (7) Koherensi – cocok dengan ES2 perjalanan alami dan biologi penyakit yang bersangkutan; (8) Experiment – ES penelitian experimental sejati bermakna secara substantif dan statistik; dan, (9) Analogi – persamaan dengan ES PE2 dengan I yang berbeda atau O yang berbeda.
Sebagai contoh, peneliti yang mempertanyakan apakah menjaga jarak, menggunakan pelindung hidung-mulut dan menggunakan pelindung mata mengurangi penularan Covid-19 di masyarakat akan mengupayakan PE dan SR berikut untuk memenuhi masing2 pertimbangan kausasi:
- ES bermakna – PE dengan kerangka konsep dan rancangan-metoda yang menghasilkan ES dengan validitas internal tinggi dan yang bermakna secara substantif (ES ≥ ESMin). Validitas internal yang tinggi dapat dicapai dengan menghindari bias, error dan confounding saat mengumpulkan, mengolah dan menafsir data. Jika ES hasil PE ≥ ESMin makin kuat dugaan hubungan kausalitas I-O. Jika ES hasil PE tidak bermakna secara substantif, sedangkan validitas internalnya tinggi, ada alasan untuk merekomendasikan penyempurnaan kerangka konsep dan rancangan-metoda PE. Misalnya, terkait dengan penelitian efikasi pencegahan primer Covid-19, besar ES ditentukan oleh konstruk2 yang menyusun kerangka konsep dan validitas isi dari konstruk2 a priori tsb: “Menjaga Jarak”, “Mengunakan Pelindung Hidung-Mulut” dan “Menggunakan Pelindung Mata” untuk I; “Transmisi Virus di dalam dan di luar faskes”, “Rawat Inap”, “Masuk ICU”, “Kematian”, “Lama Pemulihan” dan “Akibat Merugikan Intervensi” untuk O; dan “Teori Perubahan Perilaku HBM” dan “Kemampuan Menghambat Droplet” untuk Mediator; dan, “Usia”, “Jenis Kelamin”, “Tingkat Kebugaran”, “Status Gizi”, “Penyakit Penyerta”, “Equity”, “Tingkat Pendapatan”, “Tingkat Pendidikan” dan “Jenis Pekerjaan” untuk Moderator. Karena dalam contoh ini I tidak dimanipulasi, peneliti dapat menggunakan rancangan quasi-experimental** untuk memperoleh ES yang cukup tinggi validitas internalnya.
- ES konsisten – SR dengan kriteria inklusi I dan O seragam dengan yang digunakan PE di tahap mengumpulkan pustaka PE2 sebelumnya dan dengan Critical Appraisal ketat di tahap penyaringan PE2 tsb. Jika ES yang dihasilkan PE2 dengan beragam rancangan konsisten, terutama konsisten tinggi, makin kuat dugaan kausalitas. Untuk contoh di atas peneliti dapat melanjutkan SR Chu dkk (2020) dan melengkapinya dengan PE2 dari Indonesia. Peneliti juga dapat menggabungkan ES yang dihasilkan PE-nya dengan ES dari PE2 yang lolos saringan melalui metaanalysis.
- ES spesifik – idem No 2 ditambah dengan P yang seragam (i.e., unit analisis stratum si-kon tertentu). Sebagai contoh, PE2 dengan I masker bedah vs masker N95 dan P tenaga kesehatan yang langsung menangani pasien Covid-19. Jika ES yang dihasilkan konsisten tinggi hanya pada populasi stratum tenaga kesehatan makin kuat dugaan hubungan kausal antara penggunaan jenis masker dan proteksi.
- Temporalitas – PE yang menggunakan rancangan experimental sejati (untuk I manipulasi) atau time-series dengan kelompok kontrol (untuk I observasi). Sebagai contoh, PE2 RCT pada P yang belum mempraktekkan pencegahan primer Covid-19, atau dengan rancangan experimental semu yang saat2 I dan O dilakukan jelas terekam.
- Kecenderungan biologis – PE (atau SR) rancangan experimental dengan I berskala dosis. Sebagai contoh, I pencegahan primer Covid-19 berskala “tidak pernah”, “kadang2”, “sering” dan “selalu” (atau berskala score) menunjukkan kurva dosis I-respons O.
- Plausibilitas – PE yang menghitung ES antara I dan Mediator dan ES antara Mediator dan O. Sebagai contoh, HBM (atau teori perubahan perilaku perorangan lain) dan kemampuan menghambat droplet dapat digunakan peneliti pada contoh di atas untuk menjelaskan hubungan antara I dan O. Jika ES2 tsb tinggi makin kuat dugaan kausalitas.
- Koherensi – SR PE2 di semua tahap pencegahan Covid-19 dan SR PE2 hubungan I dan O kadar imunitas.
- Experiment – PE dengan rancangan experimental sejati untuk I manipulasi dan rancangan experimental semu untuk I observasi. Makin tinggi ES makin kuat dugaan kausasi.
- Analogi – SR PE2 pencegahan primer untuk penyakit2 yang sejenis, misalnya untuk SARS dan MERS.
SR memperlihatkan apa yang sudah dikerjakan PE2 sebelumnya dalam rangka membuktikan hubungan kausal I-O dan masalah2 PE yang masih menghambat pemenuhan pertimbangan2 kausasi. Tujuan dari PE yang akan dikerjakan adalah membarui dan menyempurnakan SR yang sudah ada (atau memulai SR jika belum ada SR) dan mengatasi masalah2 penelitian yang diidentifikasi SR terkini.
Keterangan:
*) Ada 4 pilihan perlakuan terhadap suatu variabel – diamati (nilai dibiarkan bervariasi), dikendalikan (nilai disamakan melalui kriteria inklusi, randomisasi, matching dan stratifikasi), dimanipulasi (variasi nilai ditentukan peneliti) atau diabaikan.
**) Pada PE rancangan experimental sejati (true experimental design) peneliti menentukan siapa yang mendapat I apa (skala diskrit) atau I dosis berapa (skala kontinu); pada PE rancangan experimental semu (quasi experimental design) peneliti menentukan siapa dan kapan O diukur.
Pustaka terkait:
Chu, D. K., Akl, E. A., Duda, S., Solo, K., Yaacoub, S., Schünemann, H. J., … & Hajizadeh, A. (2020). Physical distancing, face masks, and eye protection to prevent person-to-person transmission of SARS-CoV-2 and COVID-19: a systematic review and meta-analysis. The Lancet.
Clark, C., Davila, A., Regis, M., & Kraus, S. (2020). Predictors of COVID-19 voluntary compliance behaviors: An international investigation. Global Transitions, 2, 76-82.
Fedak, K. M., Bernal, A., Capshaw, Z. A., & Gross, S. (2015). Applying the Bradford Hill criteria in the 21st century: how data integration has changed causal inference in molecular epidemiology. Emerging themes in epidemiology, 12(1), 14.
Hill, A. B. (2015). The environment and disease: association or causation? Journal of the Royal Society of Medicine, 108(1), 32-37.
Legator, M. S., & Morris, D. L. (2003). What did Sir Bradford Hill really say? Archives of Environmental & Occupational Health, 58(11), 718.
Phillips, C. V., & Goodman, K. J. (2004). The missed lessons of sir Austin Bradford Hill. Epidemiologic Perspectives & Innovations, 1(1), 3.
Shahnazi, H., Ahmadi-Livani, M., Pahlavanzadeh, B., Rajabi, A., Hamrah, M. S., & Charkazi, A. (2020). Assessing Preventive Health Behaviors from COVID-19 Based on the Health Belief Model (HBM) among People in Golestan Province: A Cross-Sectional Study in Northern Iran.
Weed, D. L. (2018). Analogy in causal inference: rethinking Austin Bradford Hill’s neglected consideration. Annals of epidemiology, 28(5), 343-346.
Tanggapan dari Prof Nawi Ng:
Saya tertarik sekali membaca tulisan tentang Hubungan Kausal Intervensi (I) dan Outcome (O) yang ditulis Pak Rossi pada tanggal 24 Sep 2020. Saya setuju dengan isi tulisan Pak Rossi, sangat bermanfaat untuk mengingatkan kembali bahwa korelasi tidak selalu berarti kausasi, karena kriteria-kriteria yang harus dipenuhi untuk memenuhi persyaratan hubungan kausalitas.
Pada bagian keterangan, ada kalimat : ” Pada PE rancangan experimental sejati (true experimental design) peneliti menentukan siapa yang mendapat I apa (skala diskrit) atau I dosis berapa (skala kontinu)”. Apakah mungkin bisa disalahtafsirkan bila disebutkan ”peneliti menentukan”? Pada rancangan eksperimental sejati, randomisasi alokasi intervensi (kelompok intervensi atau kelompok kontrol) dilakukan secara acak, sehingga menurut hemat saya, bukan peneliti yang menentukan.
Demikian juga kalimat ” pada PE rancangan experimental semu (quasi experimental design) peneliti menentukan siapa dan kapan O diukur.”. Sepengetahuan saya sering sekali penelitian eksperimental semu digunakan untuk mengukur efektifitas kebijakan, seperti kebijakan lock-down untuk pengendalian Covid. Implementasi kebijakan ini sering di luar kendali peneliti, dan biasanya berdampak pada population sasaran yang luas tanpa dapat terkendali (controlled) seperti pada rancangan eksperimental sejati. Untuk menguji efektifitas penelitian eksperimental semu, sering digunakan metoda analisis interrupted time-series (Bernal et al., 2017). Menurut hemat saya, frase ”peneliti menentukan” bisa disalahtafsirkan juga.
Referensi:
Bernal JL, Cummins S, Gasparrini A. Interrupted time series regression for the evaluation of public health interventions: a tutorial. Int J Epidemiol. 2017 Feb 1;46(1):348-355. doi: 10.1093/ije/dyw098.
Tanggapan balik:
Terima kasih Prof Nawi Ng. Bagaimana kalau frase “peneliti menentukan” diganti sbb: “Pada penelitian experimental sejati peneliti dapat melakukan penempatan unit2 analisis secara acak ke kelompok2 experimen. Sedangkan pada penelitian experimental semu peneliti dapat menentukan kapan O diukur secara prospektif pada kelompok experimen yg mana, atau memanfaatkan data sekunder yang sudah ada.”?
Heterogentitas Statistik
Meta-analysis (sintesis kuantitatif) pada Systematic Review (SR) menggabungkan Effect Size (ES) dari sejumlah penelitian empirik (PE). Jika ukuran sampel dari PE2 ini terlalu beragam (yang dapat dilihat pada blobbogram dan indeks heterogenitas statistik), ES dan Sampling Error (SE) gabungan dihitung menurut Random Effect Model. Penghitungan menurut Fixed Effect Model digunakan jika ukuran sampel PE2 tidak terlalu beragam. Batasan terlalu beragam/tidak sebaiknya ditetapkan oleh para peneliti pustaka. Namun, sebagai suatu statistik (angka peringkas pada sampel), ES dari masing2 PE sebenarnya dihasilkan dari sampel yang tidak sama populasi asalnya atau yang dipilih secara bias dari populasi fiktif yang sama. ES2 yang disertai Sampling Error-nya masing2 memberi kesan bahwa mereka berasal dari populasi yang disample yang sama. Jadi, sebenarnya, lebih masuk akal jika penggabungan kuantitatif dilakukan untuk ES2 yang dihasilkan dari penelitian2 populasi yang besar dan yang sama ciri2nya.
Jika PE2 yang ditelaah beragam dalam satu atau lebih elemen PICO (i.e., yang tinggi diversity/heterogneity-nya dalam segi klinis/PH atau metodologis) lebih baik dilakukan Scoping Review berdasarkan P, I atau O yang sama dengan penyaringan mutu (Critical Appraisal/CA) dan sintesis kualitatif. CA dapat bervariasi keketatannya (mulai dari hanya sekedar mencantumkan Tahun Terbit, Ukuran Populasi dan Cara Pengendalian variabel-variabel moderator sampai dengan penilaian mutu Kerangka Konsep, Rancangan & Metoda Penelitian dan Pelaksanaan Penelitian) tergantung dari berapa banyak informasi yang ingin diperoleh dan besar upaya yang ingin digunakan.
Penggabungan secara kualitatif ES dari PE2 populasi besar dengan PICO yang persis sama diperlukan jika peneliti ingin mengetahui apakah kriteria kausasi lain dipenuhi selain kriterion ES yang bermakna secara klinis/PH (i.e., ES Hasil ≥ ES Minimum). Tidak untuk melakukan meta-analisis (sintesis secara kuantitatif) ES dari PE2 sampel kecil, dengan harapan ES menjadi lebih besar dan SE menjadi lebih kecil, tetapi untuk memeriksa apakah ES dari PE2 populasi besar tersebut konsisten bermakna secara klinis/PH. Systematic Review PE2 populasi besar dengan PICO persis sama juga diperlukan untuk menunjukkan pemenuhan kriterion Plausibilitas (i.e., korelasi bermakna secara konsisten antara Intervensi, Landasan Teori dan Outcome). Kriterion Dose-Response juga dapat dilihat dari Bubblegram (dan koefisien korelasinya) yang menunjukan korelasi I-O bermakna secara konsisten pada PE2 di berbagai strata dosis Intervensi. Continue reading “Heterogentitas Statistik”
Peran Systematic Review dalam Penelitian Empirik
Di bagian akhir dari suatu penelitian empirik (PE; penelitian yang dilakukan sendiri) sering dimuat rekomendasi untuk tindakan dan rekomendasi untuk penelitian selanjutnya. Rekomendasi untuk tindakan (i.e., supaya melakukan intervensi, atau merubah pemaparan terhadap suatu intervensi) beralasan jika yang diteliti adalah kausasi (hubungan sebab-akibat), bukan sekedar korelasi (hubungan kovariasi), antara Intervensi (I) dan Outcome (O). Salah satu kriterion yang harus dipenuhi untuk menyimpulkan bahwa I menyebabkan O, setelah PE secara valid menunjukkan korelasi I-O yang klinis/kesehatan masyarakat bermakna, adalah konsistensi korelasi tinggi I-O pada PE2 lain dengan PICO yang sama. Konsistensi ini dapat dilihat secara cepat pada forest plot dari full systematic review (SR dengan critical appraisal ketat) dari PE2 dengan PICO yang homogen. Gambar, dan keterangan di sebelahnya, menunjukkan konsistensi korelasi bermakna jika PE2 yang ditelaah mempunyai Effect Size (ES) besar, Standard Error kecil dan berada di sisi yang sama dan jauh dari garis ES nihil. Jika SR menunjukkan hasil PE2 tidak konsisten peneliti belum memenuhi salah satu kriterion penting hubungan kausal I-O, dan sebagai konsekuensinya belum dapat merekomendasi implementasi Intervensi.
Rekomendasi untuk penelitian selanjutnya dapat diberikan jika PE belum dapat sepenuhnya menyimpulkan secara valid ES yang bermakna. Peneliti dapat menyarankan apa yang masih perlu diperbaiki pada akar penyebab dari masalah penelitian (i.e., hubungan bermakna I-O masih dipertanyakan) dalam hal kerangka konsep, rancangan penelitian atau pelaksanaan penelitian. Walaupun belum sepenuhnya berhasil menyimpulkan secara valid, PE dapat tetap mempunyai nilai tambah/kebaruan jika tujuan penelitiannya menunjukkan upaya perbaikan mutakhir dari satu atau lebih akar penyebab masalah penelitian. Kemutakhiran tujuan penelitian dapat diperlihatkan melalui telaah pustaka sistematik yang terkini dan bermutu, yang menunjukkan rekam jejak dari upaya para peneliti untuk menghasilkan kesimpulan yang valid tentang korelasi I-O. Untuk tesis dan disertasi hal ini ditulis di Bab II (Telaah Pustaka) dan di artikel jurnal ilmiah di bagian pendahuluan/pengantar sebelum tujuan penelitian. Di tesis/disertasi peneliti merinci dengan jelas sistematika telaah pustaka yang dipakai mulai dari menjaring artikel2 PE sampai dengan menyimpulkan sintesis hasil PE2 yang memenuhi syarat. Di artikel jurnal ilmiah penulis memaparkan secara singkat rekam jejak PE2 bermutu untuk sampai pada kesimpulan sintesis hasil.
SR juga dapat membantu penulis PE untuk memeriksa pemenuhan kriterion Plausibilitas (kemasukakalan) dari persyaratan penyimpulan hubungan kausal I dan O. Hubungan kausal I-O makin masukakal jika SR yang terkini dan bermutu memperlihatkan korelasi bermakna secara substantif yang konsisten antara I dan Mediator (Landasan Teori) dan antara Mediator dan O. Jika peneliti memang bertujuan menunjukkan hubungan kausal I-O pemenuhan kriteria kausasi yang lain sebaiknya juga dikemukakan di bagian telaah pustaka.
Ada yang berpendapat bahwa SR dapat membantu peneliti meningkatkan akurasi dari penelitiannya melalui penggabungan ES yang dihasilkan PEnya dengan ES dari PE2 yang difiltrasi melalui proses SR. Ada yang bahkan memetaanalisis ES dari PE2 yang kurang homogen (i.e., yang PICOnya tidak persis sama) untuk memperoleh standard error yang kecil. Walaupun sudah diberi pembobotan yang sesuai dengan ukuran sampel dan tingkat heterogenitas akurasi ES gabungannya akan tetap lebih rendah dibandingkan akurasi ES dari PE tunggal dengan ukuran sampel yang besar.
Rujukan:
- Afshari, A., & Wetterslev, J. (2015). When may systematic reviews and meta-analyses be considered reliable? European Journal of Anaesthesiology (EJA), 32(2), 85-87.
- Sivakumar, H., & Peyton, P. J. (2016). Poor agreement in significant findings between meta-analyses and subsequent large randomized trials in perioperative medicine. BJA: British Journal of Anaesthesia, 117(4), 431-441.
Penyesuaian bentuk dan isi Tesis dan Disertasi
Bentuk serta isi tesis dan disertasi sebaiknya disesuaikan dengan hasil yang ingin diperoleh – (1) publikasi sebelum penelitian empirik (PE) selesai; dan, (2) PE yang mempunyai nilai tambah. Ada banyak penerbit berkala ilmiah terandal yang bersedia memuat laporan telaah pustaka tentang proposisi yang menarik (i.e., tentang kerangka konsep dari intervensi yang praktis dan mempunyai landasan teori yang valid), yang menggunakan rancangan serta metoda yang kokoh, dan yang dilaksanakan secara seksama. Penelitian yang dilakukan sendiri juga akan makin besar kemungkinannya untuk diterima penerbit jika, selain memenuhi tiga syarat di atas, berhasil memecahkan sebagian atau seluruh masalah penelitian yang masih terdeteksi oleh penelitian pustaka PE terkini yang dilakukan secara sistematis. Jika sudah ada telaah pustaka sistematik tentang hubungan-hubungan yang sama, peneliti yang sekarang dapat melanjutkannya jika telaah pustaka tersebut bermutu.
Mengingat dua hasil yang akan dicapai tersebut sebaiknya Bab II dari (proposal) tesis dan disertasi khusus membahas “Penelitian Pustaka” dan Bab III khusus menguraikan “Penelitian Empirik”. Bab “Penelitian Pustaka” t.a.: (1) Kerangka konsep sederhana* (untuk mengidentifikasi kata-kata kunci) dan kriteria inklusi lain (misalnya, lingkup tahun publikasi, bahasa, sumber pustaka, metoda pelacakan, termasuk gray literature/tidak, menggunakan rancangan penelitian tertentu) yang digunakan untuk mengarahkan penjaringan pustaka PE; (2) Metoda yang digunakan untuk menjaring dan menyaring pustaka PE; (3) Kriteria dan metoda critical appraisal pustaka PE yang lolos penyaringan; (4) Mensintesis hasil penelitian PE yang lolos penilaian kritis secara kualitatif dan, kalau PE-PEnya cukup homogen, secara kuantitatif (meta analisis); (5) Pelaksanaan dan Hasil penelitian pustaka; dan, (6) Kesimpulan tentang Effect Size gabungan dan saran untuk PE selanjutnya. Karena tujuan penelitian tesis** menguji teori, penelitian pustaka sebaiknya tentang hubungan prediktor–kriterion dan tentang hubungan prediktor-landasan teori-kriterion. Karena tujuan penelitian disertasi** mengembangkan teori, penelitian pustaka sebaiknya didahului pemetaan teori-teori yang digunakan peneliti-peneliti PE sebelumnya.
Bab “Penelitian Empirik” t.a.: (1) Kerangka konsep lengkap yang, selain memperlihatkan konstruk-konstruk prediktor dan kriterion, juga memperlihatkan konstruk-konstruk moderator (situasi dan kondisi unit analisis yang memoderasi hubungan prediktor-kriterion) dan mediator (landasan teori yang digunakan untuk menjelaskan hubungan prediktor-kriterion). Masing-masing konstruk ini dilengkapi dengan demensi-demensi dan variabel-variabelnya; (2) Rancangan dan Metoda pengumpulan, pengolahan dan penafsiran data; (3) Pelaksanaan dan Hasil PE; dan, (5) Kesimpulan tentang hipotesis penelitian dan saran untuk PE selanjutnya jika hubungan prediktor-kriterion tidak bermakna atau pengujian hipotesis penelitian masih bermasalah.
Hasil penelitian pustaka dapat digunakan untuk melengkapi Bab I (Pendahuluan). Selain masalah praktis yang dihadapi praktisi, peneliti sekarang dapat menambahkan di bagian latar belakang rekam jejak upaya memecahkan masalah penelitian. Alasan mempertanyakan hubungan prediktor-kriterion dan hubungan prediktor-landasan teori-kriterion, serta apa yang (akan) diupayakan untuk memperkuat pembuktian hubungan-hubungan tersebut dan apa manfaatnya, juga menjadi lebih spesifik. Kebaruan, atau nilai tambah, penelitian dapat dikemukakan dengan lebih spesifik dan lebih obyektif. Bab IV konvensional tidak diperlukan lagi karena hasil, kesimpulan dan saran dari penelitian pustaka dan penelitian empirik sudah dikemukakan di masing-masing bab. Informasi yang dimuat di Bab I dan Bab II dapat digunakan untuk menulis naskah publikasi systematic review, atau naskah proposalnya (systematic review protocol) dapat didaftarkan pada dan dipublikasi oleh organisasi yang diakui (e.g., PROSPERO, Cochrane Library of Systematic Reviews, Joanna Briggs Institute). Informasi yang ditulis di Bab I dan Bab III dapat digunakan untuk menyusun naskah publikasi empirical research.
Keterangan:
*) Contoh, PICO yang menunjukkan konstruk prediktor (intervensi/exposure) dan konstruk kriterion (outcome) pada populasi unit analisis (yang dibagi menjadi dua atau lebih kelompok intervensi dan kelompok kontrol).
**) Tentang perbedaan skripsi, tesis dan disertasi lihat tulisan https://rossisanusi.wordpress.com/metoda-penelitian/skripsi-tesis-disertasi-apa-bedanya/
Telaah Pustaka Sistematik
Telaah Pustaka Sistematik
Peneliti yang memulai penelitian sebaiknya mengetahui cakupan (scope; extensiveness) dari proposisi-proposisi yang telah diteliti tentang suatu topik (= suatu intervensi, outcome, hubungan intervensi–outcome, atau teori yang melandasi hubungan tersebut) dan rancangan-rancangan penelitian yang digunakan untuk meneliti masing-masing proposisi. Untuk mencapai tujuan ini peneliti secara sistematis mencari, menapis, dan menilai laporan-laporan dari penelitian-penelitian yang telah (dan yang sedang/akan) dilakukan. Berdasarkan hasil pemetaan penelitian ini peneliti kemudian memilih proposisi (=kerangka konsep) yang diminati dan menilai secara lebih seksama validitas dari laporan-laporan (dan, proposal-proposal) penelitian tentang proposisi tersebut. Telaah pustaka sistematik (TPS) yang lengkap ini (full systematic review), dan kegiatan-kegiatan yang mendahuluinya, berupa memeriksa secara cepat cakupan proposisi-proposisi (quick scoping review) beserta rancangan-rancangan penelitian yang digunakan (rapid evidence assessment), didasarkan atas aturan yang jelas (i.e., dapat diulang penelaah lain) dan dikerjakan secara obyektif (i.e., diperiksa silang oleh paling sedikit dua penelaah).
Pada TPS scoping review peneliti menggunakan mesin-mesin pencari (search engines, data bases) untuk menemukan sebanyak mungkin laporan penelitian mengenai topik yang diminati dengan berbagai kerangka konsep yang diteliti beserta beragam rancangan penelitian. Selain ditentukan oleh jenis dan jumlah mesin pencari, jumlah laporan yang terjaring juga ditentukan oleh kriteria inklusi yang mengatur waktu terbit/penulisan laporan, tempat penelitian dan bahasa laporan. Jumlah laporan yang dijaring dapat ditingkatkan jika laporan-laporan dicari di perpustakaan atau lembaga yang menyimpan laporan-laporan yang tidak diterbitkan. Saran ahli dan daftar rujukan juga dapat menunjukkan laporan-laporan yang masih perlu dilacak. Laporan yang terkumpul kemudian ditapis untuk menyingkirkan laporan rangkap dan laporan yang isinya ternyata tidak mengandung kerangka-kerangka konsep yang terkait topik penelitian (karena pelacakan berdasarkan judul dan abstrak, tetapi isi laporan tidak sesuai dengan judul atau abstrak). Pada TPS rapid evidence assessment peneliti menapis lebih lanjut laporan menurut rancangan yang digunakan. Namun, karena dikerjakan secara cepat, yang diperiksa hanya rancangan penelitian yang menyangkut validitas dalam, yaitu apakah moderator-moderator spesifik dikendalikan atau ikut dianalisis (i.e., melalui multivariate analysis) dan moderator-moderator non-spesifik (confounding constructs – konstruk perancu penafsiran hubungan prediktor dan kriterion) dikendalikan. Pada TPS full systematic review penapisan sudah dilakukan sejak tahap pelacakan laporan dengan menambah kriteria inklusi kerangka konsep tertentu dan jenis rancangan penelitian tertentu (e.g., penelitian experimental murni, yang mampu mengendalikan konstruk-konstruk perancu). Sedangkan pada tahap penapisan, selain menilai rancangan penafsiran data secara lebih rinci, penelaah menilai rancangan pengumpulan data (i.e., validitas alat/metoda pengukuran, reliabilitas penggunaan alat/metoda pengukuran, ketepatan subyek penelitian dan unit analisis) dan rancangan pengolahan data (i.e., ketepatan penggunaan metoda pengolahan data kuantitatif dan metoda pengolahan fakta-fakta kualitatif). Critical Appraisal lengkap seperti ini, dan penapisan laporan dengan kerangka konsep dan rancangan penelitian spesifik di tahap sebelumnya, memakan waktu yang cukup lama. Waktu yang lama juga diperlukan karena kesepakatan antar penelaah harus diperiksa.
Peta laporan penelitian yang dihasilkan TPS quick scoping review dapat disajikan dalam bentuk tabel yang memuat empat kolom: (1) Kerangka Konsep (yang menunjukkan identitas konstruk-konstruk prediktor, kriterion, mediator dan moderator); (2) Judul dan Penulis Laporan (dengan identitas periodikal atau lembaga asal laporan); (3) Rancangan Penelitian; dan, (4) Komentar Penelaah. Jika TPS dilanjutkan dengan rapid evidence assessment Kolom “Rancangan Penelitian” diisi dengan upaya peneliti untuk mengendalikan/ memperhitungkan moderator-moderator serta akibatnya pada validitas dalam dan luar. Pada TPS full systematic review Kolom “Judul dan Penulis“ dan Kolom “Kerangka Konsep” ditukar letaknya. Karena yang ditelaah sekarang laporan-laporan dengan kerangka konsep yang strukturnya sama, Kolom “Kerangka Konsep” diisi dengan definisi operasional masing-masing konstruk dari kerangka konsep yang dipilih. Kolom “Rancangan Penelitian” diisi dengan upaya peneliti meningkatkan validitas pengumpulan, pengolahan dan penafsiran data serta akibatnya pada validitas kesimpulan pengujian hipotesis penelitian. Kolom paling kanan memuat komentar penelaah tentang bias-bias yang mungkin terjadi pada tahap pelacakan dan penapisan. Hasil penelitian yang dilaporkan makalah-makalah penelitian yang lulus full systematic review dapat disintesis dan rekomendasi untuk praktek klinik/lapangan dan penelitian lebih lanjut dapat diberikan. Analisis data gabungan (meta-analysis) dapat dilakukan jika definisi operasional dan pengukuran prediktor dan kriterionnya baku.
Di laporan penelitian, yang diterbitkan di periodikal maupun yang tidak diterbitkan, hasil TPS lazimnya ditulis di bagian Pendahuluan. Di laporan penelitian akademik (skripsi, tesis dan disertasi) hasil TPS ditulis sebagian di Bab I (Pendahuluan) dan sebagian di Bab II (Telaah Pustaka). Yang ditulis di Bab I adalah: (a) rekam jejak penelitian tentang topik yang bersangkutan (= cakupan/scope menurut urutan waktu penerbitan/penulisan) di sub-bab Latar Belakang, bersama latar belakang masalah praktis di klinik/lapangan); (b) masalah penelitian yang masih ada dan pemecahannya di sub-bab Masalah dan Tujuan Penelitian; dan, (c) “keaslian” atau “kebaruan” penelitian yang sesuai dengan jenis TPS di sub-bab Keaslian Penelitian. Sedangkan yang dimuat di Bab II ialah jenis TPS yang dikerjakan, hasil TPS dan kesimpulannya. Kesimpulan TPS dinyatakan dalam bentuk masalah-masalah yang masih dihadapi peneliti-peneliti sebelumnya dalam upaya membuktikan hubungan bermakna intervensi–outcome dengan merujuk kepada kerangka konsep yang bersangkutan (dengan landasan teori sebagai mediatornya) disertai hipotesis-hipotesis penelitian yang sesuai dengan Masalah dan Tujuan Penelitian yang ditulis di Bab I.
Pada telaah pustaka yang non-sistematik (narrative review) penelaah menggunakan aturannya sendiri pada semua tahap telaah pustaka. Aturan yang digunakan sering tidak jelas, sehingga sulit untuk diulang penelaah lain, dan tidak obyektif, sehingga condong ke arah bukti dugaan semula (preconceived evidence). Untuk penelitian akademik telaah pustaka jenis ini tidak dianjurkan. Setiap dosen sebaiknya melakukan quick scoping review bersama staf perpustakaan untuk membuat peta umum penelitian di bidang minatnya. Berdasarkan peta ini dia dapat menugaskan mahasiswa S1 untuk menulis skripsi tentang salah satu kerangka konsep dan pengukuran secara valid (kualitatif atau kuantitatif) variabel-variabelnya. Bersama mahasiswa S2 dia dapat menambahkan hasil rapid evidence assessment pada salah satu kerangka konsep yang ada di peta tersebut dan mengarahkan mahasiswa untuk menyempurnakan rancangan penelitian. Pembimbing mahasiswa S3 sebaiknya mempunyai peta penelitian yang lebih khusus. Selain menunjukkan semua kerangka konsep yang jarang/banyak diteliti dengan kekuatan rancangannya masing-masing, peta mereka juga mencantumkan full systematic review (dan reviewnya) yang telah dikerjakan oleh peneliti/lembaga lain dan rekomendasi mereka yang berkaitan dengan praktek klinik/PH dan penelitian selanjutnya. Bersama mahasiswa S3 dia akan melakukan full systematic review selanjutnya dan mengarahkan mahasiswa yang bersangkutan untuk meneliti masalah penelitian terkini yang diidentifikasi review tsb.
Rujukan
HLWIKI International. Scoping Reviews. Diunduh 5 Mei 2016 dari http://hlwiki.slais.ubc.ca/index.php/Scoping_reviews
Systematic Literature Review X Narrative Review. Diunduh 5 Mei 2016 dari http://dx.doi.org/10.1590/S0103-21002007000200001
“Baju Baru Kaisar” dalam Pendidikan Profesi Kesehatan
Di makalah mereka, yang berjudul “The emperor’s new clothes: the OSCE reassessed”, Mavis dkk. (1996) mengibaratkan OSCE seperti “baju baru kaisar” dari cerita anak-anak Hans Christian Andersen. Ungkapan ini digunakan untuk menggambarkan gagasan keliru yang seolah-olah masuk akal (logical fallacy) yang diterima banyak pihak karena ketidaktahuan (pluralistic ignorance) atau yang diterima orang-orang berkepentingan pribadi karena takut dianggap tidak layak menduduki jabatannya, tidak memahami inovasi atau tidak mengikuti mode. OSCE terutama keliru jika digunakan sebagai satu-satunya cara untuk penilaian sumatif (ujian akhir, ujian sertifikasi) kompetensi-kompetensi minimal. Penilaian penguasaan kompetensi inti sebaiknya didasarkan atas pengamatan langsung perilaku mahasiswa (= gabungan berbagai kemampuan kognitif, motorik dan afektif) ketika berinteraksi dengan pasien/masyarakat dan pemeriksaan hasil interaksi (catatan, keputusan penatalaksanaan). Alih-alih mengikuti fashion/trend, atau tekanan dari badan akreditasi/pengujian dan perguruan tinggi yang “lebih maju”, sebaiknya masing-masing perguruan tinggi mengembangkan cara-cara menilai kemampuan mahasiswa yang lebih sesuai dengan cita-cita organisasi, kemampuan sumber-daya, kurikulum pendidikan secara keseluruhan dan minat mahasiswa.
Dalam pendidikan profesi kesehatan ada beberapa “baju baru kaisar” lain, seperti PBL, Skills Lab, Seven Jump, dsb., yang sebaiknya tidak diikuti begitu saja. Seperti dalam kisah Andersen, kaisar dan para pembesar serta khalayak ramai (pemerintah, organisasi profesi dan dunia akademik) ditipu oleh dua penenun palsu (para ahli pendidikan yang tidak menelaah dan meneliti secara seksama bukti-bukti daya-guna, hasil-guna dan tepat-guna dari kiat-kiat pengajaran). Ketika sang kaisar berpawai memamerkan baju barunya di tengah kerumunan yang mengelu-elukan tiba-tiba ada anak kecil yang berteriak “ibu…, kaisar telanjang!”. Seperti anak yang polos, staf Bagian Pendidikan dari masing-masing perguruan tinggi (yang bebas dari berbagai tekanan dan kepentingan diri sendiri) sebaiknya memberikan saran-saran yang valid kepada pimpinan perguruan tinggi. Ahli-ahli pendidikan di tingkat pusat dan regional (sebagai konsultan, penasehat, pembisik) sebaiknya memberikan masukan yang rasional kepada para pembuat kebijakan.
Untuk menutupi “ketelanjangan”, seandainya suatu “baju baru” ternyata tidak memenuhi harapan, sebaiknya masing-masing perguruan tinggi tetap memakai “baju dalam” yang tidak mungkin gagal (foolproof), yaitu dosen dengan social congruence (perhatian pribadi kepada mahasiswa), subject matter expertise (keahlian di suatu bidang ilmu) dan cognitive congruence (kemampuan menyatakan diri dengan “bahasa” yang dimengerti mahasiswa) yang tinggi. PBL justru menghalangi dosen-dosen muda menjadi ahli di bidang minatnya karena sudah nyaman menjadi fasilitator kelompok tutorial. Untuk menjadi fasilitator yang bermanfaat bagi mahasiswa dibutuhkan cognitive congruence yang tinggi, yang dapat dicapai jika dosen yang bersangkutan mempunyai subject matter expertise yang tinggi. (Rotgans & Schmidt, 2011; Epstein, 2004)
Rujukan:
Campbell, J.K., & Johnson, C. (1999). Trend spotting: fashions in medical education. British Medical Journal, 313, 1272-1275.
Epstein, R.J. (2004). Learning from the problems of problem-based learning. BMC Medical Education 4, 1
Mavis, B.E., Henry, R.C., Ogle, K.S., & Hoppe, R.B. (1996). The emperor’s new clothes: the OSCE reassessed. Academic Medicine, 71, 447-453.
Rotgans, J.I., & Schmidt, H.G. (2011). The role of teachers in facilitating situational interest in an active-learning classroom. Teaching and Teacher Education, 27, 37-42.
Wikipedia. The emperor’s new clothes. Diunduh 10 Otkober 2013 dari http://en.wikipedia.org/wiki/The_Emperor%27s_New_Clothes
Pertanyaan Dr Arsita (21 Oktober 2013):
1. Apakah tulisan tersebut mencerminkan kritik dan ketidaksetujuan terhadap model student assessment saat ini?
2. Adopsi analogi ‘baju kaisar’ tersebut menggambarkan fakta riil actor, peran dan lingkungan apa? Apakah pakar [pendidikan] kedokteran adalah anak yang melihat kaisar telanjang? Atau justru kaisar yang merasa pakai jubah ternyata telanjang.
Jawaban:
1. Secara umum kritik ditujukan kepada penerapan suatu inovasi pendidikan oleh para pembuat keputusan di tingkat pusat dan lokal tanpa mempertimbangkan efikasi, efektivitas dan efisiensi dari inovasi tersebut.
Kritik khusus tentang OSCE:
OSCE memang praktis karena dapat digunakan untuk menguji kompetensi klinik mahasiswa/praktisi dalam jumlah yang besar dan dalam waktu yang singkat. Namun OSCE tidak dapat menggantikan ujian kompetensi yang menggunakan pasien sesungguhnya dalam hal mengolah dan menafsirkan data dari begitu banyak variabel pasien, pathogen dan lingkungan. Keadaan multivariat ini dapat disimulasi dengan teknologi simulasi pintar. Karena teknologi ini belum kita miliki, kita sebaiknya menggunakan pengamatan langsung interaksi mahasiswa/praktisi dan pasien pada tahap mengumpulkan data (Anamnesis, Pemeriksaan Fisik dan Pemeriksaan Lab) dan tahap memberikan tindakan (terapi bedah/farmakologik dan menyuluh/merujuk). Untuk menguji secara valid tahap mengolah dan menafsirkan data (untuk Upaya Kesehatan Perorangan dan Upaya Kesehatan Masyarakat) kita dapat menggunakan ujian kompetensi virtual, yang dapat diadministrasi secara sentral dari pusat oleh KKI. OSCE kurang valid untuk menguji kompetensi UKP dan UKM karena menggunakan simulasi sederhana, yang hanya menilai kemampuan kognitif UKP dengan jalur algoritma tertentu dan kemampuan motorik UKP dengan bagian protap tertentu.
2. Analogi “Baju Baru Kaisar”:
Para aktor:
a. Kaisar: pembuat keputusan di tingkat pusat dan lokal (perguruan tinggi).
b. Penasehat kaisar: para konsultan, pokja-pokja, badan akreditasi/pengujian.
c. Khalayak ramai: birokrasi, organisasi profesi, academia, masyarakat.
d. Penenun palsu: ahli pendidikan yang mempunyai kepentingan pribadi dan yang tidak (mampu) memberi saran yang valid.
e. Anak kecil: ahli pendidikan yang tidak mempunyai kepentingan pribadi dan yang mampu memberi saran yang valid.
Pemeran a, b & c menerima gagasan inovasi dari d karena “takut” dianggap tidak memahami inovasi atau karena “tekanan” dari badan akreditasi/pengujian atau organisasi profesi.
Sebaiknya badan akreditasi/pengujian dan organisasi profesi menilai perguruan tinggi (PT) tidak berdasarkan apakah PT yang bersangkutan telah mengadopsi suatu inovasi pendidikan melainkan berdasarkan apakah PT tsb mengadakan LitBang dan DikLat inovasi pendidikan. Karena inovasi pendidikan di masing-masing PT menghadapi resiko gagal atau terhambat ada baiknya jika mereka memakai “Baju Dalam” yang handal, yaitu guru-guru yang ahli di bidang ilmunya, memperhatikan kepentingan mahasiswa dan mampu mengarahkan mahasiswa.
Tanggapan dari Dr Ova Emilia (18 Oktober 2013):
Saya merasakan dan berpendapat bahwa orang (termasuk dosen yang kaum cerdik pandai) terjebak pada polesan luar, label tanpa memahami apa makna di balik nya. Contoh tentang OSCE, yang dipopulerkan tahun 1980an itu bak sebuah obat dari segala obat yang bisa dipercaya untuk mengatasi kompetensi. Padahal kita harus kembalikan pada sebab musabab kenapa ahli pendidikan menggagas OSCE? Tentunya suatu gagasan dirancang untuk menjawab suatu masalah bukan semua masalah.
Kejadian lain adalah tentang PBL yang juga nasibnya sama. Hingga seolah-olah dengan memberi label kurikulumnya PBL adalah jaminan bahwa pendidikannya bagus, kompetensi bisa dicapai dengan baik.
Diharapkan orang yang ahli dalam pendidikan kedokteran bersikap obyektif secara keilmuan. Berpegang teguh pada evidence yang valid dan tidak mudah terjebak pada label dan polesan luar saja. Tentunya sikap tersebut hanya bisa dijaga bila kita rajin meng update dari literatur penelitian mutakhir. Saya pribadi bersyukur telah dikenalkan sejak awal jadi dokter tentang “critical appraisal” studi studi. Dan tetap belajar sampai sekarang…..
Tanggapan dari Dr Titi Savitri (15 Oktober 2013):
In my opinion, ide bagus, tetapi it might be a bit difficult to understand bagi banyak pihak. Pesan yang ingin disampaikan memang ‘disembunyikan’ lewat bahasa ‘perumpaan’.
Memang penelitian Henk Schmidt menyebutkan bahwa cognitive congruence dan social congruence berpengaruh terhadap keberhasilan mahasiswa dalam belajar.
Memang untuk menguji kompetensi yang terbaik adalah pengamatan yang dilakukan selama magang (internship) ketika mahasiswa menerapkan semua domain secara terintegrasi ketika berhadapan dengan pasien.
Uji kompetensi banyak faktor politis, dibanding akademis.
Penilaian Kritis Makalah Penelitian
Di dalam berkala ilmiah ada tiga macam makalah ilmiah – makalah konseptual, makalah tinjauan dan makalah penelitian. Ketiga jenis makalah ini saling melengkapi. Makalah konseptual memuat proposisi (pernyataan hubungan antara dua atau lebih konstruk) atau teori (himpunan proposisi) yang digunakan untuk menjawab masalah-masalah penelitian. [Contoh: Ribera, J.M, Hausmann-Muela, S., D’Alessandro, U., Grietens, K.P. (2007) Malaria in Pregnancy: What Can the Social Sciences Contribute? PLoS Medicine, Volume 4, Issue 4. Diperoleh 9 Desember 2009 dari www.plosmedicine.org]. Ada juga makalah konseptual yang mengusulkan penyempurnaan dari suatu proposisi/teori berdasarkan penilaian kritis (critical appraisal) penelitian-penelitian yang menggunakan proposisi/teori tersebut. Makalah tinjauan menelaah penelitian-penelitian yang menjawab suatu masalah penelitian atau yang didasarkan atas suatu proposisi/teori. [Contoh: Gamble, C., Ekwaru, P.J., Garner, P., ter Kuile, F.O. (2007) Insecticide-Treated Nets for the Prevention of Malaria in Pregnancy: A Systematic Review of Randomized Controlled Trials. PLoS Medicine, Volume 4, Issue 3. Diperoleh 9 Desember 2009 dari www.plosmedicine.org] Makalah tinjauan yang lengkap mengemukakan rekam jejak dari suatu proposisi/teori, yaitu sejak pertama kali diperkenalkan dalam bentuk awal, penyempurnaan-penyempurnaan yang dialami sepanjang perjalanannya sampai saat ini dan penelitian-penelitian yang berperan dalam penyempurnaan-penyempurnaan tsb. Sedangkan makalah penelitian melaporkan hasil penelitian yang didasarkan atas proposisi/teori dan menyimpulkan hasilnya mendukung atau menggugurkan proposisi/teori tersebut.
Walaupun suatu makalah penelitian diterbitkan oleh berkala ilmiah taraf internasional, dan dengan demikian telah dikoreksi dan diedit melalui proses yang panjang oleh para ahli terkait dan editor dari berkala ilmiah yang bersangkutan, pembaca makalah penelitian sebaiknya tidak begitu saja menerima kesimpulan yang dibuat oleh para penulis. [Lihat makalah Young, N.S., Ioannidis, J.P.A., Al-Ubaydli, O. (2008) Why Current Publication Practices May Distort Science. PLoS Medicine, Volume 5, Issue 10. Diperoleh 9 Desember 2009 dari www.plosmedicine.org] Kesimpulan bahwa hasil penelitian mendukung hubungan antara konstruk-konstruk yang diusulkan proposisi tidak logis jika butir-butir berikut tidak dipenuhi/disebutkan:
- Hubungannya kuat (r ≥ rMin).
- Bukan hubungan semu. Hubungan semu dapat terjadi jika ada: a. Kesalahan dalam pengumpulan data (alat/metoda tidak valid, penggunaan alat/metoda tidak reliabel, subyek penelitian tidak tepat); b. Kesalahan dalam pengolahan data (sampel terlampau kecil, teknik statistika diskriptif dan inferensial yang tidak sesuai skala dan asumsi distribusi sampling/data tidak dipenuhi); dan, c. Kesalahan dalam penafsiran data (variabel-variabel penyulit diabaikan sehingga mengganggu validitas internal atau terlalu dikendalikan sehingga mengganggu validitas external).
- Untuk proposisi hubungan sebab-akibat, kriteria kausal lain dipenuhi (konsistensi, kekhususan, temporalitas, koherensi dsb).
Tidak ada (makalah) penelitian yang betul-betul sempurna. Yang lebih penting ialah memahami kelemahan-kelemahannya dan memanfaatkan bagian-bagiannya yang kuat. Latihan menilai secara kritis makalah penelitian dapat diadakan melalui kegiatan Journal Club, yang dijalankan secara progresif dan konsisten.
Penelitan Replikasi (1)
Penelitian replikasi (PR) bukan penelitian plagiasi. Penelitian plagiasi adalah penelitian yang mengandung gagasan-gagasan orang lain tetapi tidak menyebutkan sumber gagasan (= plagiasi gagasan) atau yang mengutip tulisan orang lain tetapi tidak memberikan tanda kutip dan tidak menyebutkan sumber kutipan (= plagiasi tulisan). Penelitian plagiasi banyak terjadi karena ada tekanan ”Publish or Perish” – karir terancam jika tidak mengadakan penelitian dan membuat tulisan.
Penelitian replikasi (PR) adalah penelitian yang menjawab masalah penelitian yang sama, yang bertujuan menggugurkan teori yang digunakan di penelitian-penelitian sebelumnya dengan rancangan yang lebih valid. PR tidak dapat dihindari dan wajib dilakukan. Tidak ada penelitian yang betul-betul asli. Setiap peneliti berupaya menjawab masalah penelitian berdasarkan teori yang ada, dan dia akan sangat berjasa bila mampu menggugurkan (merefutasi) teori tersebut dengan rancangan yang lebih kuat. (Lihat tulisan tentang Rancangan Penelitian di https://rossisanusi.wordpress.com/?s=hipotesis+rancangan) Teori yang berhasil digugurkan merupakan pijakan untuk menyempurnakannya. Ada peneliti yang mengadakan PR dengan rancangan yang persis sama (= penelitian imitasi), mungkin karena ia menilai rancangan tersebut cukup valid atau karena dia tidak mempunyai cukup sumberdaya untuk mengadakan penelitian dengan rancangan yang lebih baik. PR dengan rancangan valid yang sampai kepada kesimpulan bahwa teori yang bersangkutan didukung (tidak dapat digugurkan) juga bermanfaat.
Teori terdiri atas proposisi-proposisi yang mengusulkan hubungan antara konstruk-konstruk. Ada proposisi-proposisi yang menunjukkan hubungan korelasi (=kovariasi) dan ada yang menunjukkan hubungan kausasi. Salah satu kriteria kausasi adalah konsistensi – teori yang bersangkutan makin kuat kedudukannya jika secara konsisten didukung oleh PR. Kriterion kausasi yang lain adalah hubungan korelasi sesungguhnya yang kuat, yaitu korelasi yang tidak semu yang bermakna secara praktis (r ≥ rmin). Bagian terbesar dari penelitian-penelitian berhenti di sekedar menyimpulkan hubungan korelasi yang bermakna (seringkali hanya bermakna secara statistik, yang kadang-kadang juga tidak diperlukan karena tidak ada sampling), tanpa memperhatikan apakah hubungan korelasi tersebut semu atau tidak. Penyebab dari korelasi semu dapat timbul di tahap pengumpulan data, pengolahan data dan penyimpulan hasil pengolahan data. Di setiap tahap bermacam-macam bias mengancam dan biasanya pada tahap pengumpulan data penelitian sudah gugur sebelum dapat menggugurkan teori. (Lihat tulisan “Hipotesis Rancangan Penelitian” dan halaman “Bias” di blog ini)
Oleh karena itu alangkah baiknya jika pendidikan S1 ditekankan pada pengukuran (pengumpulan data), S2 pada pengujian teori dan S3 pada pengembangan teori. Telaah pustaka (critical appraisal) yang makin memudar supaya digairahkan kembali di semua strata pendidikan. Karena dari telaah-telaah ini kita mengetahui teori-teori yang digunakan untuk menjawab berbagai masalah penelitian dan rancangan-rancangan (termasuk metoda-metoda pengumpulan data) yang digunakan para peneliti untuk menggugurkan teori-teori tersebut.
Penelitian Replikasi (2) https://rossisanusi.wordpress.com/2016/11/08/penelitian-replikasi-2/
Rossi Sanusi 