Kuliah PromKes Sem 2 ProDi S2 IKM UNS

PromKes Sem2_Perencanaan & Evaluasi

Advertisements

Kuliah PromKes 19 Okt 2017 (ProDi S3 IKM UNS)

Contoh: Mehtala_socioecological approach

  • Masing-masing mahasiswa menyiapkan presentasi singkat tentang teori dan makalah SR yang dipilih.

 

“C” dari PICO menunjuk kepada Comparison atau Control?

Akronim PICO dapat digunakan untuk mengidentifikasi kata-kata kunci pencarian makalah-makalah systematic review (SR) dan makalah-makalah penelitian empirik (PE) dan untuk merumuskan hipotesis penelitian. “P” menunjukkan populasi unit analisis yang diteliti; “I” menandakan  intervensi yang dilakukan peneliti (suatu tindakan penatalaksanaan kasus perorangan atau masyarakat) atau pemaparan terhadap intervensi yang dilakukan pihak lain atau alam; “C” menyatakan comparison, yaitu intervensi biasanya/lain sebagai pembanding; dan, “O” melambangkan outcome, atau hasil yang berkaitan dengan intervensi. Karena tidak menggunakan kelompok pembanding ada peneliti yang menganggap “C” tidak relevant. Misalnya, Oliveira, dkk. (2016) menyatakan dalam penelitian pustakanya bahwa “The element C from the PICO strategy has not been addressed in this research, as this is not intended to compare interventions”.

Karena kelompok pembanding digunakan untuk mengontrol (= meniadakan variasi nilai)  variabel-variabel moderator, dan karena ada cara-cara lain yang dapat digunakan untuk mengendalikan variabel-variabel tersebut (e.g., kriteria inklusi, stratifikasi, matching), lebih baik huruf “C” dari singkatan PICO menunjukkan Control. Intervensi pada penelitian eksperimen menggunakan kelompok pembanding yang biasanya berskala diskrit (i.e., X1 dan X0) dan pada RCT disertai dengan penempatan secara acak ke kelompok intervensi dan kelompok kontrol  dengan/tanpa pre-test. Pada penelitian Oliveira dkk variabel “I” (= beban kerja perawat”) berskala kontinu dan mereka seharusnya menjelaskan “C” (metoda kontrol) yang digunakan untuk mengendalikan variabel-variabel moderator. Jika tidak dikendalikan korelasi antara “I” dan “O” mungkin semu (merancukan hubungan yang sesungguhnya antara suatu situasi/kondisi dari unit analisis dan “O”). Alternatifnya, ialah ikut memperhitungkan pengaruh moderator-moderator (analisis multivariat), yang memerlukan ukuran populasi/sampel yang lebih besar namun mempunyai validitas luar yang lebih tinggi.

Ada peneliti yang menambahkan simbol “T” di belakang akronim PICO yang menunjukkan selang waktu (t) antara “I” dan “O”. Intervensi membutuhkan cukup waktu untuk menghasilkan outcome yang diharapkan. Definisi operasional  intervensi yang lengkap seharusnya sudah mencakup durasi intervensi, di samping frekuensi, intensitas dan komponen-komponen. Pengukuran  “O” yang berulang-ulang dalam jangka waktu tertentu (misalnya untuk mengendalikan novelty effect  – intervensi tampak berhasil untuk sementara karena kebaruannya) dapat dikemukakan dalam C = Control. “T” lebih baik dipakai untuk merepresentasi Theory. Peneliti sebaiknya menunjukkan landasan teori yang menjelaskan hubungan intervensi dan outcome.

Rujukan:

Oliveira AC, Garcia PC, Nogueira LS. Nursing workload and occurrence of adverse events in intensive care: a systematic review. Rev Esc Enferm USP. 2016;50(4):679-689. DOI: http://dx.doi.org/10.1590/S0080-623420160000500020

Riva, J. J., Malik, K. M. P., Burnie, S. J., Endicott, A. R., & Busse, J. W. (2012). What is your research question? An introduction to the PICOT format for clinicians. The Journal of the Canadian Chiropractic Association56(3), 167–171.

Penyesuaian bentuk dan isi Tesis dan Disertasi

Bentuk serta isi tesis dan disertasi sebaiknya disesuaikan dengan hasil yang ingin diperoleh – (1) publikasi sebelum penelitian empirik (PE) selesai; dan, (2) PE yang mempunyai nilai tambah. Ada banyak penerbit berkala ilmiah terandal yang bersedia memuat laporan telaah pustaka tentang proposisi yang menarik (i.e., tentang kerangka konsep dari intervensi yang praktis dan mempunyai landasan teori yang valid), yang menggunakan rancangan serta metoda yang kokoh, dan yang dilaksanakan secara seksama. Penelitian yang dilakukan sendiri juga akan makin besar kemungkinannya untuk diterima penerbit jika, selain memenuhi tiga syarat di atas, berhasil memecahkan sebagian atau seluruh masalah penelitian yang masih terdeteksi oleh penelitian pustaka PE terkini yang dilakukan secara sistematis. Jika sudah ada telaah pustaka sistematik tentang hubungan-hubungan yang sama, peneliti yang sekarang dapat melanjutkannya jika telaah pustaka tersebut bermutu.

Mengingat dua hasil yang akan dicapai tersebut sebaiknya Bab II dari (proposal) tesis dan disertasi khusus membahas “Penelitian Pustaka” dan Bab III khusus menguraikan “Penelitian Empirik”. Bab “Penelitian  Pustaka” t.a.: (1) Kerangka konsep sederhana* (untuk mengidentifikasi kata-kata kunci) dan kriteria inklusi lain (misalnya, lingkup tahun publikasi, bahasa, sumber pustaka, metoda pelacakan, termasuk gray literature/tidak, menggunakan rancangan penelitian tertentu) yang digunakan untuk mengarahkan penjaringan pustaka PE; (2) Metoda yang digunakan untuk menjaring dan menyaring pustaka PE; (3) Kriteria dan metoda critical appraisal pustaka PE yang lolos penyaringan; (4) Mensintesis hasil penelitian PE yang lolos penilaian kritis secara kualitatif dan, kalau PE-PEnya cukup homogen, secara kuantitatif (meta analisis); (5) Pelaksanaan dan Hasil penelitian pustaka; dan, (6) Kesimpulan tentang Effect Size gabungan dan saran untuk PE selanjutnya. Karena tujuan penelitian tesis** menguji teori, penelitian pustaka sebaiknya tentang hubungan prediktor–kriterion dan tentang hubungan prediktor-landasan teori-kriterion. Karena tujuan penelitian disertasi** mengembangkan teori, penelitian pustaka sebaiknya didahului pemetaan teori-teori yang digunakan peneliti-peneliti PE sebelumnya.

Bab “Penelitian Empirik” t.a.: (1) Kerangka konsep lengkap yang, selain memperlihatkan konstruk-konstruk prediktor dan kriterion, juga memperlihatkan konstruk-konstruk moderator (situasi dan kondisi unit analisis yang memoderasi hubungan prediktor-kriterion) dan mediator (landasan teori yang digunakan untuk menjelaskan hubungan prediktor-kriterion). Masing-masing konstruk ini dilengkapi dengan demensi-demensi dan variabel-variabelnya; (2) Rancangan dan Metoda pengumpulan, pengolahan dan penafsiran data; (3) Pelaksanaan dan Hasil PE; dan, (5) Kesimpulan tentang hipotesis penelitian dan saran untuk PE selanjutnya jika hubungan prediktor-kriterion tidak bermakna atau pengujian hipotesis penelitian masih bermasalah.

Hasil penelitian pustaka dapat digunakan untuk melengkapi Bab I (Pendahuluan). Selain masalah praktis yang dihadapi praktisi, peneliti sekarang dapat menambahkan di bagian latar belakang rekam jejak upaya memecahkan masalah penelitian. Alasan mempertanyakan hubungan prediktor-kriterion dan hubungan prediktor-landasan teori-kriterion, serta apa yang (akan) diupayakan untuk memperkuat pembuktian hubungan-hubungan tersebut dan apa manfaatnya, juga menjadi lebih spesifik. Kebaruan, atau nilai tambah, penelitian dapat dikemukakan dengan lebih spesifik dan lebih obyektif. Bab IV konvensional tidak diperlukan lagi karena hasil, kesimpulan dan saran dari penelitian pustaka dan penelitian empirik sudah dikemukakan di masing-masing bab. Informasi yang dimuat di Bab I dan Bab II dapat digunakan untuk menulis naskah publikasi systematic review, atau naskah proposalnya (systematic review protocol) dapat didaftarkan pada dan dipublikasi oleh organisasi yang diakui (e.g., PROSPERO, Cochrane Library of Systematic Reviews, Joanna Briggs Institute). Informasi yang ditulis di Bab I dan Bab III dapat digunakan untuk menyusun naskah publikasi empirical research.

Keterangan:

*) Contoh, PICO yang menunjukkan konstruk prediktor (intervensi/exposure) dan konstruk kriterion (outcome) pada populasi unit analisis (yang dibagi menjadi dua atau lebih kelompok intervensi dan kelompok kontrol).

**) Tentang perbedaan skripsi, tesis dan disertasi lihat tulisan https://rossisanusi.wordpress.com/metoda-penelitian/skripsi-tesis-disertasi-apa-bedanya/

 

 

 

 

Pendidikan Kedokteran Penjaluran

Pada Bulan Augustus, Tahun 2015, Harvard Medical School meluncurkan kurikulum “Pathways”. Setelah belajar dasar-dasar ilmu kedokteran di Tahun I (melalui belajar mandiri dengan berbagai media mengajar yang disediakan dan belajar bersama dengan sesama mahasiswa dan dosen) dan clerkship di Tahun II mahasiswa dapat memperdalam ilmu kedokteran melalui berbagai matakuliah sains terpadu, clinical electives, dan proyek-proyek penelitian di  Harvard University dan universitas-universitas lain selama Tahun III dan IV. Tujuannya ialah supaya selama dua tahun terakhir mahasiswa dapat berkembang sesuai dengan karir pekerjaan yang ingin ditempuh. Nama lain dari kurikulum semacam itu ialah kurikulum “Pipeline” karena mahasiswa dapat disalurkan melalui berbagai jalur. Pada kurikulum “penjaluran” penyerapan peserta didik untuk masing-masing jalur juga dapat dimulai dari tahap yang lebih dini dan pencapaiannya dapat sampai ke tahap yang lebih jauh di karir kerja. Jika diterapkan untuk memenuhi kebutuhan akan tenaga kedokteran bagi daerah-daerah 3T, misalnya, penyaluran dapat dimulai dari pelacakan dan penyaringan calon mahasiswa yang akan mampu dan mau bekerja di daerah-daerah tersebut, untuk kemudian disalurkan melalui  program pendidikan yang melengkapi mereka dengan kompetensi yang sesuai, dan ditempatkan serta dikembangkan lebih lanjut untuk berkarya dan mencapai tingkat tertinggi karir pendidikan dan pekerjaan di daerah yang bersangkutan (bahkan sampai pensiun).

Seperti Harvard Medical School kurikulum FK di Indonesia dapat memiliki satu Jalur Pokok (kurikulum inti) yang terdiri dari Tahun I “Dasar-dasar Ilmu Kedokteran” dan Tahun II “Clinical Clerkship”, dan beberapa Jalur Cabang yang masuk ke dan yang keluar dari jalur pokok. Misalnya, selain jalur cabang keluar Dokter Daerah 3T, ada jalur-jalur cabang keluar Dokter Kelompok Penduduk Khusus (disadvantaged populations – kelompok penduduk yang mengalami ketimpangan dalam pelayanan kesehatan karena perbedaan jenis kelamin atau sosial ekonomi), Ilmuwan Kedokteran (medical scientist), Peneliti Bidang Kedokteran (medical researcher), Dokter Spesialis bidang kedokteran tertentu. Supaya pendidikan kedokteran penjaluran berhasil diperlukan: (a) Test-test khusus masuk ke jalur pokok/cabang; (b) program-program pendukung (support programs) dan program-program penghubung (on-ramps/bridge programs) untuk membantu mahasiswa dan tenaga kedokteran yang sudah bekerja untuk masuk ke Jalur Pokok atau masuk/pindah ke suatu Jalur Cabang; (c) sertifikasi di pintu keluar Jalur Pokok/Cabang; (d) kerjasama dengan perguruan tinggi lain dan UPT-UPT swasta/ pemerintah untuk pendidikan/pelatihan di tempat dan pilihan; dan, (e) penggunaan cara dan alat bantu mengajar yang inovatif dan fleksibel.

Perancangan kurikulum penjaluran sebaiknya didasarkan atas hasil penelitian yang sesuai dengan tujuan masing-masing jalur pendidikan. Sebagai contoh, untuk memenuhi kebutuhan dokter di daerah-daerah 3T Budhathoki dkk (2017) menyimpulkan, berdasarkan hasil telaah sistematik 13 makalah penelitian negara-negara pendapatan rendah dan menengah, bahwa motivator bekerja di daerah pedalaman adalah: dibesarkan di daerah pedalaman, pendidikan sebelumnya di daerah pedalaman, kurikulum pendidikan berbasis komunitas, pemaparan dini ke komunitas selama pendidikan dan lokasi pendidikan di daerah pedalaman. Sedangkan demotivatornya adalah: persepsi infrastruktur kurang, beban kerja tinggi, manajemen rumahsakit buruk dan keterpencilan.

Daftar Rujukan:

Budhathoki, S. S., Zwanikken, P. A., Pokharel, P. K., & Scherpbier, A. J. (2017). Factors influencing medical students’ motivation to practise in rural areas in low-income and middle-income countries: a systematic review. BMJ open7(2), e013501.

Career Ladders Project. Diunduh 13 Agustus 2017 dari: http://www.careerladdersproject.org/wp-content/ uploads/2013/02/Pathways_def_CLP.pdf

Pathways Harvard Medical Education. Diunduh 21 Augustus 2017 dari: https://hhms.harvard.edu/news/pathways-future-medicine dan https://meded.hms.harvard.edu/pathways.

File PPt untuk prsentasi di lokakarya 14 Okt 2017 di UKSW: Pendidikan Kedokteran Penjaluran

Kemaknaan Substantif dan Kemaknaan Statistik

Kemaknaan substantif (substantive significance, practical importance, scientific significance) berkaitan dengan hipotesis penelitian dan kemaknaan statistik berkaitan dengan hipotesis statistik. Hipotesis penelitian mengusulkan* “ada korelasi yang kuat antara intervensi/ pemaparan dan outcome pada populasi unit analisis”; atau, “ada selisih yang besar antara outcome dari kelompok intervensi/terpapar dan kelompok kontrol pada populasi unit analisis”. (Ingat PICO). Besar pengaruh**, atau Effect Size (ES), dari intervensi/pemaparan terhadap outcome dinyatakan dengan angka peringkas korelasi (r family, e.g.: Pearson’s Product Moment r, Spearman’s Rank r, R, RR, OR) atau angka peringkas selisih (d family, e.g.: d = selisih mean, d = selisih proporsi), yang distandardisasi maupun yang tidak distandardisasi (Walker, 2017). ES dianggap bermakna jika r atau d ≥ r atau d minimum yang ditetapkan sebelumnya. Menetapkan ES minimum dapat dengan patokan umum (e.g., Cohen’s rule of thumb) atau dengan pembanding empirik (empirical benchmark). (Hill et al., 2008)

ES sampel merupakan suatu statistik (= angka peringkas pada sampel) dan, seperti statistik-statistik yang lain, dapat digunakan untuk menginferensi parameter (angka peringkas pada populasi yang disampel***). Hipotesis statistik menduga* “dengan tingkat kepastian tertentu (biasanya 95% atau 99%) bahwa ES populasi yang disampel berada dalam interval tertentu dari distribusi sampling ES sampel”. Makin besar sampel makin sempit interval tersebut dan, dengan demikian, makin tinggi tingkat presisi ES sampel sebagai estimator ES populasi. Dengan rumus yang lazim digunakan interval kepastian (confidence interval) dapat dihitung jika besar sampel (sample size) diketahui dan sebaliknya.

Semua penelitian korelasi atau selisih memerlukan hipotesis penelitian, tetapi hanya penelitian yang dilakukan pada sampel memerlukan hipotesis statistik. (Taylor & Fideres, 1972) Pada skripsi, tesis atau disertasi hipotesis penelitian terletak di akhir Bab II (setelah telaah pustaka) dan hipotesis statistik terletak di Bab III (di sub-bab Rencangan & Metoda Pengolahan Data). Selain dua jenis kemaknaan tsb ada kemaknaan metodologis yang memerlukan  hipotesis-hipotesis rancangan & metoda penelitian yang dapat diletakkan di sub-bab yang bersangkutan (i.e., Pengumpulan Data, Pengolahan Data dan Penafsiran Data). (Lihat tulisan “Hipotesis Penelitian dan Hipotesis Rancangan Penelitian di blog ini: https://rossisanusi.wordpress.com/?s=hipotesis+rancangan)

Kemaknaan substantif juga dinamakan kepentingan praktis karena praktisi berkepentingan dengan intervensi yang berdayaguna atau pemaparan yang beresiko tinggi. Ia juga dinamakan kemaknaan ilmiah/teoretis karena akademisi berminat pada teori-teori alternatif (= mediator) yang dapat menjelaskan ES yang besar. Sebaiknya praktisi dan akademisi memperhatikan ES gabungan dari semua penelitian sebelumnya tentang hubungan intervensi/pemaparan dan outcome yang bersangkutan. ES gabungan ini, yang diperoleh melalui meta-analisis data agregat atau individual, dapat bermakna secara substantif dan statistik walaupun diantaranya ada ES individual yang tidak bermakna secara substantif dan/atau statistik. ES gabungan ini dapat diganggu bias publikasi jika penghasil atau pengguna penelitian empirik individual menyingkirkan atau mengabaikan makalah-makalah yang melaporkan ES yang tidak bermakna secara substantif dan/atau statistik.

 

Keterangan:

*) Hipothesis = suposisi, proposisi

**) Kata “pengaruh” sebenarnya menunjukkan hubungan kausal. Korelasi kuat atau selisih besar merupakan salah satu kriterion dari sejumlah kriteria yang harus dipenuhi untuk menunjukkan hubungan sebab-akibat. Saran untuk tindakan sebaiknya dibuat berdasarkan pembuktian hubungan kausal. (Lihat tulisan “Apakah penelitian experimental menunjukkan hubungan sebab-akibat?” di blog ini: https://rossisanusi.wordpress.com/?s=experimental)

***) Populasi yang disampel berkaitan dengan inferensi statistik. Populasi ini merupakan bagian dari populasi sasaran. Inferensi statistik ke populasi yang disampel dibuat berdasarkan tingkat dan interval kepastian, sedangkan generalisasi ke populasi sasaran dibuat berdasarkan validitas luar ES. Makin banyak variabel moderator (= situasi dan kondisi unit analisis yang tidak merupakan bagian dari intervensi/pemaparan) yang dikontrol untuk meningkatkan validitas dalam ES makin rendah validitas luarnya. (Lihat tulisan “Inferensi dan generalisasi” di blog ini: https://rossisanusi.wordpress.com/?s=generalisasi).

 

Pustaka

Cochrane Methods. Diunduh  Agustus 2017 dari http://methods.cochrane.org/ipdma/welcome-ipd-meta-analysis-methods-group.

Ferguson, C. J. (2009). An effect size primer: A guide for clinicians and researchers. Professional Psychology: Research and Practice40(5), 532.

Hill, C. J., Bloom, H. S., Black, A. R., & Lipsey, M. W. (2008). Empirical benchmarks for interpreting effect sizes in research. Child Development Perspectives2(3), 172-177.

McCloskey, D. N., & Ziliak, S. T. (2009). The unreasonable ineffectiveness of Fisherian “tests” in biology, and especially in medicine. Biological Theory4(1), 44-53.

Nickerson, testing: a review of an R. S. (2000). Null hypothesis significance old and continuing controversy. Psychological methods5(2), 241.

Rogers, J. L., Howard, K. I., & Vessey, J. T. (1993). Using significance tests to evaluate equivalence between two experimental groups. Psychological bulletin113(3), 553.

Taylor, K. W., & Frideres, J. (1972). Issues versus controversies: Substantive and statistical significance. American Sociological Review, 464-472.

Walker, I. Statistics for Psychology. Diunduh 30 Juli 2017 dari http://staff.bath.ac.uk/pssiw/stats2/page2/page14/page14.html

Ziliak, S. T., & McCloskey, D. N. (2008). The cult of statistical significance. Ann Arbor: University of Michigan Press27.

Penelitian Replikasi (2)

Kata “replikasi” tidak hanya berarti “mengulang” tetapi juga “menjawab” atau “menanggapi”. (http://www.etymonline.com/index.php?term=replication&allowed_in_frame=0). Jadi penelitian replikasi dapat diartikan sebagai penelitian yang menanggapi penelitian-penelitian sebelumnya yang berupaya menjawab masalah penelitian yang sama (i.e., mempertanyakan kekuatan hubungan, atau Effect Size, antara X dan Y) dengan tujuan memberikan bukti yang lebih valid tentang Effect Size (ES) hubungan X (prediktor, intervensi atau program) dan Y (kriterion, outcome atau hasil program). Hipotesis penelitian menyatakan bahwa ES ≥ ESmin dan kesimpulan penelitian menyatakan bahwa hipotesis penelitian didukung/tidak didukung oleh hasil penelitian. Kesimpulan penelitian dapat tidak valid jika kerangka konsep (R1) tidak valid, rancangan penelitian (R2) tidak kokoh dan/atau pelaksanaan penelitian (R3) tidak setia mengikuti metoda penelitian yang dirancang.

Ada replication continuum mulai dari penelitian dengan R3, R2 dan R1 yang sama (imitation, exact replication, pure replication),  penelitian dengan R1 dan R2 yang sama, penelitian dengan R1 dan R3 yang sama, sampai dengan penelitian dengan hanya R2 dan R3 yang sama. Jika penelitian-penelitian sebelumnya dilaksanakan dengan kurang taat metoda (low fidelity research implementation) peneliti berikut mempunyai peluang mereplikasi penelitian tentang hubungan X – Y yang sama dengan tujuan meningkatkan ketaatan mengikuti metoda penelitian yang telah diarahkan oleh rancangan penelitian yang kokoh (robust  research design). Makin lama jangka waktu penelitian, makin rumit penelitian dan makin rendah penerimaan subyek penelitian makin besar kemungkinan untuk menyimpang dari rancangan dan rencana semula. (Carroll, C., Patterson, M., Wood, S., Booth, A., Rick, J., & Balain, S. (2007). A conceptual framework for implementation fidelity. Implementation Science, 2(1), 1.)

Jika penelitian-penelitian sebelumnya menggunakan rancangan yang kurang kokoh peneliti berikut mempunyai peluang menanggapinya dengan Tujuan Penelitian yang menyatakan secara spesifik apa yang akan diperbaiki dalam hal pengumpulan data, pengolahan data dan/atau penafsiran data. Mutu pengumpulan data dapat ditingkatkan dengan memperbaiki validitas alat/cara pengumpulan data, memperbaiki reliabilitas penggunaan alat/cara pengumpulan data dan/atau memperbaiki validitas subyek atau unit pengamatannya. Mutu pengolahan data mungkin perlu ditingkatkan dengan penggunaan metoda-metoda statistika reduksi dan inferensi yang lebih sesuai dengan skala data dan asumsi/prasyarat metoda. Mutu validitas dalam dan validitas luar penafsiran ES ditingkatkan dengan mengendalikan, memanipulasi atau mengamati moderator spesifik dan non-spesifik.

Jika penelitian-penelitian sebelumnya menggunakan kerangka konsep yang kurang valid peneliti berikut dapat melakukan penelitian replikasi dengan kerangka konsep yang disempurnakan secara deduktif berdasarkan teori/pendapat ahli dan secara induktif berdasarkan hasil penelitian-penelitian sebelumnya. Ada banyak hal yang dapat diperbaiki tentang kerangka konsep: definisi operasional (DO) dari konstruk-konstruk X, Y, mediator (landasan teori) dan moderator (situasi dan kondisi unit analisis), jumlah dan DO dimensi-dimensi (atau faktor-faktor) dari masing-masing konstruk, serta jumlah dan DO variabel-variabel/item-item dari masing-masing dimensi.

Penelitian imitasi, atau replikasi murni, diperlukan dalam rangka memenuhi kriterion konsistensi hubungan kausasi X dan Y. ES yang bermakna (ES ≥ ESmin) dan valid (tidak bias, tidak kebetulan dan tidak rancu) dan penelitian-penelitian replikasi yang secara konsisten menghasilkan ES bermakna dan valid merupakan kriteria penting pembuktian hubungan sebab-akibat antara X dan Y. Bahkan penelitian replikasi di tempat yang sama, dengan unit analisis dan unit pengamatan yang sama, pada waktu yang berbeda diperlukan (i.e., karena validitas a posteriori dapat berubah).

Untuk menghindari  “plagiarisme gagasan”  peneliti sebaiknya selalu menyebutkan sumber rujukan dan untuk menghindari “plagiarisme tulisan” peneliti sebaiknya selalu menunjukkan tanda kutip dan menyebutkan sumber rujukan. Ijin mengutip dari penerbit sumber rujukan diperlukan jika penerbit mempunyai hak kutip (copyright). Plagiarisme-diri (self-palgiarism) terjadi ketika peneliti menerbit ulang seluruh atau sebagian dari karyanya dan mengakunya sebagai karya baru. (https://cdn2.hubspot.net/hub/92785/file-5414624-pdf/media/ith-selfplagiarism-whitepaper.pdf).

Penelitian Replikasi (1) https://rossisanusi.wordpress.com/2009/06/14/penelitan-replikasi/

Penelitian Replikasi