Sebelum RS Adopsi CDSS: 5 Kriteria Validasi Klinis yang Wajib Ditanyakan ke Vendor

Rumah sakit sebaiknya menilai CDSS dari bukti validasinya di luar data pengembang, bukan dari angka akurasi yang disodorkan saat presentasi. Lima kriteria menentukan kelayakan itu: populasi uji, validasi eksternal, kalibrasi, penanganan kasus salah, dan integrasi alur kerja. Kelimanya bisa diminta sebagai dokumen sebelum kontrak pengadaan ditandatangani.

Kriteria ini bukan preferensi editorial. Tinjauan sistematis terhadap 99 studi kecerdasan buatan bidang kesehatan di Asia Tenggara yang terbit di International Journal of Medical Informatics pada Juni 2026 menemukan bahwa validasi pada bukti regional hampir seluruhnya bersifat internal, dan tidak satu pun studi melaporkan validasi eksternal atau independen. Penelitian tersebut juga mencatat tidak ada studi yang memenuhi kriteria kesiapan klinis tinggi. Bukti terkonsentrasi di Indonesia, Malaysia, dan Thailand — artinya temuan ini berbicara langsung tentang sistem yang ditawarkan ke rumah sakit di kawasan ini.

Mengapa Akurasi Internal Bukan Bukti Kesiapan Klinis

Akurasi internal mengukur seberapa baik model memilah kasus pada data yang berasal dari sumber yang sama dengan data pelatihannya. Angka itu nyaris selalu tinggi karena model diuji di lingkungan yang sudah dikenalnya. Yang belum dijawab: apakah performa bertahan ketika pasien, pola pencatatan, dan bauran kasus berbeda.

Selisih itu terukur. Sebuah alat bantu keputusan untuk menentukan frekuensi fisioterapi rawat inap dikembangkan pada 205.659 episode rawat inap, lalu diuji pada 102.311 admisi di lingkungan berbeda. Kemampuan memilah kasus turun dari 0,874 pada validasi internal menjadi 0,851 pada validasi eksternal — penurunan yang kecil, tetapi baru terlihat karena pengujian eksternal benar-benar dilakukan dan dilaporkan.

Pada model yang lebih matang pun, hasilnya tidak seragam antar-lokasi. Validasi lanjutan sistem prediksi kegagalan cangkok ginjal iBox pada 12.683 pasien di 21 pusat akademik di Eropa, Amerika Utara, dan Amerika Selatan menunjukkan kemampuan memilah yang bertahan baik (indeks C 0,79–0,87), tetapi kalibrasinya memadai di sebagian kohort saja, dengan kecenderungan menaksir risiko terlalu tinggi atau terlalu rendah di kohort lain. Kesimpulan praktisnya: performa satu angka tidak berpindah utuh dari satu rumah sakit ke rumah sakit lain.

Kriteria 1: Populasi Uji — Siapa Pasien di Balik Angka Akurasi

Minta vendor menyebutkan jumlah kasus, rentang waktu, jenis fasilitas, dan bauran diagnosis pada data uji. Tanpa itu, angka akurasi tidak bisa dibandingkan dengan populasi rumah sakit Anda. Model yang diuji pada rumah sakit rujukan nasional belum tentu berlaku di rumah sakit dengan bauran kasus yang lebih ringan.

Yang perlu dilihat pada dokumen validasi adalah proporsi kejadian yang diprediksi, bukan sekadar ukuran sampel. Studi validasi eksternal prospektif untuk prediksi delirium pascaoperasi, misalnya, secara terbuka menyebutkan 173 peserta dengan 50 di antaranya mengalami delirium — pembaca bisa langsung menilai apakah proporsi itu menyerupai populasinya sendiri. Dokumen yang hanya menuliskan "akurasi tinggi pada ribuan data" tidak memberi dasar penilaian apa pun.

Praktik yang aman: minta profil populasi uji sebagai lampiran teknis kontrak, bukan sebagai klaim lisan dalam presentasi.

Kriteria 2: Validasi Eksternal — Apakah Model Diuji di Luar Data Pengembang

Validasi eksternal berarti model diuji pada data dari rumah sakit, populasi, atau periode yang tidak dipakai saat pengembangan. Inilah kriteria yang paling sering tidak terpenuhi. Tinjauan 99 studi kesehatan di Asia Tenggara tadi tidak menemukan satu pun studi dengan validasi eksternal atau independen — seluruh bukti berhenti pada tahap pengembangan model dan pengujian internal.

Ketiadaan validasi eksternal juga kerap diakui sendiri oleh penulis model. Sebuah model prediksi ketahanan hidup berbasis random survival forest yang mengungguli sistem penentuan stadium konvensional (AUC 0,746 berbanding 0,663 untuk prediksi lima tahun) tetap mencantumkan ketiadaan validasi eksternal sebagai keterbatasan utamanya. Keterbukaan seperti ini justru pertanda dokumentasi yang sehat.

Jika vendor belum memiliki validasi eksternal, adopsi tetap mungkin — tetapi statusnya adalah uji terbatas, bukan sistem produksi, dan hal itu harus tertulis di kontrak.

Kriteria 3: Kalibrasi — Apakah Angka Risiko Bisa Dipercaya Nilainya

Kalibrasi mengukur apakah angka risiko yang ditampilkan sesuai dengan kejadian sebenarnya. Model bisa benar dalam mengurutkan pasien mana yang lebih berisiko, namun keliru menyebut besaran risikonya. Untuk CDSS yang menampilkan persentase ke DPJP, kesalahan besaran inilah yang berbahaya, karena ambang tindakan ditetapkan dari angka itu.

Tinjauan Asia Tenggara mencatat kalibrasi termasuk hal yang jarang dilaporkan, bersama ketidakpastian, analisis kesalahan, penilaian keadilan atau bias, ketersediaan kode dan data, serta konteks implementasi. Padahal pelaporannya sederhana: calibration slope 0,908 pada alat bantu fisioterapi di atas, atau Brier score 0,14 pada model delirium pascaoperasi, cukup untuk menilai apakah besaran risiko layak dipercaya.

Yang diminta ke vendor: nilai kalibrasi pada data uji eksternal, bukan hanya kurva pada data pengembangan.

Kriteria 4: Penanganan Kasus Salah — Apa yang Terjadi Saat Model Keliru

Setiap model akan salah pada sebagian kasus. Yang membedakan sistem layak pakai adalah adanya rancangan untuk kesalahan itu: analisis pola kasus yang keliru, mekanisme pelaporan dari klinisi, dan jalur koreksi model. Tinjauan regional menempatkan analisis kesalahan sebagai salah satu komponen yang paling jarang dilaporkan.

Bagi rumah sakit, hal ini menyentuh keselamatan pasien sekaligus dokumentasi. Keluaran CDSS yang memengaruhi keputusan klinis perlu tercatat dalam jejak audit rekam medis elektronik, sehingga bila kemudian ditemukan pola kesalahan, kasus yang terdampak dapat ditelusuri kembali. Tanpa jejak itu, evaluasi pascaimplementasi tidak mungkin dilakukan.

Tiga hal yang layak masuk kontrak: format laporan kesalahan, tenggat respons vendor, dan kewajiban memberi tahu rumah sakit bila model diperbarui.

Kriteria 5: Integrasi Alur Kerja — Siapa yang Menindaklanjuti Rekomendasi

Kriteria terakhir bukan soal model, melainkan soal organisasi. Rekomendasi yang tidak punya penanggung jawab tindak lanjut akan berakhir sebagai notifikasi yang diabaikan. Tinjauan Asia Tenggara secara khusus menyebut konteks implementasi sebagai aspek yang jarang dilaporkan, dan merekomendasikan evaluasi yang dikaitkan dengan alur layanan, bukan sekadar performa model.

Sebelum go-live, tetapkan di unit mana rekomendasi muncul, pada momen apa dalam alur kerja, siapa yang wajib menanggapi, dan bagaimana tanggapan itu tercatat. Rumah sakit yang sudah menjalankan pemantauan kelelahan notifikasi klinis punya keuntungan di sini, karena kerangka pengukurannya sudah tersedia.

Dasar Hukum

• Permenkes 24/2022 tentang Rekam Medis — mewajibkan fasilitas pelayanan kesehatan menyelenggarakan rekam medis dalam bentuk elektronik, termasuk pemenuhan aspek keamanan dan jejak audit atas data yang tersimpan. Keluaran CDSS yang memengaruhi keputusan klinis melekat pada kewajiban dokumentasi ini.
• UU 17/2023 tentang Kesehatan — menjadi payung kewajiban interoperabilitas dan tata kelola data kesehatan nasional, yang menentukan bagaimana sistem penunjang keputusan bertukar data dengan ekosistem kesehatan.
• Permenkes 6/2026 tentang Rumah Sakit — regulasi induk penyelenggaraan rumah sakit yang berlaku sejak 12 Juni 2026 dan mencabut 21 peraturan sebelumnya, termasuk pengaturan lama tentang sistem informasi manajemen rumah sakit.

Pemetaan kewajiban regulasi digital yang lebih lengkap dibahas terpisah dalam peta kepatuhan regulasi digital health untuk rumah sakit.

Cara Memakai Lima Kriteria Ini di Proses Pengadaan

Ubah kelima kriteria menjadi lampiran dokumen pengadaan, bukan bahan diskusi lisan. Vendor diminta menyerahkan satu berkas berisi profil populasi uji, hasil validasi eksternal, nilai kalibrasi, prosedur penanganan kasus salah, dan rancangan integrasi alur kerja. Berkas yang tidak lengkap adalah informasi yang berguna.

Urutan penilaian yang praktis: periksa dulu keberadaan validasi eksternal, karena kriteria ini yang paling menentukan dan paling sering kosong. Jika ada, lanjutkan ke kalibrasi pada data eksternal tersebut. Jika tidak ada, alihkan pembahasan dari harga ke lingkup uji terbatas — unit mana, berapa lama, indikator apa, dan pada kondisi apa sistem dihentikan.

Tim yang perlu dilibatkan cukup tiga: komite medik untuk menilai kesesuaian klinis, penanggung jawab rekam medis untuk memastikan keluaran tercatat, dan tim mutu untuk menetapkan indikator evaluasi. Keputusan akhir tetap berada di direksi, tetapi dengan dasar dokumen yang bisa diuji ulang.

Satu hal yang perlu dijaga sejak awal: kelima kriteria ini menilai kesiapan sistem, bukan menggantikan penilaian klinis. Keputusan tetap berada pada DPJP, dan CDSS berkedudukan sebagai alat bantu.

Sumber

• Hidayat EY, Muda AK. From internal accuracy to clinical readiness: a systematic review of artificial intelligence-based mental health studies in Southeast Asia. International Journal of Medical Informatics, 22 Juni 2026. DOI 10.1016/j.ijmedinf.2026.106558 (via PubMed)
• Raynaud M, dkk. Qualified prediction system for allograft failure in real world settings: extended validation study. BMJ Medicine, 11 Mei 2026. DOI 10.1136/bmjmed-2025-002088 (via PubMed)
• Lapin B, dkk. Development and Validation of PT-PENCIL: The Physical Therapy Frequency Clinical Decision Support Tool to Increase Hospital Discharge to Home. Physical Therapy, 5 Agustus 2025. DOI 10.1093/ptj/pzaf093 (via PubMed)
• Kocar TD, dkk. SURGE-ahead postoperative delirium prediction: external validation and open-source library. European Geriatric Medicine, 10 Maret 2025. DOI 10.1007/s41999-025-01180-5 (via PubMed)
• Zhang Z, dkk. Machine learning prediction of overall survival in patients with cT1b renal cell carcinoma after surgical resection using the SEER database. Scientific Reports, 3 November 2025. DOI 10.1038/s41598-025-22342-2 (via PubMed)
• Peraturan Menteri Kesehatan Nomor 24 Tahun 2022 tentang Rekam Medis — Kementerian Kesehatan RI
• Undang-Undang Nomor 17 Tahun 2023 tentang Kesehatan — Sekretariat Negara RI
• Peraturan Menteri Kesehatan Nomor 6 Tahun 2026 tentang Rumah Sakit — Kementerian Kesehatan RI

FAQ

Apa beda validasi internal dan validasi eksternal pada CDSS?

Validasi internal menguji model pada data yang berasal dari sumber yang sama dengan data pengembangan. Validasi eksternal menguji model pada data dari rumah sakit, populasi, atau periode yang berbeda.

Hanya validasi eksternal yang menunjukkan bahwa performa bertahan di luar lingkungan asal model. Inilah sebabnya tinjauan 99 studi kesehatan di Asia Tenggara menilai bukti regional belum mencapai kesiapan klinis: seluruhnya berhenti pada pengujian internal.

Apakah nilai akurasi yang tinggi cukup untuk memutuskan pengadaan CDSS?

Tidak. Akurasi atau AUC yang tinggi hanya menggambarkan kemampuan model memilah kasus pada data ujinya sendiri. Tanpa kalibrasi yang dilaporkan, angka risiko yang ditampilkan ke DPJP bisa menyimpang meskipun peringkat pasiennya benar.

Validasi lanjutan sistem iBox memperlihatkan hal ini: kemampuan memilah bertahan di semua kohort, tetapi kalibrasi hanya memadai di sebagian kohort validasi eksternal.

Bagaimana jika vendor belum punya validasi eksternal sama sekali?

Adopsi masih mungkin, tetapi statusnya harus diperlakukan sebagai uji terbatas, bukan sistem produksi. Rumah sakit menetapkan lingkup unit yang sempit, periode evaluasi, indikator keberhasilan, dan mekanisme penghentian di dalam kontrak sebelum sistem dipakai luas.

Yang perlu dihindari adalah menempatkan sistem tanpa validasi eksternal langsung pada alur kerja klinis rutin di seluruh unit.

Siapa yang bertanggung jawab jika rekomendasi CDSS keliru?

Keputusan klinis tetap berada pada DPJP, dan CDSS berkedudukan sebagai alat bantu. Karena itu kontrak perlu menegaskan bahwa rekomendasi bersifat menunjang, mencatat setiap keluaran sistem dalam jejak audit rekam medis, dan mengatur alur pelaporan ketika keluaran dinilai membahayakan.

Rancangan penanganan kasus salah — analisis pola kekeliruan, tenggat respons vendor, dan kewajiban memberi tahu saat model diperbarui — sebaiknya sudah disepakati sebelum go-live, bukan disusun setelah insiden pertama.