Uji Coba AI Scribe di RS: 5 Metrik Wajib Sebelum Diperluas ke Semua Poliklinik

Uji coba AI scribe hampir selalu terasa berhasil. Dokter yang ikut pilot memuji, tim IT melaporkan sistem berjalan, dan rapat evaluasi berakhir dengan kesan positif — tetapi tanpa satu pun angka yang bisa dipertahankan di depan direksi. Artikel ini merinci lima metrik terukur yang harus ada di meja Wadir Pelayanan sebelum menandatangani perluasan ke seluruh poliklinik, lengkap dengan rentang angka dari studi implementasi 2025–2026 sebagai pembanding.

Kesan subjektif dari pilot bukan bukti. Tinjauan sistematis yang dimuat Applied Clinical Informatics atas sebelas studi implementasi AI scribe justru menyimpulkan bahwa celah terbesar dalam literatur adalah evaluasinya sendiri: sebagian besar studi tidak mengukur secara utuh, dan pengalaman pasien hanya dinilai di tiga dari sebelas studi. Rapid review di JMIR AI menemukan hal serupa — dari 1.450 studi yang disaring, hanya enam memenuhi kriteria implementasi nyata, dan seluruhnya dinilai belum memadai bila diukur dengan kerangka evaluasi baku.

Metrik 1 — Tingkat Pemakaian Nyata, Bukan Jumlah Lisensi

Ukur berapa persen kunjungan yang benar-benar didokumentasikan dengan bantuan AI scribe, bukan berapa dokter yang punya akses. Ini metrik paling jujur karena tidak bisa dipoles: dokter yang merasa alat itu memperlambat kerjanya akan berhenti memakainya tanpa memberi tahu siapa pun. Angka pemakaian yang rendah setelah dua bulan adalah sinyal alur kerja, bukan sinyal pelatihan.

Rentang pembandingnya lebar. Pada studi pilot di sebuah pusat kanker rujukan, teknologi ambient dipakai pada 620 dari 4.449 kunjungan rawat jalan tatap muka — sekitar 13,9% — meski 25 dari 31 dokter pernah memakainya minimal sekali. Sebaliknya, evaluasi berskala besar pada jaringan layanan rawat jalan di Spanyol mencatat adopsi naik dari 2,7% menjadi sekitar 31% dari seluruh kunjungan sepanjang 16 bulan, dengan total lebih dari 2,33 juta kunjungan berbantuan.

Dua angka itu mengandung pelajaran yang sama: adopsi tumbuh lambat dan tidak merata. Menetapkan target pemakaian 80% pada bulan kedua hanya akan membuat pilot terlihat gagal padahal berjalan normal. Yang perlu dilihat adalah arah kurvanya — naik, datar, atau turun setelah minggu keempat.

Metrik 2 — Akurasi Catatan dan Jenis Kesalahannya

Jangan mengukur akurasi sebagai satu angka tunggal. Yang menentukan keselamatan pasien adalah komposisi kesalahannya: informasi yang hilang, informasi yang dikarang, informasi yang keliru dimasukkan, dan bias. Keempatnya memerlukan penanganan berbeda, dan hanya satu di antaranya yang bisa diperbaiki dengan pelatihan dokter.

Evaluasi prospektif di UC Davis memberi patokan yang bisa dipakai. Dari 356 catatan yang ditinjau dokter — sampel dari 7.545 catatan yang dihasilkan 31 dokter lintas spesialisasi selama dua bulan — omisi adalah kesalahan tersering (18%), diikuti halusinasi (11,5%), informasi yang keliru dimasukkan (9,3%), dan bias yang jarang muncul (1,1%). Sebanyak 94,7% catatan bebas dari kesalahan signifikan, tetapi 5,3% memuat kesalahan yang dinilai berpotensi menimbulkan risiko serius bila tidak dikoreksi.

Pola omisi sebagai kesalahan dominan juga muncul di lingkungan rawat intensif: studi kelayakan pada ronde ICU menemukan kesalahan omisi rata-rata 15,5%, jauh di atas kesalahan komisi yang rata-rata 2,6%. Konsekuensi praktisnya penting untuk RS: dokter yang mereview draft cenderung menangkap kalimat yang salah, tetapi jauh lebih sulit menyadari kalimat yang tidak pernah ada.

Karena itu, sampel audit catatan harus dibaca berdampingan dengan sumbernya, bukan dibaca sendirian. Struktur audit ini sama dengan yang sudah dipakai tim rekam medis untuk menilai hambatan adopsi AI scribe di kalangan DPJP, hanya berbeda objeknya.

Metrik 3 — Beban Edit Dokter dan Sebarannya

Ukur persentase kata yang diubah dokter pada draft, lalu laporkan sebarannya — bukan rata-ratanya. Rata-rata menyembunyikan justru kelompok yang paling menentukan keberhasilan perluasan: dokter yang menulis ulang hampir semuanya.

Data UC Davis menunjukkan median 9,0% kata yang diubah dengan rentang interkuartil 2,5%–21,9%, dan 14,9% catatan sama sekali tidak disunting. Namun praktik antar dokter sangat bervariasi: rata-rata proporsi kata yang diubah berkisar dari 1,9% sampai 69,3%. Seorang dokter yang mengubah dua pertiga isi draft praktis tidak mendapatkan penghematan waktu apa pun; ia hanya memindahkan pekerjaan mengetik menjadi pekerjaan mengoreksi.

Bagi Wadir Pelayanan, sebaran ini adalah peta prioritas. Bila kelompok dengan beban edit tinggi terkonsentrasi pada satu spesialisasi, masalahnya ada pada kecocokan template dan kosakata — bisa diperbaiki. Bila tersebar acak di semua poli, masalahnya ada pada kualitas keluaran secara umum, dan perluasan sebaiknya ditunda.

Metrik 4 — Efek Waktu yang Diukur Objektif

Waktu yang dilaporkan sendiri oleh dokter hampir selalu membaik; waktu yang diukur sistem sering tidak. Selisih inilah yang membuat banyak keputusan perluasan diambil di atas dasar yang keliru. Yang layak dipakai adalah data dari sistem: durasi konsultasi, jeda antara kunjungan selesai dan catatan ditutup, serta proporsi catatan yang masih terbuka di akhir hari.

Rapid review JMIR AI merangkum polanya dengan jelas: waktu dokumentasi yang dilaporkan sendiri menurun, tetapi panjang catatan justru bertambah, sementara produktivitas yang diukur lewat metrik penagihan tidak berubah. Pada evaluasi di Spanyol, durasi konsultasi hanya berbeda tipis antara yang berbantuan dan tidak — 15,01 menit berbanding 14,65 menit — dan cenderung menyatu seiring alur kerja mematang.

Artinya, efisiensi AI scribe lebih sering muncul sebagai pergeseran beban kerja ketimbang pemangkasan waktu total. Itu tetap bernilai — catatan yang selesai sebelum dokter pulang mengurangi tunggakan dokumentasi dan mempercepat kelengkapan berkas — tetapi harus dijanjikan sebagai itu, bukan sebagai pengurangan jam kerja.

Metrik 5 — Pengalaman Klinisi dan Pasien dengan Instrumen Baku

Ukur pengalaman klinisi memakai instrumen standar yang sama sebelum dan sesudah uji coba, dan sertakan pengalaman pasien. Survei bebas yang disebar setelah pilot hampir selalu menghasilkan jawaban positif karena yang menjawab adalah mereka yang masih memakai alatnya.

Bukti yang tersedia bersifat campuran dan perlu dibaca apa adanya. Tinjauan sistematis mencatat tujuh dari sepuluh studi melaporkan efek positif pada kesejahteraan klinisi. Namun rapid review menemukan skor burnout dengan instrumen baku tidak berubah, meski keterlibatan dokter membaik. Evaluasi di Spanyol menemukan perbaikan pada lima dari tujuh domain pengalaman profesional dengan besaran efek kecil sampai sedang (g = 0,25–0,41). Pada pilot di pusat onkologi, 17 dari 18 responden memakai draft yang dihasilkan setidaknya kadang-kadang, tetapi hanya 11 dari 18 (61%) menyatakan keinginan kuat untuk terus mendapat akses.

Kesenjangan antara "memakai" dan "ingin terus memakai" itulah sinyal yang paling berguna sebelum perluasan — dan sisi pasien nyaris tidak pernah diukur, padahal perekaman percakapan konsultasi menyentuh persetujuan pasien secara langsung.

Dasar Hukum

• Permenkes 24/2022 tentang Rekam Medis — mewajibkan pencatatan rekam medis elektronik diverifikasi dan diautentikasi oleh tenaga medis yang memberikan pelayanan. Konsekuensinya untuk uji coba: keluaran AI scribe berstatus draft, dan tanggung jawab isi rekam medis final tetap melekat pada DPJP, berapa pun akurasi sistemnya.
• Standar Akreditasi Rumah Sakit (STARKES), KMK HK.01.07/MENKES/1596/2024 — Bab MRMIK mengatur pengelolaan rekam medis dan informasi kesehatan, termasuk kelengkapan serta keterbacaan dokumentasi klinis. Metrik akurasi dan beban edit pada uji coba sebaiknya diarsipkan sebagai bukti mutu yang bisa ditunjukkan saat penilaian, bukan sekadar catatan internal proyek.
• Permenkes 6/2026 tentang Rumah Sakit — regulasi induk penyelenggaraan RS yang berlaku sejak Juni 2026 dan mencabut sejumlah peraturan lama, termasuk yang mengatur penyelenggaraan rekam medis dan sistem informasi rumah sakit. Setiap perluasan alat dokumentasi perlu dipastikan konsisten dengan kewajiban tata kelola data yang berlaku di bawahnya.

Menyusun Kriteria Lanjut atau Berhenti Sebelum Uji Coba Dimulai

Tulis ambang keputusan sebelum data pertama masuk. Uji coba tanpa kriteria berhenti tertulis akan selalu berakhir dengan rekomendasi lanjut, karena tidak ada angka yang bisa menyatakan sebaliknya. Empat hal berikut cukup untuk membentuk keputusan yang bisa dipertanggungjawabkan.

Pertama, tetapkan angka dasar sebelum uji coba: berapa lama catatan biasanya ditutup, berapa persen kelengkapan dokumentasi saat ini, dan bagaimana skor pengalaman klinisi hari ini. Tanpa data awal, semua perbandingan sesudahnya bersifat anekdot.

Kedua, pilih minimal dua poli dengan karakter berbeda — satu dengan konsultasi panjang dan naratif, satu dengan kunjungan singkat berulang. Perbedaan pemakaian antara kunjungan baru dan kunjungan kontrol pada studi onkologi (21,1% berbanding 12,2%) menunjukkan hasil satu poli tidak bisa digeneralisasi.

Ketiga, tetapkan satu kriteria berhenti absolut yang tidak bisa dinegosiasikan: kesalahan berkategori berisiko serius yang lolos sampai rekam medis final memicu peninjauan menyeluruh, bukan penyesuaian target.

Keempat, sepakati siapa yang membaca sampel audit dan seberapa sering. Pada studi UC Davis, hanya 4,7% catatan yang ditinjau — proporsi kecil yang tetap memberi gambaran andal karena disampel secara sistematis dan dinilai dengan instrumen yang seragam.

Untuk RS yang sedang menyiapkan uji coba AI scribe, kelima metrik ini bisa dipasang sejak hari pertama tanpa tambahan alat ukur khusus: empat berasal dari log sistem, satu dari survei terstruktur. Saat modul scribe MedMinutes live di lingkungan RS, kerangka pengukuran yang sama yang kami sarankan dipakai — karena angka yang membuat direksi berani memperluas layanan adalah angka yang dikumpulkan sejak sebelum uji coba dimulai.

Sumber

• Hassan H, dkk. Clinical Implementation of Artificial Intelligence Scribes in Health Care: A Systematic Review. Applied Clinical Informatics. 2025;16(4):1121–1135. DOI 10.1055/a-2597-2017 (via PubMed)
• Taylor SL, dkk. Quality of Clinical Notes Created by Ambient Listening Generative AI: Pragmatic Prospective Pilot Study. JMIR Medical Informatics. 2026;14:e86474. DOI 10.2196/86474 (via PubMed)
• Kanaparthy NS, dkk. Real-World Evidence Synthesis of Digital Scribes Using Ambient Listening and Generative Artificial Intelligence for Clinician Documentation Workflows: Rapid Review. JMIR AI. 2025;4:e76743. DOI 10.2196/76743 (via PubMed)
• Alcázar-Peral JM, dkk. Real-world evaluation of an ambient AI scribe in Spanish outpatient care after 2.3 million uses. Frontiers in Digital Health. 2026;8:1874919. DOI 10.3389/fdgth.2026.1874919 (via PubMed)
• Baldwin-Medsker AE, dkk. Ambient Artificial Intelligence Scribes in Oncology: Adoption, Feasibility, Acceptability, and Appropriateness. Applied Clinical Informatics. 2025;16(4):995–1004. DOI 10.1055/a-2662-0740 (via PubMed)
• Verma R, dkk. Feasibility of Tailoring Artificial Intelligence-Assisted Ambient Scribes for Intensive Care Unit Rounds. JMIR Medical Informatics. 2026;14:e85015. DOI 10.2196/85015 (via PubMed)
• Peraturan Menteri Kesehatan No. 24 Tahun 2022 tentang Rekam Medis; Keputusan Menteri Kesehatan HK.01.07/MENKES/1596/2024 tentang Standar Akreditasi Rumah Sakit; Peraturan Menteri Kesehatan No. 6 Tahun 2026 tentang Rumah Sakit.

FAQ

Berapa lama uji coba AI scribe sebaiknya berjalan sebelum diputuskan?

Cukup lama untuk melewati fase kebaruan dan mengumpulkan volume catatan yang bisa disampel. Studi pilot yang dipublikasikan berjalan dua hingga empat bulan; evaluasi berskala besar di Spanyol baru menunjukkan pola pematangan alur kerja setelah 16 bulan pemakaian.

Untuk RS, dua sampai tiga bulan pada dua atau tiga poli dengan karakter berbeda umumnya cukup — asalkan setiap metrik sudah punya angka dasar sebelum uji coba dimulai. Uji coba yang lebih pendek dari itu biasanya hanya menangkap antusiasme awal.

Apakah AI scribe menurunkan burnout dokter?

Belum terbukti konsisten. Rapid review di JMIR AI menemukan skor burnout yang diukur dengan instrumen standar tidak berubah, meskipun keterlibatan dokter membaik dan waktu dokumentasi yang dilaporkan sendiri menurun. Evaluasi di Spanyol menemukan perbaikan pada lima dari tujuh domain pengalaman profesional dengan besaran efek kecil sampai sedang.

Kesimpulan praktisnya: kepuasan kerja bisa naik tanpa burnout ikut turun. Keduanya harus diukur terpisah, dan janji ke DPJP sebaiknya dibatasi pada yang memang terbukti.

Seberapa sering AI scribe menghasilkan catatan yang salah?

Pada evaluasi 356 catatan di UC Davis, kesalahan tersering adalah omisi (18%), diikuti halusinasi (11,5%) dan informasi yang keliru dimasukkan (9,3%). Sebanyak 94,7% catatan bebas dari kesalahan signifikan, tetapi 5,3% memuat kesalahan yang dinilai berisiko serius bila tidak dikoreksi.

Angka terakhir itulah alasan verifikasi DPJP tetap wajib. Permenkes 24/2022 menempatkan autentikasi oleh tenaga medis sebagai syarat sahnya rekam medis elektronik — status draft tidak berpindah menjadi rekam medis hanya karena akurasinya tinggi.

Apa kriteria berhenti yang layak dipakai Wadir Pelayanan?

Kriteria berhenti sebaiknya ditulis sebelum uji coba dimulai dan bersifat absolut: setiap kesalahan berkategori berisiko serius yang lolos ke rekam medis final memicu peninjauan ulang, dan tingkat pemakaian nyata di bawah ambang yang disepakati menandakan alur kerja belum cocok.

Tanpa ambang tertulis di awal, hasil pilot akan selalu terbaca positif — karena tidak ada angka pembanding yang bisa menyatakan sebaliknya.

Apakah hasil uji coba di satu poli bisa digeneralisasi ke poli lain?

Tidak. Data implementasi menunjukkan pemakaian bervariasi menurut jenis kunjungan dan spesialisasi — pada satu pusat onkologi, teknologi dipakai pada 21,1% kunjungan baru tetapi hanya 12,2% kunjungan kontrol.

Poli dengan konsultasi panjang dan naratif berperilaku berbeda dari poli dengan kunjungan singkat berulang. Karena itu uji coba perlu mencakup minimal dua profil poli sebelum keputusan perluasan diambil.