WA: 0812 8595 8481
View : 113 kali.
Home >
Opinion
Kategori: Teknologi & Pendidikan
Selasa, 21 Oktober 2025
a. Latar Belakang dan Pembahasan Utama
Latar Belakang yang dia tulis di artikelnya:
- Penilaian kualitas riset (research evaluation) merupakan kegiatan penting dalam sistem akademik contoh: seleksi, promosi, pendanaan. Artikel menyebut bahwa untuk contoh saja di UK REF 2021, puluhan ribu output dievaluasi oleh ratusan ahli.
- Karena evaluasi manual memakan waktu dan biaya, maka telah muncul penggunaan indikator kuantitatif seperti bibliometrik (misalnya jumlah sitasi, impact factor jurnal) sebagai proxy kualitas riset.
- Dengan hadirnya teknologi AI generatif berbasis model bahasa besar (LLMs = Large Language Models, seperti ChatGPT), muncul potensi bahwa evaluasi riset bisa dibantu atau bahkan diganti oleh AI. Artikel ini menganggap bahwa LLM sekarang mengancam peran bibliometrik sebagai indikator utama kualitas riset.
- Maka, artikel ini menyajikan "tinjauan opini” (opinion paper) terhadap bagaimana LLM-berbasis AI dapat digunakan dalam evaluasi kualitas riset mencakup kelebihan, kekurangan, dan terutama efek sistemik (bagaimana sistem riset bisa berubah jika indikator berbasis AI diterapkan) .
Pembahasan Utama:
Definisi dan tantangan dalam penilaian kualitas riset: "kualitas” riset tidak universal dan tergantung konteks; human peer review punya keterbatasan (bias, subjektivitas).
Peran bibliometrik: kelebihan/kelemahan misalnya sitasi bisa mewakili pengaruh tapi bukan ukuran lengkap kualitas; bibliometrik punya keterlambatan, kurang inklusif untuk beberapa bidang.
Kemampuan LLM/AI dalam konteks evaluasi riset: menyediakan "skor kualitas” dari teks artikel (judul/abstrak/isi) tanpa menunggu sitasi. Studi awal menunjukkan korelasi positif dengan penilaian manusia.
Kelebihan teknis dari LLM dibanding bibliometrik: cakupan lebih luas (lebih banyak bidang & artikel baru), potensi mencakup dimensi kualitas yang lebih beragam (orisinilitas, keketatan metodologi, dampak) menurut teori.
Kekurangan / risiko: bias yang belum diketahui, kurang transparan (LLM "kotak hitam”), potensi manipulasi/gaming (penulis atau jurnal bisa menyesuaikan agar skor AI tinggi), perubahan perilaku riset yang mungkin negatif.
Efek sistemik: perubahan bagaimana penulis, editor, dan jurnal akan berperilaku jika evaluasi berbasis AI menjadi norma misalnya, lebih fokus pada abstrak "menjual” penelitian agar skor tinggi, atau jurnal memilih artikel yang "menyenangkan AI” bukan necessarily berkualitas tinggi.
b. Metode penelitian yang dilakukan
Karena ini adalah opinion paper (artikel opini) bukan studi empiris eksperimental besar maka metodologinya lebih berupa tinjauan literatur + interpretasi + pengamatan terhadap bukti awal, bukan riset lapangan utuh dengan data primer.
Berikut rincian:
- Penulis mereview bukti-tertentu dari studi kecil dan menengah yang menggunakan LLM untuk memperkirakan kualitas riset (termasuk korelasi antara skor AI dengan skor manusia/peer review). Dengan demikian, ia mengumpulkan dan menganalisis temuan‐temuan yang ada dalam literatur hingga saat penulisan.
- Penulis menilai kelebihan dan kekurangan teknis LLM untuk tugas evaluasi riset (analisis konseptual).
- Penulis juga mempertimbangkan aspek sistemik (behavioral/systemic) dan etis: bagaimana sistem riset akan berubah jika indikator AI diadopsi.
- Karena bukan riset kuantitatif primer, tidak ada "pengumpulan data baru” dalam artikel utama ini lebih ke argumentasi berbasis literatur dan bukti awal.
Jadi, metode: tinjauan kritis + interpretasi konseptual + integrasi bukti empiris awal—bukan eksperimen penuh.
c. Kesimpulan Peneliti
- Dari perspektif teknis, LLM-berbasis AI memiliki potensi nyata untuk melengkapi atau bahkan melampaui bibliometrik dalam beberapa aspek (akurasi korelasi dengan penilaian manusia lebih tinggi dalam beberapa studi, cakupan bidang lebih luas, cocok untuk artikel baru).
- Namun, LLM tidak berarti "mengukur” kualitas riset secara definitif baik bibliometrik maupun LLM hanya indikator/proxy.
- Major concern: ada banyak ketidakpastian dan risiko terkait bias, transparansi, dan perubahan perilaku dalam sistem riset (misalnya riset dan publikasi bisa didorong agar terlihat "baik di mata AI” bukan benar-benar baik).
- Oleh karena itu, untuk saat ini penggunaan LLM untuk evaluasi riset besar harus dilakukan dengan sangat hati-hati mungkin dalam peran pendukung (complementary) terhadap peer review, bukan sebagai pengganti menyeluruh.
- Dalam jangka panjang, jika bias dan manipulasi bisa diatasi, LLM bisa menggantikan bibliometrik sebagai indikator pendukung dalam evaluasi riset.
Ringkasnya: Potensi besar, tetapi banyak kerja yang perlu dilakukan sebelum adopsi luas, karena efek sistemik dan risiko yang signifikan.
Mengapa Penlitiannya saya anggap bagus?
Berikut beberapa alasan mengapa penelitian ini saya anggap bagus :
1. Relevansi tinggi dan terkini
- Dengan cepat berkembangnya AI dan LLM dalam berbagai domain, termasuk akademik, topik evaluasi riset menggunakan AI sangat timely.
- Masalah evaluasi riset sendiri (peer review, bibliometrik) sudah lama menjadi tantangan; artikel ini mengaitkannya dengan teknologi baru.
2. Kontribusi konseptual yang kuat
- Artikel bukan sekadar laporan empiris kecil saja melainkan mengintegrasikan bukti empiris awal dengan pemikiran sistemik dan etis.
- Membuka diskusi penting tentang bagaimana sistem riset bisa berubah jika indikator baru diterapkan.
3. Menunjukkan inklusi bukti empiris
- Meskipun bukan studi lapangan besar, artikel merujuk pada studi-awal yang menunjukkan korelasi antara skor LLM dan penilaian manusia dalam berbagai setting.
- Diskusi tersebut memberikan dasar yang lebih solid daripada hanya spekulasi murni.
4. Menyoroti risiko dan bukan hanya potensi
- Banyak artikel teknologi hanya fokus ke potensi, namun artikel ini juga menekankan risiko bias, transparansi, manipulasi, dan efek sistemik menambah kedalaman kritis.
- Hal ini penting karena evaluasi riset adalah sistem yang sensitif dan berimplikasi besar (pendanaan, reputasi, karier).
5. Integrasi perspektif teknis, etis, dan sistemik
- Artikel ini tidak hanya "bisa AI ganti bibliometrik” saja, tetapi juga membahas bagaimana perilaku peneliti, jurnal, dan sistem riset bisa berubah ini penting untuk pemahaman lengkap termasuk dampak jangka panjang.
6. Potensi aplikasi nyata
- Jika dikembangkan lebih lanjut, metodologi dan ide-ide di artikel ini punya potensi untuk digunakan oleh lembaga evaluasi riset, universitas, dan pembuat kebijakan.
- Hal ini menjadikannya bukan hanya teoretis, tapi juga punya implikasi praktis.
Karena alasan‐alasan tersebut, artikel ini layak dijadikan referensi atau bahan diskusi bila Anda tertarik pada bidang bibliometrik, evaluasi riset, teknologi AI dalam riset akademik, atau kebijakan penelitian.
7. Dan tentu saja… referensinya luar biasa banyak!
Kalau baca daftarnya, bikin kita spontan bilang: "Gile, ngeri banget!”
Kategori: Teknologi & Pendidikan
Selasa, 21 Oktober 2025
Ketika AI Mulai Menilai Dosen: Refleksi dari Jurnal Mike Thelwall tentang Kualitas Riset di Era ChatGPT
Baru saja saya selesai membaca sebuah penelitian yang menurut saya luar biasa menarik, berjudul:
"Research quality evaluation by AI in the era of Large Language Models: Advantages, disadvantages, and systemic effects” (2025)
oleh Mike Thelwall, dipublikasikan di Scientometrics.
Bisa dilihat di:
https://link.springer.com/article/10.1007/s11192-025-05361-8
Jujur saja, bahasanya memang agak berat namanya juga jurnal internasional, tapi berkat bekal Basic 3 dari LIA (hehe ...), saya cukup bisa menangkap arah pikiran sang peneliti.
Membahas bagaimana evaluasi kualitas penelitian mulai menggunakan model bahasa besar (LLM), keuntungan, kekurangan, dan dampak sistemik terhadap perilaku peneliti dan sistem evaluasi.
Artikel ini membahas tentang bagaimana evaluasi kualitas penelitian kini mulai disentuh oleh kecerdasan buatan (AI), khususnya teknologi Large Language Models (LLM) seperti ChatGPT.
Thelwall mengulas keuntungan, kelemahan, serta dampak sistemik yang mungkin timbul jika penilaian kualitas riset nantinya benar-benar dilakukan oleh AI.
Menurut saya, inilah salah satu penelitian paling relevan di era sekarang.
Topiknya segar, mendalam, dan menyentuh hal yang sangat dekat dengan kehidupan akademisi, terutama dosen dan peneliti yang setiap tahun bergelut dengan evaluasi, angka kredit, dan reputasi ilmiah.
"Research quality evaluation by AI in the era of Large Language Models: Advantages, disadvantages, and systemic effects” (2025)
oleh Mike Thelwall, dipublikasikan di Scientometrics.
Bisa dilihat di:
https://link.springer.com/article/10.1007/s11192-025-05361-8
Jujur saja, bahasanya memang agak berat namanya juga jurnal internasional, tapi berkat bekal Basic 3 dari LIA (hehe ...), saya cukup bisa menangkap arah pikiran sang peneliti.
Membahas bagaimana evaluasi kualitas penelitian mulai menggunakan model bahasa besar (LLM), keuntungan, kekurangan, dan dampak sistemik terhadap perilaku peneliti dan sistem evaluasi.
Artikel ini membahas tentang bagaimana evaluasi kualitas penelitian kini mulai disentuh oleh kecerdasan buatan (AI), khususnya teknologi Large Language Models (LLM) seperti ChatGPT.
Thelwall mengulas keuntungan, kelemahan, serta dampak sistemik yang mungkin timbul jika penilaian kualitas riset nantinya benar-benar dilakukan oleh AI.
Menurut saya, inilah salah satu penelitian paling relevan di era sekarang.
Topiknya segar, mendalam, dan menyentuh hal yang sangat dekat dengan kehidupan akademisi, terutama dosen dan peneliti yang setiap tahun bergelut dengan evaluasi, angka kredit, dan reputasi ilmiah.
a. Latar Belakang dan Pembahasan Utama
Latar Belakang yang dia tulis di artikelnya:
- Penilaian kualitas riset (research evaluation) merupakan kegiatan penting dalam sistem akademik contoh: seleksi, promosi, pendanaan. Artikel menyebut bahwa untuk contoh saja di UK REF 2021, puluhan ribu output dievaluasi oleh ratusan ahli.
- Karena evaluasi manual memakan waktu dan biaya, maka telah muncul penggunaan indikator kuantitatif seperti bibliometrik (misalnya jumlah sitasi, impact factor jurnal) sebagai proxy kualitas riset.
- Dengan hadirnya teknologi AI generatif berbasis model bahasa besar (LLMs = Large Language Models, seperti ChatGPT), muncul potensi bahwa evaluasi riset bisa dibantu atau bahkan diganti oleh AI. Artikel ini menganggap bahwa LLM sekarang mengancam peran bibliometrik sebagai indikator utama kualitas riset.
- Maka, artikel ini menyajikan "tinjauan opini” (opinion paper) terhadap bagaimana LLM-berbasis AI dapat digunakan dalam evaluasi kualitas riset mencakup kelebihan, kekurangan, dan terutama efek sistemik (bagaimana sistem riset bisa berubah jika indikator berbasis AI diterapkan) .
Pembahasan Utama:
Definisi dan tantangan dalam penilaian kualitas riset: "kualitas” riset tidak universal dan tergantung konteks; human peer review punya keterbatasan (bias, subjektivitas).
Peran bibliometrik: kelebihan/kelemahan misalnya sitasi bisa mewakili pengaruh tapi bukan ukuran lengkap kualitas; bibliometrik punya keterlambatan, kurang inklusif untuk beberapa bidang.
Kemampuan LLM/AI dalam konteks evaluasi riset: menyediakan "skor kualitas” dari teks artikel (judul/abstrak/isi) tanpa menunggu sitasi. Studi awal menunjukkan korelasi positif dengan penilaian manusia.
Kelebihan teknis dari LLM dibanding bibliometrik: cakupan lebih luas (lebih banyak bidang & artikel baru), potensi mencakup dimensi kualitas yang lebih beragam (orisinilitas, keketatan metodologi, dampak) menurut teori.
Kekurangan / risiko: bias yang belum diketahui, kurang transparan (LLM "kotak hitam”), potensi manipulasi/gaming (penulis atau jurnal bisa menyesuaikan agar skor AI tinggi), perubahan perilaku riset yang mungkin negatif.
Efek sistemik: perubahan bagaimana penulis, editor, dan jurnal akan berperilaku jika evaluasi berbasis AI menjadi norma misalnya, lebih fokus pada abstrak "menjual” penelitian agar skor tinggi, atau jurnal memilih artikel yang "menyenangkan AI” bukan necessarily berkualitas tinggi.
b. Metode penelitian yang dilakukan
Karena ini adalah opinion paper (artikel opini) bukan studi empiris eksperimental besar maka metodologinya lebih berupa tinjauan literatur + interpretasi + pengamatan terhadap bukti awal, bukan riset lapangan utuh dengan data primer.
Berikut rincian:
- Penulis mereview bukti-tertentu dari studi kecil dan menengah yang menggunakan LLM untuk memperkirakan kualitas riset (termasuk korelasi antara skor AI dengan skor manusia/peer review). Dengan demikian, ia mengumpulkan dan menganalisis temuan‐temuan yang ada dalam literatur hingga saat penulisan.
- Penulis menilai kelebihan dan kekurangan teknis LLM untuk tugas evaluasi riset (analisis konseptual).
- Penulis juga mempertimbangkan aspek sistemik (behavioral/systemic) dan etis: bagaimana sistem riset akan berubah jika indikator AI diadopsi.
- Karena bukan riset kuantitatif primer, tidak ada "pengumpulan data baru” dalam artikel utama ini lebih ke argumentasi berbasis literatur dan bukti awal.
Jadi, metode: tinjauan kritis + interpretasi konseptual + integrasi bukti empiris awal—bukan eksperimen penuh.
c. Kesimpulan Peneliti
- Dari perspektif teknis, LLM-berbasis AI memiliki potensi nyata untuk melengkapi atau bahkan melampaui bibliometrik dalam beberapa aspek (akurasi korelasi dengan penilaian manusia lebih tinggi dalam beberapa studi, cakupan bidang lebih luas, cocok untuk artikel baru).
- Namun, LLM tidak berarti "mengukur” kualitas riset secara definitif baik bibliometrik maupun LLM hanya indikator/proxy.
- Major concern: ada banyak ketidakpastian dan risiko terkait bias, transparansi, dan perubahan perilaku dalam sistem riset (misalnya riset dan publikasi bisa didorong agar terlihat "baik di mata AI” bukan benar-benar baik).
- Oleh karena itu, untuk saat ini penggunaan LLM untuk evaluasi riset besar harus dilakukan dengan sangat hati-hati mungkin dalam peran pendukung (complementary) terhadap peer review, bukan sebagai pengganti menyeluruh.
- Dalam jangka panjang, jika bias dan manipulasi bisa diatasi, LLM bisa menggantikan bibliometrik sebagai indikator pendukung dalam evaluasi riset.
Ringkasnya: Potensi besar, tetapi banyak kerja yang perlu dilakukan sebelum adopsi luas, karena efek sistemik dan risiko yang signifikan.
Mengapa Penlitiannya saya anggap bagus?
Berikut beberapa alasan mengapa penelitian ini saya anggap bagus :
1. Relevansi tinggi dan terkini
- Dengan cepat berkembangnya AI dan LLM dalam berbagai domain, termasuk akademik, topik evaluasi riset menggunakan AI sangat timely.
- Masalah evaluasi riset sendiri (peer review, bibliometrik) sudah lama menjadi tantangan; artikel ini mengaitkannya dengan teknologi baru.
2. Kontribusi konseptual yang kuat
- Artikel bukan sekadar laporan empiris kecil saja melainkan mengintegrasikan bukti empiris awal dengan pemikiran sistemik dan etis.
- Membuka diskusi penting tentang bagaimana sistem riset bisa berubah jika indikator baru diterapkan.
3. Menunjukkan inklusi bukti empiris
- Meskipun bukan studi lapangan besar, artikel merujuk pada studi-awal yang menunjukkan korelasi antara skor LLM dan penilaian manusia dalam berbagai setting.
- Diskusi tersebut memberikan dasar yang lebih solid daripada hanya spekulasi murni.
4. Menyoroti risiko dan bukan hanya potensi
- Banyak artikel teknologi hanya fokus ke potensi, namun artikel ini juga menekankan risiko bias, transparansi, manipulasi, dan efek sistemik menambah kedalaman kritis.
- Hal ini penting karena evaluasi riset adalah sistem yang sensitif dan berimplikasi besar (pendanaan, reputasi, karier).
5. Integrasi perspektif teknis, etis, dan sistemik
- Artikel ini tidak hanya "bisa AI ganti bibliometrik” saja, tetapi juga membahas bagaimana perilaku peneliti, jurnal, dan sistem riset bisa berubah ini penting untuk pemahaman lengkap termasuk dampak jangka panjang.
6. Potensi aplikasi nyata
- Jika dikembangkan lebih lanjut, metodologi dan ide-ide di artikel ini punya potensi untuk digunakan oleh lembaga evaluasi riset, universitas, dan pembuat kebijakan.
- Hal ini menjadikannya bukan hanya teoretis, tapi juga punya implikasi praktis.
Karena alasan‐alasan tersebut, artikel ini layak dijadikan referensi atau bahan diskusi bila Anda tertarik pada bidang bibliometrik, evaluasi riset, teknologi AI dalam riset akademik, atau kebijakan penelitian.
7. Dan tentu saja… referensinya luar biasa banyak!
Kalau baca daftarnya, bikin kita spontan bilang: "Gile, ngeri banget!”
***
Materi Kuliah: