Pengendalian Halusinasi: Manfaat dan Resiko Penerapan LLM sebagai Bagian dari Proses Keamanan

Model Bahasa Besar (LLM) yang dilatih mengenai data dalam jumlah besar dapat membuat tim operasi keamanan menjadi lebih cerdas. LLM memberikan saran dan panduan terpadu mengenai respons, audit, manajemen postur, dan banyak lagi. Sebagian besar tim keamanan bereksperimen dengan atau menggunakan LLM untuk mengurangi kerja keras manual dalam alur kerja. Ini bisa untuk tugas-tugas biasa dan kompleks. 

Misalnya, LLM dapat menanyakan karyawan melalui email apakah mereka bermaksud membagikan dokumen hak milik dan memproses responsnya dengan rekomendasi untuk praktisi keamanan. LLM juga dapat ditugaskan untuk menerjemahkan permintaan untuk mencari serangan rantai pasokan pada modul sumber terbuka dan menjalankan agen yang berfokus pada kondisi tertentu — kontributor baru pada perpustakaan yang banyak digunakan, pola kode yang tidak tepat — dengan masing-masing agen siap untuk kondisi spesifik tersebut. 

Meskipun demikian, sistem AI yang kuat ini memiliki risiko signifikan yang berbeda dengan risiko lain yang dihadapi tim keamanan. Model yang mendukung LLM keamanan dapat disusupi melalui injeksi cepat atau peracunan data. Putaran umpan balik yang terus-menerus dan algoritme pembelajaran mesin tanpa bimbingan manusia yang memadai dapat memungkinkan pelaku kejahatan menyelidiki pengendalian dan kemudian memicu respons yang tidak tepat sasaran. LLM rentan terhadap halusinasi, bahkan dalam domain terbatas. Bahkan LLM terbaik pun membuat masalah ketika mereka tidak tahu jawabannya. 

Proses keamanan dan kebijakan AI seputar penggunaan dan alur kerja LLM akan menjadi lebih penting karena sistem ini menjadi lebih umum di seluruh operasi dan penelitian keamanan siber. Memastikan proses-proses tersebut dipatuhi, dan diukur serta diperhitungkan dalam sistem tata kelola, terbukti penting untuk memastikan bahwa CISO dapat memberikan cakupan GRC (Tata Kelola, Risiko, dan Kepatuhan) yang memadai untuk memenuhi mandat baru seperti Kerangka Keamanan Siber 2.0. 

Janji Besar LLM dalam Keamanan Siber

CISO dan timnya terus berjuang untuk mengimbangi gelombang serangan siber baru yang semakin meningkat. Menurut Qualys, jumlah CVE yang dilaporkan pada tahun 2023 mencapai a rekor baru 26,447. Itu naik lebih dari 5X lipat dari tahun 2013. 

Tantangan ini semakin berat karena permukaan serangan yang menyerang rata-rata organisasi semakin besar setiap tahunnya. Tim AppSec harus mengamankan dan memantau lebih banyak aplikasi perangkat lunak. Komputasi awan, API, multi-cloud, dan teknologi virtualisasi telah menambah kompleksitas. Dengan alat dan proses CI/CD modern, tim aplikasi dapat mengirimkan lebih banyak kode, lebih cepat, dan lebih sering. Layanan mikro telah memecah aplikasi monolitik menjadi berbagai API dan permukaan serangan, serta membuat lebih banyak lubang di firewall global untuk komunikasi dengan layanan eksternal atau perangkat pelanggan.

LLM tingkat lanjut mempunyai potensi besar untuk mengurangi beban kerja tim keamanan siber dan meningkatkan kemampuan mereka. Alat pengkodean yang didukung AI telah banyak merambah pengembangan perangkat lunak. Penelitian Github menemukan bahwa 92% pengembang menggunakan atau telah menggunakan alat AI untuk saran dan penyelesaian kode. Sebagian besar alat “kopilot” ini memiliki beberapa kemampuan keamanan. Faktanya, disiplin ilmu terprogram dengan hasil yang relatif biner seperti pengkodean (kode akan lulus atau gagal dalam pengujian unit) sangat cocok untuk LLM. Selain pemindaian kode untuk pengembangan perangkat lunak dan pipeline CI/CD, AI dapat bermanfaat bagi tim keamanan siber dalam beberapa cara lain:   

• Analisis yang Ditingkatkan: LLM dapat memproses data keamanan dalam jumlah besar (log, peringatan, intelijen ancaman) untuk mengidentifikasi pola dan korelasi yang tidak terlihat oleh manusia. Mereka dapat melakukan hal ini lintas bahasa, sepanjang waktu, dan melintasi berbagai dimensi secara bersamaan. Ini membuka peluang baru bagi tim keamanan. LLM dapat menghilangkan setumpuk peringatan hampir secara real-time, menandai peringatan yang kemungkinan besar bersifat parah. Melalui pembelajaran penguatan, analisis akan meningkat seiring waktu. 
• Otomasi: LLM dapat mengotomatiskan tugas tim keamanan yang biasanya memerlukan percakapan bolak-balik. Misalnya, ketika tim keamanan menerima IoC dan perlu bertanya kepada pemilik titik akhir apakah mereka benar-benar masuk ke perangkat atau jika mereka berada di suatu tempat di luar zona kerja normalnya, LLM dapat melakukan operasi sederhana ini dan kemudian mengikuti sampai dengan pertanyaan sesuai kebutuhan dan tautan atau instruksi. Ini dulunya merupakan interaksi yang harus dilakukan sendiri oleh anggota tim TI atau keamanan. LLM juga dapat menyediakan fungsionalitas yang lebih canggih. Misalnya, Microsoft Copilot for Security dapat menghasilkan laporan analisis insiden dan menerjemahkan kode malware yang kompleks ke dalam deskripsi bahasa alami. 
• Pembelajaran dan Penyetelan Berkelanjutan: Tidak seperti sistem pembelajaran mesin sebelumnya dalam hal kebijakan dan pemahaman keamanan, LLM dapat belajar dengan cepat dengan menyerap penilaian manusia atas responsnya dan dengan menyesuaikan kembali kumpulan data baru yang mungkin tidak terdapat dalam file log internal. Faktanya, dengan menggunakan model dasar yang sama, LLM keamanan siber dapat disesuaikan untuk berbagai tim dan kebutuhan, alur kerja, atau tugas spesifik regional atau vertikal mereka. Ini juga berarti bahwa seluruh sistem dapat langsung secerdas modelnya, dengan perubahan yang menyebar dengan cepat ke seluruh antarmuka. 

Risiko LLM untuk Keamanan Siber

Sebagai teknologi baru dengan rekam jejak yang pendek, LLM memiliki risiko yang serius. Yang lebih buruk lagi, memahami sepenuhnya risiko-risiko tersebut merupakan sebuah tantangan karena keluaran LLM tidak 100% dapat diprediksi atau terprogram. Misalnya, LLM dapat “berhalusinasi” dan mengarang jawaban atau menjawab pertanyaan dengan salah, berdasarkan data imajiner. Sebelum mengadopsi LLM untuk kasus penggunaan keamanan siber, seseorang harus mempertimbangkan potensi risiko termasuk: 

• Injeksi Cepat:  Penyerang dapat membuat perintah berbahaya secara khusus untuk menghasilkan keluaran yang menyesatkan atau berbahaya. Jenis serangan ini dapat mengeksploitasi kecenderungan LLM untuk menghasilkan konten berdasarkan perintah yang diterimanya. Dalam kasus penggunaan keamanan siber, injeksi cepat mungkin paling berisiko sebagai bentuk serangan orang dalam atau serangan oleh pengguna tidak sah yang menggunakan perintah untuk mengubah keluaran sistem secara permanen dengan mengubah perilaku model. Hal ini dapat menghasilkan keluaran yang tidak akurat atau tidak valid untuk pengguna sistem lainnya. 
• Keracunan Data:  Data pelatihan yang diandalkan oleh LLM dapat dengan sengaja dirusak, sehingga membahayakan pengambilan keputusan mereka. Dalam lingkungan keamanan siber, dimana organisasi cenderung menggunakan model yang dilatih oleh penyedia alat, keracunan data mungkin terjadi selama penyesuaian model untuk pelanggan dan kasus penggunaan tertentu. Risiko di sini bisa jadi adalah pengguna yang tidak berwenang menambahkan data buruk — misalnya, file log yang rusak — untuk mengganggu proses pelatihan. Pengguna yang berwenang juga dapat melakukan ini secara tidak sengaja. Hasilnya adalah keluaran LLM berdasarkan data yang buruk.
• Halusinasi: Seperti disebutkan sebelumnya, LLM dapat menghasilkan tanggapan yang salah, tidak logis, atau bahkan jahat karena kesalahpahaman perintah atau kelemahan data yang mendasarinya. Dalam kasus penggunaan keamanan siber, halusinasi dapat mengakibatkan kesalahan kritis yang melumpuhkan intelijen ancaman, triase dan remediasi kerentanan, dan banyak lagi. Karena keamanan siber adalah aktivitas yang sangat penting, LLM harus menerapkan standar yang lebih tinggi dalam mengelola dan mencegah halusinasi dalam konteks ini. 

Ketika sistem AI menjadi lebih mampu, penerapan keamanan informasinya berkembang pesat. Jelasnya, banyak perusahaan keamanan siber telah lama menggunakan pencocokan pola dan pembelajaran mesin untuk pemfilteran dinamis. Hal baru di era AI generatif adalah LLM interaktif yang memberikan lapisan kecerdasan di atas alur kerja dan kumpulan data yang ada, yang idealnya meningkatkan efisiensi dan meningkatkan kemampuan tim keamanan siber. Dengan kata lain, GenAI dapat membantu teknisi keamanan melakukan lebih banyak hal dengan lebih sedikit upaya dan sumber daya yang sama, sehingga menghasilkan kinerja yang lebih baik dan proses yang dipercepat.