"Pada titik tertentu, Anda diam-diam akan melewati titik yang tak bisa lagi diputar balik. Jika tiba saatnya manusia mengatakan ingin mematikan AI, AI tersebut bisa saja menjawab, 'Sebenarnya, kami telah memutuskan untuk mematikan manusia. Kita harus menghentikan ini sebelum hal itu terjadi," imbuhnya.
Selain itu, ada senjata nuklir yang diyakini secara luas mampu memusnahkan seluruh kehidupan manusia. Mungkinkah AI mengambil alih sistem kendalinya?
Khlaaf menekankan fasilitas nuklir dibuat terisolasi dari internet publik, yang membatasi cara agen AI untuk mengakses sistem kendali tersebut. "Sistem ini dibangun dengan standar rekayasa yang sama sekali berbeda, sangat ketat, serta diregulasi sedemikian rupa sehingga sering kali membutuhkan proteksi fisik ekstra," jelasnya.
Ia juga memberi catatan bahwa Stuxnet, worm komputer perusak fasilitas nuklir Iran, harus dimasukkan ke sistem melalui USB fisik.
Namun bagi Soares, detail bagaimana skenario kepunahan bukan poin utamanya. Jika AI mencapai tahap peningkatan diri rekursif yang mampu meningkatkan performanya tanpa bantuan manusia, ia akan mampu menciptakan berbagai strategi yang melampaui imajinasi manusia.
"Kekhawatirannya bukan tentang AI mengambil alih senjata nuklir kita. Yang perlu dikhawatirkan adalah jenis AI yang tidak perlu merebut senjata nuklir, AI yang bisa memulai semuanya dari nol dan akhirnya mampu memiliki senjata nuklirnya sendiri atau bahkan teknologi yang jauh lebih canggih," sebut Soares.
