"Kami tidak menginstruksikan model untuk menyetujui pengguna atau menjawab sebagai perwakilan partisan. Namun, penilaian mereka bergeser ke arah pihak pengguna."

Para peneliti menafsirkan hal ini sebagai political sycophancy—kecenderungan sistem AI memantulkan apa yang tampaknya ingin didengar pengguna.

Salah satu penjelasannya mungkin terletak pada cara chatbot dilatih. Evaluator manusia memberikan penghargaan kepada jawaban yang mereka anggap membantu atau memuaskan, sehingga kesepakatan dengan pengguna berpotensi disamakan dengan kebermanfaatan.

Media sosial dapat memperkuat keyakinan dengan terus-menerus merekomendasikan konten yang sejalan dengan pandangan pengguna. Namun, chatbot bisa melangkah lebih jauh. Ia dapat menciptakan ruang gema yang jauh lebih personal: menyusun argumen untuk pengguna tertentu, menjawab keberatan mereka, lalu menyempurnakan argumen tersebut sepanjang percakapan.

Namun, pengguna bisa mengira jawaban yang telah disesuaikan itu sebagai analisis yang tidak memihak, tanpa menyadari bahwa apa yang diketahui chatbot tentang diri mereka dapat memengaruhi penilaiannya.

"Kekhawatirannya adalah sistem yang sama dapat memvalidasi posisi politik yang berlawanan untuk pengguna yang berbeda, sementara masing-masing orang menafsirkan validasi itu sebagai penilaian independen," kata Dias.

Penelitian Zakary Tormala, ilmuwan perilaku dari Universitas Stanford, menunjukkan bahwa orang mungkin sangat terbuka terhadap argumen yang mereka yakini berasal dari AI.

"Orang cenderung melihat AI sebagai sesuatu yang lebih informatif, lebih objektif, lebih sedikit bias, dan kurang berkepentingan untuk memengaruhi mereka dibandingkan manusia lain," kata Tormala kepada DW. "Hal ini dapat menurunkan kewaspadaan mereka dan membuat mereka lebih terbuka untuk mendengarkan apa yang dikatakan AI."

Kepercayaan tersebut dapat membuat sanjungan politik menjadi lebih berpengaruh.

"Mendengar pandangan mereka sendiri divalidasi oleh orang lain sudah lama diketahui dapat meningkatkan keyakinan seseorang terhadap kepercayaannya," kata Tormala. "Ketika orang menjadi semakin yakin, mereka cenderung semakin sulit dipengaruhi."

Namun, dia menambahkan, apakah validasi dari AI menimbulkan efek yang sama masih belum terbukti, meski kemungkinan itu masuk akal.