Di desa Khartank itulah, dalam keadaan terasing dan terzalimi, Imam Bukhari memanjatkan doa setelah menunaikan salat malam (tahajud). Mengutip riwayat dalam Siyar A'lam An-Nubala, beliau merintih kepada Allah SWT,
"Ya Allah, sesungguhnya bumi yang luas ini terasa makin sempit bagiku. Maka panggillah (wafatkanlah) aku kembali kepada-Mu."
Pada malam 1 Syawal 256 H, ketika kerabatnya bersiap-siap menaikkan beliau ke atas kendaraan untuk memenuhi undangan warga Samarkand yang telah berdamai, tubuh beliau melemah. Beliau memberikan wasiat pada warga Khartank, "Kafani aku dengan tiga helai baju (kain kafan) putih. Tidak ada padanya baju panjang dan serban."
Imam Bukhari meninggal pada usia 62 tahun 13 hari. Peluh bercucuran di keningnya saat meninggal, dan makamnya keluar semerbak wangi bunga.
Dalam sumber yang sama, Abdul Wahid bin Adam Ath-Thawarisi berkata,
"Aku bermimpi melihat Nabi SAW. Saat itu, beliau bersama sejumlah sahabat dan sedang berdiri di suatu tempat. Aku memberi salam, lalu bertanya, 'Kenapa engkau berdiri di sini, wahai Rasulullah?' Beliau menjawab, 'Aku sedang menunggu Muhammad bin Ismail Al-Bukhari.' Beberapa hari kemudian, aku mendengar kabar wafatnya Al-Bukhari. Setelah aku perhatikan, ternyata beliau meninggal tepat ketika aku bermimpi itu."
