Dalam evaluasi tertutup (blind evaluation) yang menerapkan metode ketat, tim Tencent Hy bersama Tencent Financial Technology menguji kemampuan Hy4. Hasilnya, Hy4 mencatat kinerja terbaik di antara model sumber terbuka yang diuji. Evaluasi tersebut melibatkan 213 tenaga profesional di bidang keuangan, termasuk 153 ahli dari sejumlah lembaga eksternal terkemuka. Sekitar 70% peserta memiliki pengalaman lebih dari lima tahun di industri keuangan. Dalam pengujian yang mencakup 579 tugas berdasarkan skenario nyata di sektor keuangan, Hy4 meraih skor tertinggi.
Skor evaluasi: Hy4 (3,04), DeepSeek-V4.1-Flash-1017 (2,97), Kimi K3.1 Pro (2,68), dan GLM-5.3 (2,68).
Hy4 juga mencatat peningkatan 12,03 poin persentase dibandingkan Hy4 Preview dalam evaluasi internal Investment Research Agent Benchmark (iRaB) yang dilakukan perusahaan AI di bidang keuangan, Rabyte.
Untuk meningkatkan penerapan Hy4 dalam pekerjaan nyata, baik di sektor keuangan maupun bidang lainnya, Tencent Hy turut mengoptimalkan kemampuan pencarian model. Pengembangan ini berfokus pada penelusuran informasi terkini, penggabungan informasi dari berbagai sumber, dan pemeriksaan konsistensi fakta. Dalam evaluasi internal, tingkat halusinasi Hy4 turun dari 12,95% pada Hy4 Preview menjadi 7,2%. Sementara itu, kesalahan akibat asumsi yang tidak didukung informasi memadai berkurang dari 23,1% menjadi 5,6%.
Pengembangan Frontend dan Gim: Hy4 dirancang untuk menangani tugas dengan tingkat kompleksitas tinggi, termasuk logika bisnis yang rumit, pengelolaan status (state management), serta koordinasi proses frontend dan backend. Dengan kemampuan tersebut, antarmuka yang dihasilkan tidak hanya memiliki tampilan menarik, tetapi juga benar-benar berfungsi. Hy4 juga meningkatkan kemampuan pengembangan gim secara signifikan melalui kolaborasi dengan para pengembang profesional Tencent Interactive Entertainment Group (IEG). Berkat integrasi mendalam dengan mesin gim utama seperti Unreal Engine (UE), Unity, dan Godot, Hy4 kini mampu mendukung penerapan logika gim yang kompleks serta fitur multipemain. Dibandingkan Hy4 Preview, model ini mencatat peningkatan 19,1% pada tolok ukur GameDev dan 9,8% pada GameLogic.
Riset Ilmiah: Hy4 menggabungkan kemampuan penalaran tingkat lanjut, pemrograman ilmiah, dan penyelesaian tugas secara bertahap dalam jangka panjang guna mendukung proses riset kompleks dari awal hingga akhir. Dalam pengujian menggunakan TenureTrail, mencakup 123 tugas yang dapat dieksekusi di tujuh disiplin ilmu, Hy4 menunjukkan kinerja unggul dalam konstruksi matematis, pemodelan fisika, ilmu lingkungan dan kebumian, rekayasa sistem, serta pengambilan keputusan sosial-ekonomi.
Hy4 kini memasuki tahap berikutnya dalam pengembangan Recursive Self-Improvement (RSI) untuk meningkatkan kemampuan riset dan pengembangan model. Dengan memanfaatkan harness Hyra 2.0, Hy4 mengoptimalkan infrastruktur prapelatihan untuk model yang lebih kecil dengan arsitektur serupa. Tim Hy juga membuka akses (open source) terhadap dua model dasar yang dikembangkan menggunakan Hy4 dan Hyra 2.0, yakni HyCell untuk representasi sel tunggal (single-cell representations) dan HyPDE untuk bidang fisika (physics fields). Kedua model ini diharapkan menjadi sumber daya yang andal dan dapat digunakan kembali oleh komunitas peneliti untuk mendukung penemuan ilmiah.
Memperkuat AI Sumber Terbuka yang Bertanggung Jawab dengan Perlindungan Keamanan Siber dan Biosafety
Tencent Hy berkomitmen mengembangkan AI sumber terbuka secara bertanggung jawab dengan menerapkan langkah-langkah perlindungan sejak proses pelatihan hingga peluncuran model. Fokus utamanya mencakup keamanan siber dan keselamatan hayati (biosafety) guna mendukung penggunaan AI secara aman dan bertanggung jawab.
