NVIDIA Perinci Latihan AI yang Boleh Diulang: Mengapa Hasil Sama Penting

Apabila eksperimen AI diulang, sejauh mana hasilnya patut sama? Bagi pembangun yang menyiasat masalah latihan model, persoalan ini menentukan sama ada perubahan dapat dinilai dengan yakin. Laporan teknikal NVIDIA pada 6 Oktober 2026 mengetengahkan usaha menghasilkan pengiraan yang sama hingga ke peringkat bit dalam Megatron Core.

Untuk pembaca IT Jobs Malaysia, perkembangan ini membuka ruang pembelajaran tentang disiplin eksperimen: merekod persekitaran, menetapkan kriteria perbandingan dan membuktikan bahawa proses pemulihan benar-benar berfungsi.

Perkembangan baharu dan batas hasilnya

Dalam kajian kes Nemotron, NVIDIA melaporkan tambahan masa setiap langkah latihan sekitar 2% bagi konfigurasi pada 2,432 GPU, sambil mengekalkan kesamaan bit sepanjang 800 langkah. Angka tersebut ialah hasil konfigurasi khusus yang dilaporkan syarikat, bukannya jaminan prestasi untuk semua model.

NVIDIA menerangkan dua sasaran: dua latihan daripada keadaan awal sama menghasilkan pengiraan serupa, dan latihan yang disambung daripada checkpoint mengikuti latihan tanpa gangguan. Checkpoint ialah keadaan latihan yang disimpan untuk penyambungan kemudian. Perbandingan ini menetapkan perkakasan, perisian, susunan data dan konfigurasi latihan yang sama.

Skop tersebut penting ketika membaca dakwaan kebolehulangan. Keputusan dalam persekitaran terkawal tidak membuktikan hasil akan kekal sama selepas pertukaran generasi GPU atau versi pustaka.

Sumber: Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core.

Mod deterministik mempunyai syarat

Dokumentasi Determinism Status menerangkan bahawa mod deterministik mengesahkan tetapan persekitaran, mengaktifkan algoritma deterministik PyTorch dan menolak ciri yang belum mempunyai laluan pengiraan sesuai. Antara sekatan yang dinyatakan ialah penggabungan pengiraan cross-entropy dan pertindihan komunikasi tensor parallelism.

Halaman dokumentasi itu masih menyebut tambahan masa sekitar 15%, bergantung pada model dan ketepatan pengiraan. Oleh itu, angka 2% dalam laporan baharu perlu dibaca sebagai pencapaian pengoptimuman tertentu. Dokumentasi umum dan kajian kes tersebut tidak menawarkan satu kadar prestasi sejagat.

Dokumentasi turut menyatakan peluasan liputan ujian rujukan kepada seni bina berskala pengeluaran masih berada dalam pelan pembangunan. Mengaktifkan satu pilihan konfigurasi sahaja belum membuktikan keseluruhan beban kerja telah diliputi ujian.

Sumber: Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core; Determinism Status — Megatron Core.

Ujian perlu meneliti komponen pengiraan

Panduan Kernel Determinism Testing menetapkan bahawa kernel GPU yang dilancarkan Megatron perlu mempunyai ujian kesamaan bit. Kernel ialah rutin pengiraan yang dijalankan pada GPU. Perubahan kernel juga perlu disertai penambahan atau kemas kini ujian berkaitan.

Pada peringkat kernel, input yang sama diproses berulang kali, kemudian output dan gradien dibandingkan mengikut bait. Pada peringkat model pula, ujian meliputi gabungan komponen yang lebih besar. Panduan itu membezakan semakan tepat daripada semakan anggaran yang menggunakan toleransi.

Pengecualian ujian direkodkan secara nyata. Panduan tersebut juga menyatakan pelaksanaan ujian kernel pada perkakasan Blackwell tertentu masih memerlukan tindakan susulan. Ini memberikan konteks tentang liputan sebenar, selain keputusan lulus atau gagal.

Sumber: Kernel Determinism Testing — Megatron Core.

Cadangan editorial: projek kecil untuk pembaca Malaysia

Sebagai latihan pembelajaran, pelajar atau jurutera junior boleh membina pengelas teks ringkas menggunakan contoh ayat Bahasa Malaysia yang ditulis sendiri. Pilih tugas terhad, seperti mengelaskan pertanyaan rekaan kepada kategori akaun, teknikal dan pembayaran. Cadangan ini ialah contoh editorial, bukan projek yang dilaporkan NVIDIA.

Sediakan rekod eksperimen yang mencatat versi kod, set data, tetapan dan mesin yang digunakan. Sebelum bermula, tulis maksud kejayaan: adakah anda mahu keputusan kategori sama, nilai metrik hampir sama, atau pengiraan yang sama sepenuhnya? Bezakan sasaran tersebut dalam laporan.

Rancang satu percubaan berterusan dan satu percubaan yang dihentikan untuk disambung semula. Simpan pemerhatian tentang bahagian yang sepadan dan yang berbeza. Jika peralatan atau rangka kerja pilihan tidak menyokong kesamaan bit, nyatakan batas itu dengan jelas tanpa menaikkan taraf dapatan kepada dakwaan yang lebih kuat.

Cadangan editorial: jadikan bukti sebahagian portfolio

Untuk portfolio, hasilkan nota pendek yang membolehkan rakan mengulangi eksperimen. Sertakan tujuan, cara menjalankan ujian, keputusan sebenar dan perkara yang belum disahkan. Gunakan data rekaan supaya contoh boleh dikongsi tanpa membawa maklumat pelanggan atau dokumen dalaman.

Bagi pasukan kecil di Malaysia, cadangan praktikalnya ialah memilih satu proses latihan yang kerap digunakan sebagai percubaan awal. Tetapkan had masa dan belanja pengkomputeran sebelum menguji, kemudian bincangkan sama ada tahap kebolehulangan yang dicapai memenuhi keperluan pasukan.

Semasa menerangkan projek dalam temu duga, tunjukkan satu perbezaan yang ditemui dan cara anda menyiasatnya. Catatan yang jujur tentang kegagalan, batas ujian dan langkah seterusnya memberi bahan perbincangan teknikal yang lebih jelas daripada dakwaan umum bahawa model sudah stabil.

Rujukan

• Scale Bitwise-Deterministic Pretraining with NVIDIA Megatron Core — 2026-10-06
• Determinism Status — Megatron Core
• Kernel Determinism Testing — Megatron Core

Disediakan secara automatik dengan bantuan AI berdasarkan sumber yang dipautkan. Semakan sumber: 2026-10-10. Gambar utama ialah ilustrasi janaan AI, bukan foto peristiwa sebenar.