Fizik Laju-laju

Draf Awal

Ini adalah draf awal sebelum disiarkan oleh FizikKini.com

Abdus Salam, Disember 1979

“… scientific thought and its creation is the common and shared heritage of mankind.”

Abdus Salam, dalam ucapan penganugerahan Hadiah Nobel Fizik pada 1979 telah memetik kata Al-Kindi - “It is fitting then for us not to be ashamed to acknowledge and to assimilate it from whatever source it comes to us. For him who scales the truth there is nothing of higher value than truth itself; it never cheapens nor abases him.”

Hadiah Nobel dalam kategori fizik tahun ini -2024 - dianugerahkan bersama kepada John J. Hopfield, sekarang di Universiti Princeton (Amerika Syarikat) dan Geoffrey E. Hinton, dari Universiti Toronto (Kanada), kerana penemuan utama yang membolehkan pembelajaran mesin (machine learning) menggunakan rangkaian neuronan (neural networks).

Seperti biasa - dalam media sosial - 24 jam selepas pengumuman, ada kelompok yang mengalu-alukan dan juga menolak penganugerah ini (kerana diberi kepada bukan fizikawan). Jadi, tulisan ini lebih menjurus kepada meraikan penganugerahan.

Latar Belakang

Kita mulakan dengan weltanschauung ini: pengkomputeran adalah satu proses fizikal.¹ Daripada satu sudut pandang, kebanyakan orang beranggapan komputer adalah satu set alatan elektronik yang biasa-biasa. Yang tugasnya memudahkan urusan harian kita. Namun, bagi segolongan fizikawan, semua sistem fizikal (sistem yang di cerap) adalah “komputer”: apa yang komputer boleh dan tidak boleh buat, di tentukan oleh hukum-hukum fizik.²

Oleh kerana itu, mengaplikasikan konsep dan hukum fizik kepada bidang lain seperti biologi, kimia, ekonomi. sains sosial ataupun sains komputer adalah lumrah apabila kita – fizikawan – ingin memahami alam. Dalam konteks pembelajaran mesin (machine learning), yang ingin difahami adalah bagaimana komputer belajar.

Kecerdasan Buatan

Pembelajaran mesin adalah satu bidang kajian dalam kecerdasan buatan (sesetengah orang memanggilnya kepintaran buatan). Matlamat utamanya adalah untuk menggunakan kaedah tertentu (algoritma matematik) untuk mengenal pasti dan mengklasifisikan struktur di dalam satu set data. Algoritma pembelajaran mesin biasanya dibahagikan kepada tiga kategori utama iaitu pembelajaran diselia (supervised learning), pembelajaran tak diselia (unsupervised learning) dan pembelajaran pengukuhan (reinforcement learning).

Figure 1: Jenis data yang selalu digunakan dalam pembelajaran mesin³

Salah satu keadah yang popular adalah pembelajaran mendalam (deep learning) yang menggunakan rangkainan neuronan. Umumnya, rangkaian neuronan adalah model yang diilhamkan daripada struktur dan telatah neuron sebenar (otak kita adalah suatu himpunan sel-sel neuron yang banyak dan bersambung).

Figure 2: Contoh rangkaian neuronan⁴

Detik penting dalam pembelajaran mendalam bermula dengan “deguman besar” (big bang) pada 2012 apabila Alex Krizhevsky, Ilya Sutskever (antara pengasas Bersama OpenAI) dan Geoffrey Hinton menjuarai pertandingan ImagetNet (ILSVRC) menggunakan 2 buah kad NVIDIA GTX 580 (yang harganya sekitar RM 1,500 ketika itu) dan dinamakan seni bina AlexNet.⁵ Aplikasi Google Photos misalnya – kini di gunakan oleh berjuta orang - terdapat dalam hampir semua peranti Android dan iOS asalnya adalah berasaskan Alexnet.⁶ Salah satu komponen asas kepada AlexNet ini adalah rangkaian neuronan dan teknik rambatan balik (backpropagation).⁷

Figure 3: GPU mempermudah akses kepada pembelajaran mendalam⁸

Terkait dengan hadiah Nobel tahun ini, rangkaian Hopfield (Hopfield network) adalah sejenis rangkaian neuronan berulang yang bertelatah seperti ingatan beralamatkan isi (content-addressable memory). Ini ibarat otak kita yang sedang mengingati sesuatu. Menikmati pulut lepa dan dengan tiba-tiba teringat memori bersama arwah nenek di kampung misalannya.

Begitulah juga dengan mesin Boltzmann (Boltzmann machine), ianya juga rangkainan neuronan untuk memproses dan mengenal pasti corak-corak rumit tersirat dalam data.

Fizik

Nah, sekarang apakah perkaitan rangkaian neuronan ini dengan fizik?

Ringkas, kedua-dua model yang di cadang Hopfield dan Hinton terkait dengan pencarian keadaan yang paling stabil yang di panggil pengoptimuman tenaga (energy minimization).

Lazimnya, kita tidak melihat pengkomputeran (computation) dalam sudut pandang sistem fizik. Kita melihat pengkomputeran hanyalah sebagai teori ataupun satu operasi matematik. Tapi, sama ada dilakukan oleh mesin elektronik, oleh sempoa atau oleh sistem biologi seperti otak, pengiraan adalah sebenarnya proses fizikal. Ianya terdiri daripada satu set arahan (kita panggil algoritma) yang dilaksanakan melalui proses fizikal.⁹

Misalannya, “2 + 3”. Sebelum apa-apa pengiraan dibuat, input “2” dan “3” adalah kuantiti abstrak yang perlu kita kodkan ke dalam sistem fizikal. Bagi mesin elektronik, pengkodan ini berlaku dengan perubahan voltan pada get transistor pada mikrocip silikon. Bagi sempoa, pergerakan manik-manik dan dalam otak proses konduksian elektrik antara sel-sel neuron. Daripada kuantiti abstrak tadi, hasilnya “5” adalah natijah daripada proses fizikal.¹⁰ Oleh itu, pengendalian maklumat (daripada pengkomputeran) tidak dapat dipisahkan daripada alam fizikal yang dicerap yang tersurat dan tersirat hukum-hukumnya.¹¹

Barangkali, dualiti antara sistem fizikal dan pengkomputeran inilah yang menginspirasi ahli sains seperti Hopfield dan Hinton.

Sekitar 1980-an, rangkaian neuronan bukanlah topik yang menarik di mata saintis komputer. Menurut cerita, lewat 1970-an Minsky dan Papert telah “membunuh” kajian dalam rangkaian neuranan dengan mengatakan rangkaian neuronan tidak boleh pergi jauh, hanya sekadar “model permainan” (toy model) sahaja. Lagipun ketika itu, komuniti sains masih tidak tahu mereka bentuk algoritma kecerdasan buatan yang selari (parallel), cekap dan mudah untuk digunakan.¹² Namun masih ada ahli sains yang kekal percaya seperti Hopfield dan Hinton (juga Yann LeCun).

Minat fizikawan dalam rangkaian neuronan lahir daripada kesamaan/dualiti rangkaian neuronan ini dengan mekanik statistik. Pada 1982, John Hopfield dan 1985, Hinton mempersembahkan idea model berasaskan tenaga (energy-based model, EBM) yang dipinjam daripada mekanik statistik.

(a) Persamaan tenaga Hopfield

(b) Senibina Hopfield yang simetri

Figure 4: Persamaan tenaga yang digunakan model Hopfield¹³

Bayangkan seorang saintis dengan matlamat untuk mereka bentuk sistem fizikal yang mampu “belajar” dan mengingat corak. Pilihan (untuk belajar) yang paling mudah adalah menggunakan telatah rawak zarah. Matlamatnya adalah untuk mendapatkan satu sistem berkebarangkalian sifatnya (probabilistic), yang memanfaatkan kerawakan tadi untuk membuat “kesimpulan am” (to generalize) pada corak yang dipelajari.¹⁴

(a) Persamaan tenaga Boltzman

(b) Senibina Hinton

Figure 5: Persamaan tenaga yang digunakan model Hinton¹⁴

Tetapi selalunya, sistem fizikal adalah kompleks. Untuk mendapatkan “kesimpulan am” yakni belajar semua corak dengan “lengkap” dan “cekap” adalah sukar. Jadi, hanya maklumat kasar sahaja dapat di “peta”kan. Ini bermakna kita hanya dapat menjejak sifat makroskopik. Contoh untuk maklumat kasar sedemikian ialah jumlah tenaga. Jika, jumlah tenaga suatu sistem ditakrifkan sebagai satu fungsi tenaga E(x) yang memberikan nilai tenaga kepada semua keadaan yang mungkin. Keadaan sistem n-zarah boleh diterangkan sebagai x = (x₁,x₂,…,xₙ), di mana xᵢ menandakan darjah kebebasan yang relevan bagi zarah ke-i.¹⁵

Seterusnya, apakah pula taburan kebarangkalian P(x) yang boleh diberikan kepada keadaan x dengan tenaga E(x)? Yang paling munasabah adalah untuk memilih taburan yang memaksimumkan entropi kerana model entropi maksimum mengurangkan berat sebelah (bias) yang dibina dalam model. Akhirnya, P(x) ialah penyelesaian kepada masalah pengoptimuman di mana ianya menyerupai taburan Boltzmann!

Figure 6: Kesamaan P(x) dalam fizik dan pembelajaran dalaman: Taburan Boltzmann¹⁶

Daripada fizik statistik, taburan Boltzmann, akan membantu kita mengoptimumkan tenaga berdasarkan suhu tentu. Matlamat utama fizik statistik ialah untuk mendapatkan kuantiti yang dicerap daripada hukum mikroskopik. Dalam model Ising misalnya ialah satu model yang menerangkan interaksi antara magnet asas (spin), yang matlamatnya ialah untuk memperoleh cerapan seperti kemagnetan spin dan korelasinya.

Jadi, daripada perspektif Hopfield dan Hinton, mengoptimuman tenaga E(x) bermaksud “belajar” dan keadaan optimum adalah corak yang “di ingat”. Aktiviti inferens, akan akan selalu bersifat “berkebarangkalian” (Figure 6).

Figure 7: Pembelajaran melalui lanskap tenaga¹⁷

Menurut W. Daniel Hillis¹⁸, Richard P. Feynman, seorang fizikawan terkenal dan juga antara pemenang Hadiah Nobel untuk Fizik tahun 1965, semasa “bekerja” di Thinking Machine Corp, berkesempatan memprogramkan menggunakan bahasa pengaturcaraan BASIC model Hopfield ke atas Connection Machine (superkomputer).

Figure 8: Feynman dengan baju korporat Thinking Machine Corp

Rangkaian neuron tidak mempunyai “tenaga” (Figure 7) seperti model fizik statistik. Ianya hanyalah simulasi komputer yang terinspirasi daripada hukum fizik.

Model Hopfield (Figure 4) adalah apa yang kita panggil “one-short learner” dan mempunyai beberapa kekangan. Jadi, model mesin Boltzmann (Figure 5) daripada Hinton bersama-sama dengan teknik rambatan balik “memperbaiki” model Hopfield dengan lapisan tersorok (hidden layer) dan bersifat stokastik atau bersifat “berkebarangkalian”. Satu lagi kekuatan makalah Hinton tentang teknik rambatan balik adalah pembelajaran perwakilan (representation learning). Barangkali sebab inilah kenapa Hinton dipanggil “Godfather AI”¹⁹ oleh Andrew Ng (sebelumnya dipanggil “Godfather of Deep Learning”).

Figure 9: Tweet daripada Yann sempena Hadiah Nobel Fizik 2024²⁰

Berbaloi juga disebutkan sumbangan Yann LeCun. Beliau, semasa di Makmal Bell (1989) membangunkan LeNet (yang menjadi inspirasi kepada seni bina AlexNet), yang kini berkembang pesat dan disebut rangkaian neuronan berkonvolusi (convolution neural network).

Figure 10: Senibina LeNet²¹

Penggunaan pembelajaran mesin dalam fizik

Sebelum kita menjengah bagaimana pembelajaran mendalam yang memanfaatkan rangkaian neuronan memberi dampak kepada fizik, molek untuk kita tinjau unit pemprosesan grafik (GPU).

Secara tradisinya, GPU ialah satu peranti persisian dalam komputer yang tugas hakikinya untuk memaparkan grafik. Tetapi sekitar tahun GPU bertujuan umum (GPGPU) atau perkomputeran GPU (GPU computing) mula mendapat tempat dikalangan penyelidik apabila NVIDIA memperkenalkan CUDA dan GeForce 8800²² yang membolehkan GPU diaturcarakan untuk tujuan pengiraan saintifik (yang berganda-ganda lebih pantas daripada CPU!).

Pembelajaran mesin memainkan peranan utama dalam memproses data di pemecut zarah. Penggunaan rangkaian neuronan teruatamanya dalam fizik zarah bertenaga tinggi (high energy physics, HEP) adalah satu yang biasa. Penggunaannya berlaku pada dua peringkat: penapisan dalam talian (online filtering) semasa pemecut zarah sedang dalam operasi, dan analisis data luar talian (offline analysis) setelah ia data direkodkan.²³

(a) Higgs di pakatan CMS²⁴

(b) Higgs di pakatan ATLAS²⁵

Figure 11: Analisis plot boson higgs oleh pakatan CMS dan ATLAS di CERN

Teleskop Event Horizon (EHT) juga menggunakan analisis pembelajaran mesin untuk mendapat imej lohong hitam.

Figure 12: Imej Lohong hitam M87*²⁶

Melihat ke hadapan

Kini, gaya hidup, cara fikir dan cara kerja semuanya tidak lagi berada dalam keadaan statik tetapi dinamik sifatnya. Dengan perkembangan pesat teknologi berdasarkan pembelajaran mendalam, pelbagai aplikasi muncul seperti ChatGPT, AI generatif (generative AI) dan pelbagai lagi. Walaupun teknologi baru ini masih tidak boleh menandingi kecerdasan tabii, kita sudah boleh “berbicara” dengan komputer dengan bahasa tabii (natural language) yang memberi pulangan dari segi komersial dan meningkat kecekapan kerja harian kita di pejabat.

Di samping memelihara tradisi pengkajian fizik yang sedia ada, AI generatif misalnya boleh membantu sebagai penyelidik maya (virtual research assistant) dalam menyokong penyelesaian masalah matematik kompleks yang tertentu atau membuat analisis daripada cerapan eksperimen.

(a) Masalah Lanskap²⁷

(b) Penyelesaian Masalah Lanskap dengan AI²⁸

Figure 13: Masalah lanskap dalam fizik teori tetali

Bayangkan penggunaan rangkaian neuronan (atau keadah pembelajaran mesin yang lain) melalui senibina tertentu, dalam membantu masalah landskap tenaga dalam teori tetali (masalah ini berkait rapat dalam pengujian teori tetali bereksperimen). Mungkin inlah yang Wolfram maksudkan sebagai “New Kind of Science”.²⁹

Walaupun Hadiah Nobel Fizik tahun ini di inspirasi daripada fizik dan tidak menyelesaikan apa-apa masalah “besar” fizik, kita juga tidak dapat menolak sumbangan besar rangkaian neuroanan ini kepada manusia. Dan ini bertepatan dengan wasiat Nobel sendiri “… yang memberi sumbangan terbesar kepada manusia sejagat”.³⁰

Figure 14: Gambaran masalah pusat data moden yang mesra AI³¹

Untuk kita – penyelidik sains - di tanahair, penggunakan AI harus melangkaui tugas-tugasan pentadbiran (misalnya membuat “powerpoint” atau membantu menjana isi-isi penting untuk makalah atau mengisi borang permohonan geran penyelidikan). Pengunaan AI juga “mesti” melewati batas sains (frontier of science), keluar daripada kepompong “pengguna” (user) dan melangkah ke ruang inovasi.

Portal Data Terbuka Malaysia, walaupun bagus, masih tidak bermanfaat untuk sains tabii. Langkah awal seperti portal data terbuka CERN (CERN Open Data)³² atau platform Kaggle³³ yang tersedia data-data lama (dan baharu) daripada eksperimen, tersedia dan terbuka untuk analisis harus dimulakan oleh universiti tempatan (dan swasta).

Figure 15: Masalah AI yang” belum selesai” diungkapkan dalam bait puisi³⁴

Namun, itulah hakikat hidup³⁵, fikir sekali akan meninggalkan kesimpulan yang begitu tipis. Fikir kali kedua mungkin berbeda (rajah 15). Agaknya, apakah fikiran tuan dan puan setelah mengenal sumbangan rangkaian neuronan kepada kehidupan seharian kita?

Rujukan

1.

Preskill, J. Simulating quantum field theory with a quantum computer. (2018).

2.

Lloyd, S. Ultimate physical limits to computation. (2000).

3.

DataRobot.com. The importance of machine learning data. (2020).

4.

ImpiCode.com. Simple neural network. (2020).

5.

Krizhevsky, A., Sutskever, I. & Hinton, G. E. ImageNet classification with deep convolutional neural networks. in (2012).

6.

qz.com. The inside story of how AI got good enough to dominate silicon valley. (2018).

7.

David E Rumelhart, G. E., Hinton & Williams, R. J. Learning representations by back-propagating errors. (1986).

8.

NVIDIA. Introduction to deep learning. (2015).

9.

Bennett, C. H. & Landauer, R. The fundamental physical limits of computation. (1985).

10.

Barenco, A. Quantum physics and computers. (1996).

11.

Landauer, R. Computation: A fundamental physical view. Physica Scripta 35, 88 (1987).

12.

Kowalik, J. S. Parallel computation and computers for artificial intelligence. (1988).

13.

Hopfield, J. J. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences 79, 2554–2558 (1982).

14.

Ackley, D. H., Hinton, G. E. & Sejnowski, T. J. A learning algorithm for boltzmann machines. Cognitive Science 9, 147–169 (1985).

15.

Patrick Huembeli, N. K., Juan Miguel Arrazola & Wittek, P. The physics of energy-based models. (2018).

16.

Liu, H. Understanding boltzmann distribution and neural networks. (2024).

17.

Cook, C., Jin, W. & Tan, S. X. -D. GPU-based ising computing for solving balanced min-cut graph partitioning problem. (2019).

18.

Hillis, W. D. Richard feynman and the connection machine. Physics Today 42, 78–83 (1989).

19.

Ng, A. Congrats geoff and john! (2024).

20.

yann. Congrats geoff and john! (2024).

21.

LeCun, Y. et al. Backpropagation applied to handwritten zip code recognition. Neural Computation 1, 541–551 (1989).

22.

nvidia. Techical brief: NVIDIA GeForce 8800 GPU architecture overview. (2006).

23.

Sadowski, P., Baldi, P. & Whiteson, D. Searching for higgs boson decay modes with deep learning. in Proceedings of the 27th international conference on neural information processing systems - volume 2 2393–2401 (MIT Press, 2014).

24.

Chatrchyan, S. et al. Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC. Physics Letters B 716, 30–61 (2012).

25.

Aad, G. et al. Observation of a new particle in the search for the standard model higgs boson with the ATLAS detector at the LHC. Physics Letters B 716, 1–29 (2012).

26.

Akiyama, K. Photographing black holes with the event horizon telescope. (2021).

27.

Palti, E. The swampland and string theory. Contemporary Physics 62, 165–179 (2021).

28.

Carifio, J., Halverson, J., Krioukov, D. & Nelson, B. D. Machine learning in the string landscape. Journal of High Energy Physics 2017, (2017).

29.

Wolfram, S. A new kind of science: A 15-year view. (2017).

30.

Nobel.org. About the nobel prize.

31.

Techspot.com. How to build a server in "100 easy steps": The growing pains of modern data centers. (2024).

32.

CERN. CERN open data.

33.

Kaggle.com. Higgs boson machine learning challenge.

34.

Abdullah, W. A. T. W. 8 puisi bebas ruang & 8 sajak budak tepi sungai. (2006).

35.

Hussain, A. Perjalanan mencari bahasa. (2001).