Hai nhà khoa học đạt giải Nobel Vật lý năm 2024, GS. John Hopfield và GS. Geoffrey Hinton, đã sử dụng các công cụ vật lý để xây dựng các phương pháp giúp đặt nền móng cho mô hình học máy mạnh mẽ hiện nay. John Hopfield tạo ra một cấu trúc có thể lưu trữ và tái xây dựng thông tin. Geoffrey Hinton phát minh ra phương pháp có thể khám phá một cách độc lập các thuộc tính trong dữ liệu và phương pháp này đã trở nên quan trọng đối với các mạng nơ-ron (neural network) nhân tạo lớn đang được sử dụng ngày nay.
Nhiều người từng trải nghiệm việc máy tính có thể dịch các ngôn ngữ, phân tích hình ảnh và thậm chí tạo nên các cuộc hội thoại đầy lý tính. Điều có lẽ ít được biết đến hơn là loại công nghệ này đã từ lâu rất quan trọng trong nghiên cứu, bao gồm việc sắp xếp và phân tích lượng khổng lồ dữ liệu. Sự phát triển của kỹ thuật học máy cũng đã bùng nổ trong khoảng 15 – 20 năm qua sử dụng một cấu trúc gọi là mạng nơ-ron nhân tạo. Ngày nay, đây chính là loại công nghệ mà con người ám chỉ khi nói về trí tuệ nhân tạo (AI).
Mặc dù máy móc không thể suy nghĩ, nhưng máy có thể bắt chước nhiều chức năng như ghi nhớ và học tập. Nobel Vật lý năm nay đã trao cho những nhà khoa học đặt nền tảng giúp điều trên trở thành hiện thực. Bằng cách sử dụng các khái niệm và phương pháp cơ bản của vật lý, các nhà khoa học đã phát triển các công nghệ sử dụng các cấu trúc trong mạng để xử lý thông tin.
Học máy khác với phần mềm truyền thống vốn hoạt động như một loại công thức. Phần mềm tiếp nhận dữ liệu được xử lý theo một phương cách mô tả rõ ràng và tạo ra kết quả, giống như việc ai đó tập hợp các thành phần và chế biến theo một công thức có sẵn để làm ra một chiếc bánh. Thay vì thế, trong học máy, máy tính học thông qua ví dụ, cho phép nó giải quyết các vấn đề có bản chất quá mơ hồ và phức tạp để có thể được quản lý bằng các chỉ dẫn theo từng bước. Một ví dụ cho việc này là việc phân tích một bức tranh để nhận dạng các đối tượng trong đó.
Mô phỏng bộ não con người
Mạng nơ-ron nhân tạo xử lý thông tin bằng cách sử dụng toàn bộ cấu trúc của mạng lưới. Cảm hứng ban đầu của ý tưởng này đến từ mong muốn tìm hiểu cách bộ não của chúng ta hoạt động. Vào những năm 1940, các nhà nghiên cứu bắt đầu ứng dụng toán học làm nền tảng cho mạng lưới các nơ-ron và khớp thần kinh trong não. Một nguồn cảm hứng khác của ý tưởng trên đến từ tâm lý học, nhờ vào giả thuyết của nhà thần kinh học Donald Hebb về cách học tập diễn ra khi các kết nối giữa các nơ-ron được củng cố khi chúng hoạt động cùng nhau.
Tiếp đến, các ý tưởng trên được kế tục bằng các nỗ lực tái tạo cách thức hoạt động của mạng lưới bộ não thông qua việc xây dựng các mạng nơ-ron nhân tạo như các mô phỏng trên máy tính. Trong đó, các nơ-ron của não bộ được mô phỏng bằng các “nút” (node) có giá trị khác nhau, và các khớp thần kinh được đại diện bằng những kết nối giữa các nút mà có khả năng được làm mạnh lên hoặc làm yếu đi. Giả thuyết của Hebb vẫn được sử dụng như một trong những quy tắc cơ bản để cập nhật các mạng nơ-ron nhân tạo thông qua quá trình gọi là huấn luyện.

Cuối những năm 1960, một số kết quả lý thuyết không như ý đã gây nên sự ngờ vực của các nhà nghiên cứu, rằng các mạng nơ-ron sẽ không bao giờ có thể ứng dụng trên thực tế. Tuy vậy, sự quan tâm đến mạng nơ-ron nhân tạo trỗi dậy vào những năm 1980, khi nhiều ý tưởng đột phá tạo nên tác động lớn, trong đó có nghiên cứu của các nhà Nobel năm nay.
Trí nhớ liên kết
Hãy tưởng tượng rằng bạn đang cố nhớ một từ hiếm khi sử dụng, chẳng hạn như từ chỉ sàn dốc thường thấy trong các rạp chiếu phim và giảng đường. Bạn lục tìm nó trong ký ức của mình. Nó có thể là “ramp“… có thể là “rad…ial“? Không, không phải. “Rake“, đúng rồi!
Quá trình tìm kiếm qua các từ tương tự để tìm từ đúng giống với trí nhớ liên kết mà nhà vật lý John Hopfield phát hiện vào năm 1982. Mạng Hopfield có thể lưu trữ các mẫu và có phương pháp để tái tạo chúng. Khi mạng được cung cấp một mẫu không đầy đủ hoặc bị méo, phương pháp đó có thể tìm thấy mẫu đã lưu với tính chất giống nhất.
Hopfield đã sử dụng nền tảng vật lý của mình để khám phá các vấn đề lý thuyết trong sinh học phân tử. Khi ông được mời tham dự một cuộc họp của khoa thần kinh, ông đã chú ý đến nghiên cứu về cấu trúc của não bộ, bị cuốn hút và bắt đầu suy nghĩ về động lực của các mạng nơ-ron đơn giản. Khi các nơ-ron hoạt động cùng nhau, chúng có thể tạo ra các đặc điểm mới và mạnh mẽ mà không thể thấy được khi chỉ nhìn vào các thành phần riêng lẻ của mạng.
Năm 1980, Hopfield bỏ Đại học Princeton, nơi các nghiên cứu tâm đắc của ông đã đưa ông vượt ra ngoài lĩnh vực vật lý mà đồng nghiệp của ông đang làm. Ông được nhận một ghế giáo sư hóa học và sinh học ở Caltech, Mỹ; nơi đây, ông có quyền truy cập vào các tài nguyên máy tính để phát triển ý tưởng về các mạng nơ-ron.
Tuy nhiên, ông vẫn không rời bỏ nền tảng vật lý của mình nơi ông tìm thấy nguồn cảm hứng để hiểu cách các hệ thống với nhiều thành phần nhỏ hoạt động cùng nhau có thể tạo nên các hiện tượng mới và hấp dẫn. Ông đặc biệt hưởng lợi nhờ có kiến thức sâu sắc về các vật liệu từ – các vật liệu có các tính chất đặc biệt nhờ pin nguyên tử của chúng làm cho mỗi nguyên tử sở hữu một giá trị từ tính. Spin của các nguyên tử gần nhau ảnh hưởng lẫn nhau, nhờ đó có khả năng tạo nên các “vùng” (domain) có spin đẳng hướng. Ông đã có thể tạo ra một mạng mô hình với các nút và kết nối bằng cách ứng dụng vật lý để mô tả cách thức vật liệu phát triển khi có spin ảnh hưởng lẫn nhau.
Mạng lưu hình ảnh trong một “vùng” năng lượng (energy landscape)
Mạng mà Hopfield xây dựng có các nút được liên kết với nhau bằng các kết nối có độ mạnh khác nhau. Mỗi nút có thể lưu trữ một giá trị riêng – trong công trình đầu tiên của Hopfield thì giá trị này có thể là 0 hoặc 1, giống như các điểm ảnh trong một bức ảnh đen trắng.
Hopfield đã mô tả trạng thái tổng thể của mạng với một thuộc tính tương đương với năng lượng trong hệ thống spin được quan sát trong vật lý; năng lượng này được tính toán bằng một công thức sử dụng tất cả các giá trị của các nút và tất cả các kết nối giữa chúng. Mạng Hopfield được lập trình bằng cách cho một hình ảnh vào các nút có giá trị bằng 0 (màu đen) hoặc 1 (màu trắng). Các kết nối mạng sau đó được điều chỉnh sử dụng công thức năng lượng để làm sao hình ảnh đã lưu có năng lượng thấp. Khi một mẫu khác được đưa vào mạng, có một quy tắc cho phép đi qua các nút từng chiếc một và kiểm tra liệu rằng mạng ở mức năng lượng thấp nếu giá trị của nút thay đổi hay không. Trường hợp năng lượng giảm nếu 1 điểm đen là trắng, sự đổi màu xảy ra. Quá trình này tiếp tục cho đến khi không thể tìm ra bất kì sự cải tiến nào nữa, và mạng sẽ tái tạo hình ảnh ban đầu.
Việc này có thể không quá ấn tượng nếu chỉ lưu một mẫu. Ta có thể tự hỏi tại sao không lưu trực tiếp hình ảnh và so sánh với hình ảnh đang được kiểm tra, tuy nhiên, phương pháp của Hopfield đặc biệt ở chỗ nó cho phép lưu trữ nhiều hình ảnh cùng lúc và mạng lưới có thể thường xuyên phân biệt giữa chúng.
Hopfield ví việc tìm kiếm trạng thái đã lưu trong mạng giống như việc lăn một quả bóng qua một quang cảnh đầy đỉnh núi và thung lũng, với lực ma sát làm chậm chuyển động của quả bóng. Nếu quả bóng được thả tại một vị trí cụ thể, nó sẽ lăn về phía thung lũng gần nhất và dừng lại. Tương tự, nếu mạng được cung cấp một mẫu gần giống với một trong các mẫu đã lưu, nó sẽ tiếp tục di chuyển cho đến khi kết thúc tại đáy thung lũng trong một vùng năng lượng, từ đó tìm ra mẫu gần nhất trong bộ nhớ. Mạng Hopfield có thể được sử dụng để tái tạo dữ liệu bị nhiễu hoặc bị xóa một phần.

Hopfield và các nhà nghiên cứu khác đã tiếp tục phát triển chi tiết về cách thức mạng Hopfield hoạt động, bao gồm các nút có thể lưu trữ bất kỳ giá trị nào, không chỉ là 0 hoặc 1. Nếu bạn hình dung các nút như các điểm ảnh (pixel) trong một bức ảnh, chúng có thể có các màu sắc khác nhau, không chỉ là đen hoặc trắng. Các phương pháp cải tiến đã làm cho việc lưu trữ nhiều hình ảnh trở nên khả thi hơn và có thể phân biệt giữa chúng ngay cả khi chúng khá giống nhau. Cũng vậy, có thể xác định hoặc tái tạo bất kỳ thông tin nào, miễn là nó được xây dựng từ nhiều điểm dữ liệu.
Ứng dụng vật lý thế kỷ XIX để phân loại
Nhớ một hình ảnh là một chuyện, nhưng giải thích cái gì hình ảnh mô tả đòi hỏi nhiều hơn. Ngay cả trẻ em rất nhỏ cũng có thể phân biệt các con vật khác nhau và tự tin chỉ ra đâu là chó, mèo hay sóc. Đôi khi chúng có thể sai đôi khi, nhưng rất nhanh chóng chúng sẽ nhận diện đúng gần như mọi lúc. Trẻ em có thể học điều này mà không cần nhìn thấy bất kỳ sơ đồ hoặc giải thích khái niệm nào như về các loài hay động vật có vú. Sau khi gặp vài ví dụ về mỗi loại động vật, các nhóm khác nhau sẽ được xếp vào đúng chỗ trong bộ não đứa trẻ. Con người học để nhận ra một con mèo, hoặc hiểu nghĩa một từ, hoặc vào một phòng và chú ý đến những chi tiết thay đổi, chỉ bằng cách trải nghiệm môi trường bao quanh.
Khi Hopfield công bố bài báo của mình về trí nhớ liên kết, Geoffrey Hinton khi đó đang làm việc tại Đại học Carnegie Mellon ở Pittsburgh, Hoa Kỳ. Ông trước đó nghiên cứu tâm lý học thực nghiệm và trí tuệ nhân tạo ở Anh và Scotland, tiếp cận vấn đề máy móc có thể học cách xử lý các mô hình giống như con người hay không. Cùng với đồng nghiệp Terrence Sejnowski, Hinton bắt đầu từ mạng Hopfield và mở rộng nó bằng cách sử dụng các ý tưởng vật lý thống kê.
Vật lý thống kê mô tả các hệ thống bao gồm nhiều phần tử tương tự, chẳng hạn như các phân tử trong một loại khí. Việc theo dõi tất cả các phân tử riêng lẻ trong khí là rất khó hoặc không thể, nhưng có thể đánh giá chúng một cách tổng thể để xác định các thuộc tính như áp suất, nhiệt độ. Có nhiều cách tiềm năng để các phân tử khí lan tỏa thể tích của nó với các tốc độ riêng lẻ mà vẫn tạo ra cùng các đặc tính tổng thể.
Các trạng thái mà các thành phần riêng rẽ có thể tồn tại cùng nhau được phân tích bằng vật lý thống kê, và tính được xác suất xảy ra; một số trạng thái có xác suất cao hơn các trạng thái khác và phụ thuộc vào lượng năng lượng sẵn có, được mô tả trong phương trình phân bố của nhà vật lý Ludwig Boltzmann. Mạng Hinton ứng dụng phương trình Boltzmann, và phương pháp này đã được công bố vào năm 1985 với tên gọi nổi bật là máy Boltzmann.
Nhận dạng các ví dụ mới cùng loại
Máy Boltzmann thường được sử dụng với hai loại nút khác nhau. Thông tin được đưa vào một nhóm gọi là các nút nhìn thấy. Các nút khác tạo thành một lớp ẩn. Các giá trị và kết nối của các nút ẩn cũng đóng góp vào năng lượng tổng thể của mạng.
Máy được vận hành bằng cách áp dụng quy tắc để cập nhật các giá trị của các nút lần lượt. Cuối cùng, máy sẽ đạt đến một trạng thái mà mẫu của các nút có thể thay đổi, nhưng các thuộc tính của toàn bộ mạng vẫn giữ nguyên. Mỗi mẫu có thể sẽ có một xác suất cụ thể được xác định bởi năng lượng của mạng theo phương trình Boltzmann. Khi máy dừng lại, nó đã tạo ra một mẫu mới, khiến máy Boltzmann trở thành một ví dụ ban đầu về mô hình tạo sinh.

Máy Boltzmann có thể học từ ví dụ thay vì từ các chỉ dẫn. Nó được huấn luyện bằng cách cập nhật các giá trị trong các kết nối của mạng để các mẫu ví dụ được đưa vào các nút nhìn thấy trong quá trình huấn luyện có xác suất xảy ra cao nhất khi máy được vận hành. Nếu cùng một mẫu được lặp lại nhiều lần trong quá trình huấn luyện, xác suất cho mẫu này càng cao. Việc huấn luyện cũng ảnh hưởng đến xác suất các mẫu mới đầu ra giống với các ví dụ mà máy được huấn luyện.
Một máy Boltzmann đã được huấn luyện có thể nhận ra các đặc điểm quen thuộc trong thông tin mà nó chưa từng thấy trước đó. Hãy tưởng tượng chúng ta gặp anh chị em của một người bạn và ngay lập tức bạn có thể thấy họ có quan hệ họ hàng dù chưa có thông tin về họ. Theo cách tương tự, máy Boltzmann có thể nhận ra một ví dụ hoàn toàn mới nếu nó thuộc về một loại đã được tìm thấy trong tài liệu huấn luyện và phân biệt nó với tài liệu không giống. Trong hình thức ban đầu, máy Boltzmann khá kém hiệu quả và mất nhiều thời gian để tìm ra giải pháp. Máy trở nên hấp dẫn và hiệu quả hơn khi được phát triển theo nhiều cách khác nhau, nhờ công khám phá của Hinton.
Trong những năm 1990, nhiều nhà nghiên cứu trở nên thờ ơ với các mạng nơ-ron nhân tạo; Hinton là một trong những người kiên nhẫn trong lĩnh vực này. Ông cũng đã giúp tạo ra những khám phá mới đầy thú vị. Năm 2006, Hinton và các đồng nghiệp Simon Osindero, Yee Whye Teh và Ruslan Salakhutdinov đã phát triển một phương pháp tiền huấn luyện một mạng với một chuỗi máy Boltzmann dạng lớp, xếp chồng lên nhau. Tiền huấn luyện giúp các kết nối trong mạng có điểm xuất phát tốt hơn giúp tối ưu hóa việc huấn luyện của mạng để nhận ra các yếu tố trong bức hình. Máy Boltzmann thường được sử dụng như một phần của mạng lớn hơn, ví dụ, trong việc gợi ý phim hoặc chương trình truyền hình dựa trên sở thích của người xem.
Học máy – hiện tại và tương lai
Các công trình của John Hopfield và Geoffrey Hinton từ những năm 1980 đã đặt nền móng cho cuộc cách mạng học máy bắt đầu từ khoảng năm 2010. Sự phát triển mà chúng ta đang chứng kiến ngày nay có được nhờ vào lượng dữ liệu khổng lồ được sử dụng để huấn luyện các mạng, và sự gia tăng đáng kinh ngạc về sức mạnh tính toán. Các mạng nơ-ron nhân tạo ngày nay thường khổng lồ và được xây dựng từ nhiều lớp. Những mạng này được gọi là mạng nơ-ron sâu, và cách chúng được huấn luyện được gọi là học sâu (deep learning).
Một cái nhìn nhanh, bài báo của Hopfield về trí nhớ liên kết từ năm 1982 đã mang đến nhận thức về sự phát triển này. Trong bài báo, ông sử dụng một mạng với 30 nút. Nếu tất cả các nút được kết nối với nhau, sẽ có 435 kết nối. Các nút có các giá trị của chúng, các kết nối có các độ mạnh khác nhau và tổng cộng, có chưa đến 500 tham số cần theo dõi. Ông cũng đã thử với một mạng có 100 nút, nhưng điều này quá phức tạp với máy tính mà ông sử dụng vào thời điểm đó. Chúng ta có thể so sánh điều này với các mô hình ngôn ngữ lớn hiện nay, được xây dựng thành các mạng có thể chứa hơn một nghìn tỷ tham số.
Nhiều nhà nghiên cứu hiện đang phát triển các lĩnh vực ứng dụng của học máy. Những ứng dụng nào khả thi nhất vẫn còn là câu hỏi, trong khi cũng có nhiều cuộc thảo luận rộng rãi về các vấn đề đạo đức xung quanh sự phát triển và sử dụng công nghệ này.
Vì vật lý đã đóng góp các công cụ cho sự phát triển của công nghệ học máy, sẽ rất thú vị khi thấy cách vật lý như một lĩnh vực nghiên cứu cũng đang được hưởng lợi từ các mạng nơ-ron nhân tạo. Học máy từ lâu đã được sử dụng trong các lĩnh vực mà chúng ta quen thuộc từ các giải Nobel Vật lý trước đây, bao gồm việc lọc và xử lý lượng dữ liệu khổng lồ để phát hiện ra hạt Higgs, giảm tiếng ồn trong các phép đo sóng hấp dẫn từ các vụ va chạm của lỗ đen vũ trụ, hoặc tìm kiếm các ngoại hành tinh.
Trong những năm gần đây, học máy cũng bắt đầu được sử dụng khi tính toán và dự đoán các thuộc tính của phân tử và vật liệu, chẳng hạn như tính toán cấu trúc của protein quyết định chức năng của chúng, hoặc tìm ra những phiên bản mới của vật liệu có thể có các thuộc tính tốt nhất cho việc sử dụng trong các pin năng lượng mặt trời.
Biên dịch: Quỹ đổi mới sáng tạo Vingroup (VinIF).
Nguồn: https://www.nobelprize.org/uploads/2024/10/popular-physicsprize2024.pdf