Geoffrey Everest Hinton

G.Hinton podczas wystąpienia, po otrzymaniu Nagrody Nobla, Sztokholm, 2024
Państwo działania	Kanada, Wielka Brytania
Data i miejsce urodzenia	6 grudnia 1947 Londyn
profesor
Specjalność: informatyka, psychologia poznawcza
Alma Mater	University of Cambridge Uniwersytet Edynburski
Uczelnia	University of Toronto
Odznaczenia
Nagrody
Nagroda Nobla w dziedzinie fizyki
Multimedia w Wikimedia Commons
Strona internetowa

Geoffrey Everest Hinton CC FRS FRSC FAAAI (ur. 6 grudnia 1947 w Londynie)^[1] – kanadyjsko-brytyjski informatyk, psycholog poznawczy, najbardziej znany ze swoich prac nad sztucznymi sieciami neuronowymi, jeden z pionierów sztucznej inteligencji, nazywany jej ojcem chrzestnym. Profesor emeritus (od 2014) Uniwersytetu w Toronto. W 2024 otrzymał Nagrodę Nobla w dziedzinie fizyki za „fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe z wykorzystaniem sztucznych sieci neuronowych”^[2]. Nagrodę Nobla otrzymał wspólnie z Johnem Hopfieldem.

Urodził się w 1947 r. w londyńskiej dzielnicy Wimbledon, w rodzinie z tradycjami naukowymi. Jego prapradziadkiem był George Boole, żonaty z Mary Boole(inne języki). Sebastian Hinton, wynalazca, był jego wujem, a stryjeczny dziadek, Charles Howard Hinton, matematyk i pisarz, zasłynął jako twórca koncepcji czwartego wymiaru. Wśród jego krewnych znajdowała się również Joan Hinton, fizyczka nuklearna związana z projektem Manhattan, oraz stryjeczna ciotka, Ethel Lilian Voynich – pisarka i kompozytorka. Jego ojcem był entomolog Howard Hinton^[3]. Jego drugie imię pochodzi od innego krewnego, George’a Everesta, generalnego geodety Indii, na cześć którego najwyższemu szczytowi na Ziemi nadano nazwę Mount Everest^[4].

Na University of Cambridge początkowo zamierzał studiować fizjologię i fizykę, po czym krótko zgłębiał filozofię, ale ostatecznie uzyskał dyplom w 1970 r. w zakresie psychologii eksperymentalnej. Po studiach krótko pracował jako stolarz, ale w 1972 r. wrócił do nauki. W 1977 r., na Uniwersytecie w Edynburgu, na podstawie rozprawy Relaxation and its Role in Vision uzyskał doktorat w zakresie prac nad sieciami neuronowymi^[3]. Promotorem pracy był Christopher Longuet-Higgins^[5][6][1]. Tematyka prowadzonych przez Hintona badań nie wzbudzała wówczas zainteresowania, stąd też trudno było o jej finansowanie. Hinton wyemigrował do Stanów Zjednoczonych, gdzie dołączył do grupy psychologów poznawczych jako postdoc na University of California, San Diego. W dwóch artykułach z 1986 r. spopularyzował również opracowane wyniku prac z Ronaldem J. Williamsem(inne języki) pojęcie propagacji wstecznej. Pozwoliła ona pokonać ograniczenia opisane wcześniej przez Marvina Minsky′ego^[1].

Gdy w USA badania nad systemami głębokiego uczenia się i komputerowymi sieciami neuronowymi nie były doceniane, przeniósł się do Kanady^[7]. W 1987 r. przyjął ofertę Canadian Institute of Advanced Research i zainaugurował tam program Learning in Machines and Brain^[3], tworząc prężny ośrodek badawczy na Uniwersytecie w Toronto^[7]. Od 1998 do 2001 r. pracował w Gatsby Computational Neuroscience Unit at University College London, po czym wrócił do Toronto^[1]. W 2012 r. wraz z zespołem wygrał doroczny konkurs ImageNet, prezentując komputerowy system, który potrafił rozpoznać 1000 obiektów dzięki głębokiemu uczeniu. W 2013 r. jego firma DNNresearch Inc. została przejęta przez Google, a on sam pracował od tej pory dla tego koncernu^[3].

W 2014 r. odszedł na uczelnianą emeryturę i założył w Toronto oddział Google Brain(inne języki). Od 2017 r. pracował wolontariacko jako główny doradca naukowy Toronto’s Vector Institute w projekcie wdrożenia uczenia maszynowego na potrzeby kanadyjskiej opieki zdrowotnej i innych usług publicznych^[1].

Hinton jest postrzegany jako wiodąca postać w nurcie badań naukowych głębokiego uczenia się^{[8][9][10][11][12]}.

Hinton wspólnie z Davidem Ackleyem i Terrym Sejnowskim wynaleźli maszyny Boltzmanna^[13]. Jego inny wkład w badania sieci neuronowych obejmują reprezentacje rozproszone, sieci neuronowe z opóźnieniem czasowym, mieszanki ekspertów, maszyny Helmholtza i produkt ekspertów. W 2007 roku Hinton był współautorem artykułu dotyczącego uczenia się bez nadzoru zatytułowanego Uczenie się bez nadzoru transformacji obrazu^[14]. Przystępne wprowadzenie do badań Hintona można znaleźć w jego artykułach w Scientific American we wrześniu 1992 i październiku 1993 r.^[15]

W czasie badań po doktoracie^[16][17] w Uniwersytecie Kalifornijskim w San Diego, w 1986 r. Hinton wraz z Davidem Rumelhartem i Ronaldem J. Williamsem opublikowali pracę, która spopularyzowała algorytm propagacji wstecznej do uczenia wielowarstwowych sieci neuronowych^[18]. Praca ta była ważna w popularyzacji propagacji wstecznej, lecz autorzy nie byli jedynymi, którzy zaproponowali takie podejście^[19]. Automatyczne różnicowanie w trybie odwrotnym, którego szczególnym przypadkiem jest wsteczna propagacja, zostało zaproponowane przez Seppo Linnainmaa w 1970 r., a Paul Werbos zaproponował wykorzystanie go do uczenia sieci neuronowych w 1974 r.^[20]

Badania Hintona dotyczą sposobów wykorzystania sieci neuronowych do uczenia maszynowego, pamięci, percepcji i przetwarzania symboli. Jest autorem lub współautorem ponad 200 recenzowanych publikacji^[21][22]. Na konferencji poświęconej systemom przetwarzania informacji neuronowych (NeurIPS) przedstawił nowy algorytm uczenia się sieci neuronowych, który nazywa algorytmem „Forward-Forward”. Ideą nowego algorytmu jest zastąpienie tradycyjnych przebiegów propagacji wstecznej w przód i w tył dwoma przebiegami w przód, jednym z dodatnimi (tj. rzeczywistymi) danymi, a drugim z ujemnymi danymi, które mogą być generowane wyłącznie przez sieć^[23].

Hinton był promotorem wielu doktoratów^[24], w Uniwersytecie w Toronto i Uniwersytecie Carnegie Mellon, z zakresu badań nad rozwojem sztucznej inteligencji: Richard Zemel^[25][26], Radford Neal^[27], Brendan Frey^[28], Yee Whye Teh^[29], Ruslan Salakhutdinov^[30], Ilya Sutskever^[31], późniejszy współzałożyciel i główny naukowiec firmy OpenAI^[32]. W ramach prac na rozwojem sztucznej inteligencji, w badaniach postdoktoranckich^[16][17] współpracował z takimi naukowcami jak: Yann LeCun^[33], Alex Graves^[33], Zoubin Ghahramani^[33], Peter Dayan^[33], Sam Roweis^[33] oraz Max Welling^[33].

W 1990 nagrodzony wyborem na Członka rzeczywistego AAAI (Fellow AAAI)^[34].

W 1998 został wybrany członkiem Royal Society FRS^[35].

Był pierwszym laureatem nagrody Rumelharta w 2001^[36].

W 2001 otrzymał tytuł doktora honoris causa Uniwersytetu w Edynburgu^[37].

W 2005 r. otrzymał nagrodę IJCAI Award for Research Excellence za całokształt twórczości^[38]. Został również odznaczony Złotym Medalem Herzberg Canada w 2011 r. w dziedzinie nauki i inżynierii^[39].

W 2013 otrzymał tytuł doktora honoris causa Université de Sherbrooke^[40].

W 2016 został wybrany członkiem zagranicznym National Academy of Engineering „za wkład w teorię i praktykę sztucznych sieci neuronowych oraz ich zastosowanie do rozpoznawania mowy i widzenia komputerowego”^[41]. Otrzymał również nagrodę IEEE/RSE Wolfson James Clerk Maxwell Award w 2016 r.^[42]

Hinton otrzymał w 2018 r. Nagrodę Turinga, często nazywaną „nagrodą Nobla w dziedzinie informatyki”, „za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się krytycznym elementem informatyki”^[43]. Hinton otrzymał nagrodę wraz z Yannem LeCunem i Yoshuą Bengio, za swoją pracę nad głębokim uczeniem się^[44]. Są oni czasami określani jako „ojcowie chrzestni sztucznej inteligencji” i „ojcowie chrzestni głębokiego uczenia się”^[45][46] i publicznie, wspólnie, wygłaszają wykłady^[47][48]. Hinton i nagrodzeni uczeni zdobyli nagrodę Turinga za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się kluczowym elementem informatyki^[49][50][51].

W 2018 został odznaczony Orderem Kanady w stopniu Kawalera^[52].

W 2021 otrzymał nagrodę Dickson Prize in Science od Carnegie Mellon University^[53].

W 2022 wspólnie z Yannem LeCun, Yoshuą Bengio i Demisem Hassabisem otrzymał nagrodę księżnej Asturii w kategorii badań naukowych^[54].

W 2024 otrzymał (wspólnie z Johnem Hopfieldem) Nagrodę Nobla w dziedzinie fizyki za „fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe z wykorzystaniem sztucznych sieci neuronowych”.

W 2024, w Hanoi, za "przywództwo i fundamentalną pracę nad architekturami sieci neuronowych", został uhonorowany przez VinFuture Foundation nagrodą Grand Prize^[55][56].

Po tym, jak OpenAI wypuściła w 2023 r. kolejną wersję chatbota ChataGPT, ponad tysiąc ekspertów i badaczy technologii opublikowało list otwarty wzywający do trwającego pół roku moratorium na rozwój nowych systemów. Hinton nie był jednym z sygnatariuszy listu, gdyż nie chciał publicznie krytykować firmy Google jako jej pracownik. Wkrótce potem zdecydował się jednak na odejście z firmy, ze względu na to, że zmieniła politykę wobec AI i przyśpieszyła prace nad nią pod presją konkurencji. Hinton przyznał, że już w momencie, gdy podjął publiczną krytykę szybkiego rozwoju narzędzi AI, były one narzędziem do wytwarzania i szerzenia dezinformacji obejmującej zdjęcia, nagrania i teksty^[7].