남세동님의 글

힌튼, 르쿤, 벤지오 글 모음 (2019.03.27 남세동님 페이스북)

힌튼, 르쿤, 벤지오 존경하는 이 세분이 (이제서야) 튜링상을 받은 기념으로, 그동안 제가 모아둔 말씀들을 다시 한 번 마음에 담습니다.

힌튼

a. https://www.facebook.com/dgtgrade/posts/1579595525432641 - 생각은 벡터다. b. https://www.facebook.com/dgtgrade/posts/1556152907776903 - 맞아. 난 전산학 수업을 들은 적이 없어. 그런데 꿀팁이 있어. 교수라고 하면 아무도 네가 거기에 대해서 진짜로 뭘 아는지 물어 보지 않아. c. https://www.facebook.com/dgtgrade/posts/1700805903311602 - 나는 훌륭한 판단력을 겸비한 최고의 사람들을 뽑았다. 훌륭한 판단력을 지녔다는 것은 (웃음) 나에게 동의한다는 뜻이다. d. https://www.facebook.com/dgtgrade/posts/1850206045038253 - 신경망으로 인공지능을 만들 수 있다는 것에 의심이 없었다. (이에 동의하지 않는 대부분의) 다른 연구자들이 모두 다 틀렸다고 생각했다. e. https://www.facebook.com/dgtgrade/posts/1730094443716081 - 신경망으로 번역을 한다는 것은 미친 아이디어처럼 보였지만 지금 구글 번역기는 신경망으로 돌아간다. - 입력이 기호고 출력이 기호라고 생각이 기호로 되었다는 것은 정말 멍청한 생각이다. - 좋은 번역기를 만드는데 필요한 언어학자 수는 0명이다. f. https://www.facebook.com/dgtgrade/posts/1526488717409989 - 글을 읽되 너무 많이 읽지 마라. - 남들 얘기 듣지 말고 너의 직관을 믿고 따르라. - 절대 프로그래밍을 멈추지 마라. g. https://www.facebook.com/dgtgrade/posts/1303455879713275 - Concepts can be represented by distributed patterns of activity in networks of neuron-like units. h. https://www.facebook.com/dgtgrade/posts/1986332378092285 - 어차피 사람들이 하는 설명도 결국 다 그럴듯 하게 지어낸 얘기다. i. https://www.facebook.com/dgtgrade/posts/1526518627406998 - 믿음이 비슷한 사람으로부터는 좋은 조언을 많이 들을 수 있으나, 그렇지 않은 사람들로부터 듣는 조언들은 별 도움이 안 될 거다. - 컴퓨터와의 관계가 혁명적으로 변화하고 있다. 컴퓨터를 프로그래밍 하는 것에서 컴퓨터에게 보여 주고 컴퓨터가 이해 하는 것으로 변하고 있다. - 현재 학교와 아카데미아에서는 이를 이해하고 받아들이는 사람이 너무 적다. 이런 상황에서는 회사에서 공부를 하는 것이 대안이 될 수 있다. j. https://www.facebook.com/dgtgrade/posts/1569256376466556 - 마치 컴퓨터가 픽셀을 보고 픽셀로 그린다고 해서 내부 논리도 픽셀로 구성 되어 있는 것이 아니듯이 사람이 언어를 보고 듣고 언어로 말하고 쓴다고 해서 생각도 언어로 하는 것은 아닐 것이다라고 했다.

르쿤

a. https://www.facebook.com/dgtgrade/posts/1597083207017206 - 딥러닝의 불합리한 효과성 b. https://www.facebook.com/dgtgrade/posts/1595680410490819 - 아니 배워서 하게 할 수 있는 것을 굳이 왜 만들어서 넣어야 하나? c. https://www.facebook.com/dgtgrade/posts/1577546165637577 - 아니 난 구조의 종류는 최소한으로 필요할 거라 생각해. d. https://www.facebook.com/dgtgrade/posts/1914050748653782 - 얀르쿤이 얘기하는 기술이 과학을 이끈 예

벤지오

a. https://www.facebook.com/dgtgrade/posts/1709389989119860 - 딥러닝이 잘 되는 것은 아마도 “딥” 하기 때문일 것이다. b. https://www.facebook.com/dgtgrade/posts/1527969117261949 - 수학에 대해서 너무 걱정하지 마라. 논리적이고 직관적으로 이해 하는 것이 중요하다. - 많이 읽는 것도 중요하지만 직접 프로그래밍 해서 실험을 해 보고 정확히 이해 해야 한다. - 전산학이나 수학에 대한 이해가 있다면 머신러닝에 대해서 전혀 몰라도 몇달 정도만에 딥러닝을 익히고 연구 개발을 시작할 수 있다. c. https://www.facebook.com/dgtgrade/posts/2027717967287059 - 친구가 있었기에 겨울을 따뜻하게 지낼수 있었다. - 네 내면의 소리에 집중하고 대중을 즐겁게 하려 하지 마라. - 직관은 사람들로부터 반박당할수 있으나 신경쓰지 마라. - 실험 결과로부터 부정당하지만 않는다면 너의 믿음을 지켜라.

보너스 - 이 세명이 마피아로 불리는 이유

a. https://www.facebook.com/dgtgrade/posts/1988449507880572 - 2007년에 NIPS에서 딥러닝 워크샵을 지원해 주지 않아서 딥러닝 워크샵을 NIPS 컨퍼런스 장소 옆에서 해적 워크샵으로 열었을 때의 이야기

Deep Double Descent (2019.12.07)

딥러닝에서는 모델이 커도 오버피팅 안 되고 괜찮다 하는 전통적인 관점에서는 도저히 이해하기 힘든 썰을 얼마전에 소개 했었는데요.

얼마전 썰: https://www.facebook.com/dgtgrade/posts/2671475662911283

그런데 바로 엊그제 OpenAI에서 그 썰에 대해 훨씬 더 큰 규모로 실험해 본 결과를 발표 했네요. 그 썰이 맞을 뿐 아니라 훨씬 더 광범위 하게 적용된다는 결과입니다.

OpenAI 썰: https://openai.com/blog/deep-double-descent/

여러모로 당황스럽네요. 연구자들도 We don’t understand라고 하는 것으로 봐서는 같은 기분인 듯 합니다.