안녕하세요. 어느덧 12월이 됐습니다. 인생은 30대엔 30km, 40대엔 40km, 50대엔 50km로 간다고 하지요. 여러분은 올해 몇 km로 달려 오셨나요? 올해의 결승점이 눈앞에 보이는데요 남은 시간 잘 마무리 하실 수 있길 바라며 지금 시작합니다.
-
이번 NeurIPS에서는 약 150개에 달하는 Transformer관련 논문들이 발표되었다고 하네요. Transformer와 관련된 논문들을 모아둔 리스트를 소개합니다 (엄청 많음) : Ultimate-Awesome-Transformer-Attention
-
학습이 완료된 Transformer가 어떻게 파라미터의 업데이트 없이도 새로운 입력에 적절한 결과를 만들어내는지 명쾌하게 설명한 논문이란 생각이 듭니다. 안드레 카파시가 추천한 논문입니다 : What Learning Algorithm is In-context Learning? Investigations with Linear Models
-
효율적이고 효율적으로 Transformer의 스케일을 크게 만들고 싶으신가요? 이럴때 TorchScale을 사용해 보실 수 있을 것 같습니다 : TorchScale - A Library for Transformers at (Any) Scale
-
고차원의 특징공간에 Heat equation을 적용하여 Self-Supervised Learning을 가능하게 한 QB-Heat 을 소개합니다 : Self-Supervised Learning based on Heat Equation
-
지금으로 부터 10년전 딥러닝 폭풍의 시작인 AlexNet이 있었죠. 그러나 그보다 1년 전인 2011년에 DanNet이란 CNN 모델이 다른 대회를 휩쓸고 있었다고 하네요. 이 글은 2011년 이전으로 가서 과거 CNN 모델들을 이야기해 줍니다 : 2011: DanNet triggers deep CNN revolution
너무나 빠르게 변하는 인공지능 기술들을 쫓아가는것이 부담스러우시죠.
이럴때 일수록 기본에 더 충실하면 불안해지지 않는것 같습니다.
전 기본이 부족하여 늘 불안하네요 ^^춥지만 마음만은 따뜻한 퇴근길 되시길 바랍니다.