티스토리

AIMS Study Blog
검색하기

블로그 홈

AIMS Study Blog

aims-lab.tistory.com/m

hannn 님의 블로그입니다.

구독자
0
방명록 방문하기

주요 글 목록

  • [ICLR 2023] Adaptive Budget Allocation For Parameter Efficient Fine-tuning 논문 리뷰 이번 ICLR 2023에 있었던 논문에 대해서 리뷰를 진행한다. (https://arxiv.org/abs/2303.10512) 이 논문은 최근에 많이 다뤄지는 LLMs(Large Language Models)을 Computational Efficient하게 Fine-tuning하는 방법에 대해서 기존에 있던 LoRA(Low Rank Adaptation)의 기법을 보완한 AdaLoRA를 제안하는 논문이다. 이 포스팅에서는 AdaLoRA에 대해서 살펴본다. (추후, 이것의 Reference가 되는 LoRA에 대해서도 다룰 예정이다.) Abstract 기존의 LoRA는 좋은 성능을 보였으나, parameter budget을 incremental update에 균등하게 분배했다. 하지만, 쓸모 없는 것에 inc.. 공감수 0 댓글수 0 2023. 7. 26.
  • [MICCAI 2023] Is a PET all you need? A multi-modal study for Alzheimer’s disease using 3D CNNs 논문 리뷰 논문 링크 : https://link.springer.com/epdf/10.1007/978-3-031-16431-6_7?sharing_token=7cUeevO0wZQdc7MmJTRXEPe4RwlQNchNByi7wbcMAY7ZlzAyNldSVTx86qNGeZBPTXWLvhyBFjUTTTpx_kJHqMahZBjcuY2BcXG1eAdG_UlWzpMLdPr5C8xzl4B2M8Z__2gJXDqqRq0Z6AHINqsO8O5KnWqfLMgdTDuHD-qA9I4%3D Abstract : Alzheimer's Disease (AD)은 가장 흔한 형태의 치매로, 다양한 원인으로 인해 진단에 어려움을 겪고 있는데, 최근 Deep Neural Networks (DNNs)를 활용한 뇌 영상 기반 연구에서 Structural M.. 공감수 0 댓글수 0 2023. 7. 21.
  • [ICLR 2023] Token Merging : Your ViT But Faster 논문 리뷰 이번 ICLR 2023에 있었던 논문에 대해서 리뷰를 진행한다. (https://arxiv.org/abs/2210.09461) 이 논문은 Transformer의 정확도를 유지하면서도, 연산량을 줄여 모델이 한번에 처리할 수 있는 정보의 양을 늘리기 위해서 ToMe(Token Merging)이라는 기법을 제안한 논문이라고 볼 수 있다. 이 포스팅에서는 ToMe라는 기법에 대해서 살펴보고, 주요한 실험 결과를 정리해 볼 예정이다(모든 실험 결과를 다루지는 않는다!). Introduction Transformer가 등장한 이후, NLP, Computer Vision 등 다양한 분야에서 Transformer를 기반으로 한 모델들이 쏟아져 나오고 있다. 특히나, Vision Transformer가 등장한 이후에는.. 공감수 1 댓글수 0 2023. 7. 20.
  • [RNN/LSTM/GRU] 순환 신경망 기반 Network 정리 안녕하세요! 자연어 처리에서 핵심 역할을 했었던, RNN과 이후 RNN을 기반으로 파생된 모델인 LSTM과 GRU에 대해 포스팅해보겠습니다. Recurrent Neural Network (RNN) RNN: Background 시계열 데이터를 처리하기에 좋은 네트워크 RNN의 기본 전제는 sequence data의 각 요소가 서로 연관성을 가진 다는 것, CNN 이 이미지 구역별로 같은 weight를 공유한다면, 시간 별로 같은 weight를 공유한다. 기존의 신경망들 (DNN) 은 은닉층에서 activation function을 지나 출력됨 => Feed Forward Neural Network But 시계열 데이터는 과거의 상태가 현재 상태에 영향을 미치며, 최종적으로는 Output에 영향을 미침. 따.. 공감수 1 댓글수 1 2023. 7. 12.
  • variational autoencoder 발표 영상 https://www.youtube.com/watch?v=Fg5mUPKqxlc&t=5s 공감수 0 댓글수 0 2023. 3. 6.
  • variational autoencoder 본 포스팅은 아래 두 강의를 참고 하였음을 밝힙니다. https://www.youtube.com/watch?v=GbCAwVVKaHY&list=PLQASD18hjBgyLqK3PgXZSp5FHmME7elWS&index=9 https://www.youtube.com/watch?v=rNh2CrTFpm4&t=3051s 안녕하세요. 이번 포스팅에서는 VAE에 대한 설명을 하겠습니다. VAE는 auto-encoding variational bayes라는 논문(https://arxiv.org/abs/1312.6114)에서 소개된 생성모델입니다. variational auto-encoder라는 이름 탓에 오토인코더와 같은 것이라고 생각할 수 있겠습니다만, 목적이 다른 네트워크입니다. 본 포스팅에서는 오토인코더와의 차이,.. 공감수 0 댓글수 1 2023. 3. 5.
  • [Transformer 모델 구조 분석] Attention Is All You Need 이번에 소개할 모델은 Transformer로, 이 논문을 처음 제안한 "Attention Is All You Need"의 논문과 여러 자료를 참고하여 알게 된 내용들을 포스팅하겠습니다. Sequence Modeling Sequence Modeling이란, 시계열 데이터, 텍스트, 음성, 비디오 등의 연속적이고, 순차적인 데이터에서 패턴과 관계를 학습하여 해당 시점(Time point) 이후에 다음으로 나올 값을 예측하는 것을 의미합니다. Transformer가 등장하기 전에는 RNN, LSTM이 Sequence Modeling에서 가장 좋은 성능을 보이고 있었습니다. 하지만, 이런 모델들은 본인들이 예측한 결과가 다음 Time Step에서 입력으로 들어가야 하는 학습 구조에서 오는 문제가 발생하였습니다... 공감수 0 댓글수 0 2023. 2. 13.
  • [GCN] SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 논문 리뷰 안녕하세요˙ ͜ʟ˙ GCN을 소개하는 포스팅을 작성하게 된 정정지입니다 ⛄︎ 제가 GCN을 소개하는 데 참고한 논문은 ICLR 2017에 게재된 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS입니다! GRAPH CONVOLUTIONAL NETWORKS, GCN은 이름에서 알 수 있듯이 그래프 구조의 데이터에 컨볼루션 연산을 적용할 수 있도록 설계된 신경망의 한 종류입니다. 그렇다면 그래프의 구조는 어떻길래 그래프에 특화된 모델을 필요로 하는 걸까요? 위의 그림은 일반적인 그래프를 나타내고 있습니다. 그래프는 특정 개체를 나타내는 정점(vertex or node), 그리고 두 정점 사이를 잇는 간선(edge)으로 이루어져 있습니다. nod.. 공감수 1 댓글수 0 2023. 2. 2.
  • StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks (논문 리뷰) 안녕하세요. 딥러닝 스터디에서 GAN의 응용을 소개하게 된 hyenzzang입니다. 제가 이번에 소개할 논문은 StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks 입니다. (Paper) StackGAN은 Text to Image에 활용할 수 있는 모델입니다. Text to Image는 어떤 문장이 주어졌을 때 그 내용을 전부 반영해서 이미지를 생성하는 모델이죠. 기존의 Vanilla GAN으로도, Text to Image를 할 수는 있지만 고화질의 이미지를 생성해내는 것은 힘듭니다. 위 사진의 마지막 행이 Vanilla GAN이 생성한 이미지인데 저화질이며 객체를 명확히 알아보기가 힘듭니.. 공감수 4 댓글수 0 2023. 1. 22.
  • [AIMS AI STUDY] GAN 및 DCGAN의 개념 및 설명 안녕하세요 AIMS 조혜정입니다. 유튜브에서 설명했던 GAN과 DCGAN에 대해 설명하도록 하겠습니다. --------------------------------------------------------------------------------------------------------------------------------- 1. Generative adversarial Networks(GAN) 이란 ? Gan을 제안했던 Ian Goodfellow는 GAN을 경찰과 위조지폐범 사이의 게임에 비유하여 설명하는데요. 위의 그림의 예시로 설명하자면 Generator(이미지 생성모델)는 노이즈 벡터 z로부터 Fake money(Fake image)를 생성하는 위조지폐범이라고 할 수 있고 Discrimi.. 공감수 4 댓글수 0 2023. 1. 15.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.