검색 본문
the14voyager.tistory.com 단정한 마음 [MultiModal] VAE: Auto-Encoding Variational Bayes 📌 AutoEncoder 저차원의 representation z를 원본 x로부터 구하여 스스로 네트워크를 학습하는 방법 Unsupervised Learning 방법으로 레이블이 필요 없이 원본 데이터를 레이블로 활용 입력 x와 출력 y가 최대한 동일한 값을 가지도록 하는 것이 AE의 목적 Encoder: 입력 정보를 압축, Latent Variable 자체를 만드는 역할 Decoder: 압축 정보를 복원, Latent Variable로 부터 데이터를 생성하는 데 사용 저차원 표현 z는 원본 데이터의 함축적인 의미를 가지도록 학습됨 → 다른 머신 러닝 모델에 📌 VAE 랜덤 노이즈로부터 원하는 영상을 얻을 수 없는 지에 대한 의문에서 시작 랜덤 노이즈를 통하여 위 그림과 같은 이미지를 얻을 확률은 1/256라고 생각할 수 있음 이와 같은 천문학적인 경우의 수에서 임의로 생성한 데이터로 원하는 영상을 얻을 수는 없음 만약 Pdata(x) 라는 데이터셋이 있고 이 데이터셋을 잘 나타내는 분포를 만들고 랜덤 노이즈가 그 분포 중 하나에 해당되도록 한다면, 데이터셋을 나타내는 분포 내에서 랜덤 값이 생성되기 때문에 데이터셋과 유사한 값을 뽑아낼 수 있음 → 데이터셋이 가지는 확률 분포 내에서... 11 저차원의 representation z를 원본 x로부터 구하여 스스로 네트워크를 학습하는 방법 Unsupervised Learning 방법으로 레이블이 필요 없이 원본 데이터를 레이블로 활용 입력 x와 출력 y가 최대한 동일한 값을 가지도록 하는 것이 AE의 목적 Encoder: 입력 정보를 압축, Latent Variable 자체를 만드는 역할 Decoder: 압축 정보를 복원, Latent Variable로 부터 데이터를 생성하는 데 사용 저차원 표현 z는 원본 데이터의 함축적인 의미를 가지도록 학습됨 → 다른 머신 러닝 모델에 2024.05.07 블로그 검색 더보기 deepdata.tistory.com 통계학 세상 transformer 간단요약2 - encoder, attention, positional encoding, decoder 1. encoder encoder는 self attention 구조와 feed forward Neural Network 구조의 두개의 sub layer로 구성되어 있다 단어 입력의 경우에는 먼저 embedding vector로 변환하는 것이 기본이다. 당연하지만 word embedding은 맨 밑단 첫 입력에서만 일어남 벡터 크기는 hyperparameter로 적절하게 정한다고 한다. embedding된 벡터 각각은 자기만의 경로를 따라 encoder를 지나간다 위에서 보면 첫 통과 layer로 self attention을 지나가는데 도대체 무슨 일이 2. self-attention은 어떻게 가능한가 embedding된 thinking와 machine가 encoder를 지나간다고 해보자. 그러면 self attention layer는 각 단어에 대해 3개의 vector를 각각 만드는데, Query, Key, Value vector를 만든다. embedding된 x1에 query를 만드는 가중치행렬 $W^{Q}$를 곱하면 x1의 query vector이 나온다. 나머지 key는 $W^{K}$를 곱해서 만들어지고 value는 $W^{V}$를 곱해서 만들어진다. 다음으로 Self attention은 각 vector에 대해 score를 3. self attention은 왜 잘 동작하는가 MLP와 CNN은 고정된 네트워크에서 input이 고정되어있으면 output이 반드시 고정되어있다. transformer은 고정된 네트워크에서 input 한 단어는 고정되어 있더라도 input 내 다른 단어가 변하면 output이 다르다. MLP보다 더 유연하면서 더 많은 것을 표현한다, 더 많은 것을 계산한다. 그런데 단점도 있다. 예를 들어 RNN은 1000개 sequence를 넣으면 1000번 돌리는데 시간이 좀 걸리더라도 1번당 계산은 꽤 간단한 편이다. 그런데 transformer은 1000개 단어를 넣으면 matrix로 4. multi headed attention 하나의 embedding vector에 대해 여러개의 attention을 작동하여 Q,K,V를 각각 n개나 만드는 것이다. 모델이 단어의 다른 위치들에 더욱 집중하게 해준다. 하나만 했을 경우 다른 단어들의 encoding을 조금은 포함했겠지만 사실 자기 자신에게 너무 큰 점수를 준 경우도 분명 많을 것이기 때문이다. 그런데 말로는 서로 다른 headed attention에 들어가는듯 말하는데 코딩으로 실제로 구현할 때는 처음 나온 Q,K,V를 split한다고한다. 편의상? 예를 들어 8개의 각각 서로 다른 q,k,v 가중치 행렬을 5. Positional encoding 지금까지 transformer이 완벽해보였지만 한가지 놓친 점은 입력으로 들어온 sequence의 순서를 전혀 고려하고 있지 않았다. 예를 들어 attention layer의 동작 방식만 생각해보자. a,b,c,d로 들어가나 b,c,a,d로 들어가나 a에 영향 주는 b,c,d에 대해 attention output 계산되는건 동일하다. 상식적으로는 문장 내 단어의 배열은 매우 중요하여 다른 값이 나와야 맞다. 예를 들어 개가 사람을 물었다와 사람이 개를 물었다는 엄청난 차이다. 그래서 input에 positional encoding을 6. decoder decoder 내부 구조는 encoder와 기본적으로 동일하다. 그런데 encoder가 끝나고 decoder로 어떻게 넘어가는지가 중요하다. encoder가 입력 시퀀스를 처리하면서 최상층에 도달하면 <encoder의 최상층의 출력이 decoder의 multi headed attention layer의 key,value attention으로 변형되어 넘어간다> 그리고 첫 decoder에만 들어가는 것이 아니고 모든 decoder에 들어감 encoder 최상층의 출력은 input sequence에서 얻은 맥락정보임 그러니까 헷갈려서는 7. vision transformer transformer이 단어 문제를 해결하는데 사용했지만 이 구조의 원리(self attention)가 다른 문제에서도 폭넓게 활용되고 있다. vision transformer의 예시 한 이미지를 부분 영역으로 나눠서 sequence처럼 input으로 넣어 transformer encoding을 해서 번역함 그런데 decoding이 없네 있을 필요가 없지 attention 구조가 활용된 것이 중요함 8. DALL-E 문장을 보고 문장에 맞는 이미지를 여러개 뽑아내는 획기적인 기술? 아직 자세한 설명이 공개가 안됨 transformer로 generation을 했다는 것이 인상적이다 https://nlpinkorean.github.io/illustrated-transformer/ The Illustrated Transformer 저번 글에서 다뤘던 attention seq2seq 모델에 이어, attention 을 활용한 또 다른 모델인 Transformer 모델에 대해 얘기해보려 합니다. 2017 NIPS에서 Google이 소개했던 Transfo 24 하나의 embedding vector에 대해 여러개의 attention을 작동하여 Q,K,V를 각각 n개나 만드는 것이다. 모델이 단어의 다른 위치들에 더욱 집중하게 해준다. 하나만 했을 경우 다른 단어들의 encoding을 조금은 포함했겠지만 사실 자기 자신에게 너무 큰 점수를 준 경우도 분명 많을 것이기 때문이다. 그런데 말로는 서로 다른 headed attention에 들어가는듯 말하는데 코딩으로 실제로 구현할 때는 처음 나온 Q,K,V를 split한다고한다. 편의상? 예를 들어 8개의 각각 서로 다른 q,k,v 가중치 행렬을 transformer Encoder NLP Attention Decoder 자연어 머신러닝 딥러닝 multi head attention positional encoding 2024.04.16 subword tokenizing, byte pair encoding 간단하게 알아보기 chonii-it-log.tistory.com cho.nii's ITlog One-Hot Encoding vs Label Encoding, Multicollinearity 5 Categorical Encoding ? 머신러닝 알고리즘이 데이터를 이해하기 위한 처리 과정 categorical(text) 데이터를 numerical 데이터, 즉 숫자 정보로 바꾸는 과정 one-hot encoding과 label encoding의 두 가지 방법이 있다. Label Encoding Country 컬럼을 label encoding 적용하기 전 Country 컬럼을 label encoding 적용... 다중공선성 vif One hot encoding 원핫인코딩 label encoding 2024.05.08 canvas4sh.tistory.com 상훈's CANVAS Algorithm Design - Huffman encoding / Encryption / RSA File compression 공간을 절약하는 방법에 대해 연구된다. 대부분의 컴퓨터 화일에서 데이터가 중복되어 있다는 것에 착안된 개념이다. 파일 압축의 대상으로는 텍스트 파일 인코딩된 이미지의 래스터 파일 사운드나 다른 아날로그 신호의 디지털 표현 등이 있다. 현재는 허프만 인코딩이 거의 주를 이루지만 이 개념이 나오기까지 몇몇 다른 시도들이 존재했었다. 우선 run-length encoding(런-길이 인코딩)은 동일한 문자가 여러개 나올 경우 숫자와 문자쌍으로 화일을 압축하는 기법이다. 이진수로 표현되는 비트맵 이미지를 압축하는데 사용됐었다. Huffman Encoding 허프만 인코딩은 여러 트라이중 가장 좋은 트라이를 결정하는 일반적인 기법이다. 우선순위 큐(Priority Queue)를 사용하여 빈도수가 가장 작은 문자부터 차례로 트라이를 만든다. 인코딩된 메시지의 길이는 허프만 빈도수 트리의 가중치 외부경로의 길이(weighted external path length)와 같게 된다. 동일한 빈도수를 가지는 경우에는 허프만 트리가 최적해가 된다. struct nodetype { char symbol; int frequency; nodetype* left; nodetype* right; 데이터 암호화 암호화 시스템은 암호화 알고리즘(E), 해독 알고리즘(D) 암호화키(K)로 구성되어 있다. 또한 흔히 전송이나 저장해야 될 원시 데이타인 평문을 P, 암호화된 암호문을 C로 표현한다. 위와 같은 과정을 통해 암호화, 복호화 과정이 일어나는 것이다. 대칭키를 이용하는 경우는 암호화키와 해독키가 일치하는 것이고 비대칭키를 이용하는 기법은 암호화키는 공개키로 사용하되 해독키를 공개하지 않는 방식을 이용한다. 암호화 기법은 크게 두가지가 존재한다. 우선 전치 기법(transposed method)은 데이타의 문자들을 순열로 만드는 것이다. RSA RSA알고리즘 은 Rivest, Shamir and Adleman이 개발하여 RSA라고 이름이 지어졌고 공개 키 암호화 시스템에서 사용되는 대표적인 알고리즘이다. 공개키 암호화 시스템에서 암호화키와 알고리즘은 공개가 되어있고 해독키, 해독 알고리즘은 비밀이다. 해독키는 암호화키로부터 유도가 불가능하도록 설계되어있다. 안전하게 키를 분배하는 문제를 해결하기 위해 개발되었다. 메시지를 보낼 때 송신자는 수신자의 공개키를 찾아 사용하여 암호화한 후 전송하고 메시지를 읽을 때는 수신자가 자신이 가진 비밀 키(secret key)를 사용하여 11 공간을 절약하는 방법에 대해 연구된다. 대부분의 컴퓨터 화일에서 데이터가 중복되어 있다는 것에 착안된 개념이다. 파일 압축의 대상으로는 텍스트 파일 인코딩된 이미지의 래스터 파일 사운드나 다른 아날로그 신호의 디지털 표현 등이 있다. 현재는 허프만 인코딩이 거의 주를 이루지만 이 개념이 나오기까지 몇몇 다른 시도들이 존재했었다. 우선 run-length encoding(런-길이 인코딩)은 동일한 문자가 여러개 나올 경우 숫자와 문자쌍으로 화일을 압축하는 기법이다. 이진수로 표현되는 비트맵 이미지를 압축하는데 사용됐었다. 2024.04.18 [논문 리뷰] Auto-Encoding Variational Bayes(VAE) asidefine.tistory.com 세상은 내가 정하는 대로 LLM Positional Encoding 방법 정리 (Absolute, Relative, Rotary, ... ) Absolute Positional Encoding (APE) Vanilla Transformer 모델에서 input sequence의 순서 정보를 유지하기 위해서 사용 RNN 계열과 달리 Transformer 구조는 모든 input token이 병렬적으로 들어가기 때문에 positional information이 없으면 input token들은 그냥 BoW처럼 취급된다 위와 같이, encoder와 decoder stack 이전에 들어갈 input embedding들에 element-wise addition을 해준다 Vanilla Transformer 모델에서는 Sine과 Cosine 함 Related Papers https://arxiv.org/abs/2402.06196 Large Language Models: A Survey Large Language Models (LLMs) have drawn a lot of attention due to their strong performance on a wide range of natural language tasks, since the release of ChatGPT in November 2022. LLMs' ability of general-purpose language understandin Ref. https://arxiv.org/pdf/2402.06196.pdf https://aiml.com/explain-the-need-for-positional-encoding-in-transformer-models/ Explain the need for Positional Encoding in Transformer models Positional encoding is a technique used in the Transformer architecture and other sequence-to-sequence models to provid 6 https://arxiv.org/pdf/2402.06196.pdf https://aiml.com/explain-the-need-for-positional-encoding-in-transformer-models/ Explain the need for Positional Encoding in Transformer models Positional encoding is a technique used in the Transformer architecture and other sequence-to-sequence models to provid AI Ape NLP Rope LLM RPE Positional Embedding Absolute Positional Encoding Relative Positional Encoding Rotart Positional Encoding 2024.04.22 통합웹 더보기
서비스 안내 스토리의 글을 대상으로 검색결과를 제공합니다. 자세히보기 story.kakao.com AiviloNarud AiviloNarud - 카카오스토리 8 Good Evening Done cleaningaquariums/encoding #Saturday #ListofstudentsnlcampTestuploadedpergradelevels #listwithout365accountsg7tog10 #resetandLoginchangedpassg7tog10done #stressfreelife #2... 2024.03.10 카카오스토리 검색 더보기
서비스 안내 Kakao가 운영하는 책 서비스 입니다. 다른 사이트 더보기 Video Encoding by the Numbers 저자 Doceo Publi... 출간 2017.1.2. 도서 61,490원 Encoding Events 저자 Hu Xuhui 출간 2018.11.20. 도서 55,940원 Encoding Methodism 저자 Campbell Te... 출간 2017.9.11. 도서 49,130원 Encoding Space 저자 Mathews Bri... 출간 2016.2.1. 도서 76,290원 Encoding Across Frontiers 저자 European Co... 출간 2006.6.30. 도서 49,150원 Encoding Across Frontiers 저자 Stockting B... 출간 도서 77,830원 Encoding the Olympics 저자 Qing Luo (E... 출간 2014.10.14. 도서 65,140원 Encoding the Olympics 저자 Qing Luo 출간 2012.5.16. 도서 284,850원 Prosody in Syntactic Encoding 도서 241,450원 Prosody in Syntactic Encoding 저자 Kentner Ger... 출간 2020.4.14. 도서 155,160원 더보기 (주)카카오는 상품판매의 당사자가 아닙니다.법적고지 안내 (주)카카오는 통신판매중개자로서 통신판매의 당사자가 아니며 상품의 주문 배송 및 환불 등과 관련한 의무와 책임은 각 판매자에게 있습니다.
Encoding Standard encoding.spec.whatwg.org/ 웹수집 디지소닉 www.digisonic.com/ VR, AR 3D Immersive Solution, 3D Spatial Capture, Mixing, Encoding, Individual Sound. TEI: Text Encoding Initiative tei-c.org/ 웹수집 사이트 더보기
서비스 안내 Melon Company가 운영하는 음악 서비스입니다. 다른 사이트 더보기 Encoding Beatmasta 앨범 Trunk Poppi... 2015.10.13. Prelude (Feat. Bonnie Phillips) High Priest Kwatamani 앨범 The Prophet... 2012.03.31. Encoding Consio 앨범 Code sent 2009.01.01. Keshiki Rootbook 앨범 Encoding of... 2014.12.17. encoding pt.1 llbeak(이백) 앨범 [Through th... 2023.05.30. encoding pt.3,4 llbeak(이백) 앨범 [Through th... 2023.05.30. Genetic Re-Encoding Sonic Construction 앨범 Footwork, V... 2016.08.08. Right Here, Right Now High Priest Kwatamani 앨범 The Prophet... 2012.03.31. ENCODING 601 Wiracki 앨범 The Harmony... 2006.01.01. Common Grey Clouds Rootbook 앨범 Encoding of... 2014.12.17. If Rootbook 앨범 Encoding of... 2014.12.17. Ancestral Call High Priest Kwatamani 앨범 The Prophet... 2012.03.31. Foreseen Dawn Rootbook 앨범 Encoding of... 2014.12.17. Love Our Way Out of This Thing High Priest Kwatamani 앨범 The Prophet... 2012.03.31. Let the Madness Cease High Priest Kwatamani 앨범 The Prophet... 2012.03.31. Encoding (Original Mix) Tex-Rec 앨범 I Like Hard... 2010.10.20. Encoding Eloy Lubowitz 앨범 Flying Beyo... 2022.04.28. Infinite Fall Rootbook 앨범 Encoding of... 2014.12.17. Slowride Rootbook 앨범 Encoding of... 2014.12.17. Dedication to the High Priest Kwatamani and the Kwatamani Royal Family High Priest Kwatamani 앨범 The Prophet... 2012.03.31. 더보기