검색 본문
서비스 안내 Kakao가 운영하는 책 서비스 입니다. 다른 사이트 더보기 NEURAL(UK) 저자 편집부 출간 2015.1.22. neural(UK) 저자 편집부 출간 2015.1.21. Image Processing and Pattern Recognition (Neural 저자 Leondes Cor... 출간 1997.12.11. 도서 193,520원 Fuzzy Logic and Expert Systems Applications (Neural 저자 Leondes Cor... 출간 1997.12.11. 도서 120,530원 Make Your Own Neural Network 저자 타리크 라시드 출간 2016.3.31. 도서 46,750원 Principles of Neural Science 저자 Kandel Eric 외 출간 2021.1.1. 도서 148,000원 Handbook of Neural Engineering 저자 Akay Metin ... 출간 2007.1.9. 도서 58,000원 Analyzing Neural Time Series Data 저자 마이크 X. 코헨 출간 2014.1.17. Neural Networks and Deep Learning 저자 차루 아가르왈 출간 2019.9.27. 도서 88,000원 Exploring Neural Networks with C# 저자 Tadeusiewic... 출간 2017.6.13. 도서 94,350원 더보기 (주)카카오는 상품판매의 당사자가 아닙니다.법적고지 안내 (주)카카오는 통신판매중개자로서 통신판매의 당사자가 아니며 상품의 주문 배송 및 환불 등과 관련한 의무와 책임은 각 판매자에게 있습니다.
jseobyun.tistory.com CODERNER Neural Cloth Simulation 내 맘대로 Introduction SMPL + garment mesh sequence가 주어졌을 때, garment의 변형을 학습해서 unseen pose에서의 garment deformation을 예측할 수 있도록 하는 논문. SMPL pose 파라미터에 의존적으로 변형 가능하도록 하므로 SMPL + Garmet binding이라고 보면 된다. 옷마다 따로 학습해야 하는 것이고, SMPL... 2024.05.28 블로그 검색 더보기 gDNA: Towards Generative Detailed Neural Avatars Multi-View Mesh Reconstruction with Neural Deferred Shading developing-soosoo.tistory.com 개발 블로그 12. Graph neural networks 37 데에 특화된 convolutional network와, 다양한 길이의 sequence를 처리하는 데에 특화된 transformer에 대해 알아봤습니다. 이번 chapter에선 'graph neural network'에 대해 알아보겠습니다. 이름에서 알 수 있듯, graph를 처리하는 neural architecuture입니다. graph를 다루는 데엔 3가지의 challenge가 있습니다. 1... 2024.05.03 letter-night.tistory.com 밤에 쓰는 편지 Pixel Recurrent Neural Networks 46 https://www.youtube.com/watch?v=-FFveGrG46w 1. Variational autoencoders use a latent vector z to encode and decode the images so VAE's are good at efficient inference which just means they generate images quickly and efficiently. Unfortunately the generated samples end up being blurrier than... 2024.05.14 Pixel Recurrent Neural Networks Recurrent Neural Network, RNN daehyun-bigbread.tistory.com My Dev & Research Repository [NLP] 추론 기반 기법 & Neural Network (신경망) 9 이번 글에서는 추론 기반 기법과 Neural Network(신경망)에 데하여 한번 알아 보겠습니다. 통계 기반 기법의 문제점 단어를 Vector로 표현하는 방법은 최근에는 크게 두 부류로 나눌 수 있습니다. '통계 기반 기법'과 '추론 기반 기법' 입니다. 두 방법이 단어의 의미를 얻는 방식은 서로 다르지만, 그 배경에는 모두... Ai nlp 추론 기반 기법 통계 기반 기법의 문제점 neural network(신경망)에서의 단어 처리 matmul layer 2024.05.22 [DL] Neural Networks (신경망) [DL] Convolution Neural Network - CNN (합성곱 신경망), Convolution Layer, Pooling Layer jinjero.tistory.com ☺ Sequence to Sequence Learning with Neural Network DNN Deep Neural Network DNN을 사용할 수 없는 이유는 명확하다. DNN에서 필요로 하는 Input, Output Data는 고정된 차원 벡터이기 때문이다. 따라서 Seq2Seq에서 사용하는 가변 길이의 Sequence Data를 입력으로 사용할 수 없다. 또한, Sequence Data의 순서 정보를 학습할 수 없다는 점도 치명적인 약점으로 꼽힌다. Single RNN Recurrent Neural Network 앞서 작성한 DNN의 단점을 극복하기 위해 만들어진 모델이 RNN이며, Sequence Data에 특화된 모델이다. RNN은 Input Sentence의 Tocken(단어) 하나 하나를 입력으로 사용하고, 이에 대응하는 새로운 단어를 출력하는 방식으로 동작한다. 따라서 Input Sequence와 Output Sequence의 길이가 같아야 한다. 하지만 Seq2Seq에서 풀고자 하는 Translation이나 Speech Recognition은 Input과 Output 길이를 동일하게 설 Using Two Different LSTMs LSTM 첫 번째 차별점은 RNN 대신 LSTM Encoder, Decoder를 사용했다는 것이다. 이는 RNN의 대표적인 단점인 Long Term Dependency 문제를 해결하기 위해서이다. Long Term Dependency는 먼 과거의 정보를 현재 학습에 사용하지 못하는 문제이다. 예를 들어 "어린 왕자는 작은 별에서 장미꽃을 만났다. 그리고 ( )은 그에게 소중한 존재가 되었다." 라는 문장이 주어졌고, 괄호 안에 들어갈 단어가 "장미꽃" 일 때 괄호 속 단어를 예측하기 위해선 이전에 나온 "장미꽃"을 활용해야 한다. Deep LSTMs LSTM witn 4 Layers 두 번째 차별점은 Single Layer Model이 아닌 Deep LSTM을 사용했다는 점이다. 4개의 layer를 쌓아 만든 모델은 1개의 layer만 사용한 모델보다 훨씬 좋은 성능을 보였다고 한다. Reversed Order Input Sequence Reversed Sequence 세 번째 차별점은 Input Sequence의 차원을 뒤집었다는 것이다. 위 그림에서 Input Data는 $(a, b, c)$ 이고, 이에 대응하는 Output Data는 $(\alpha, \beta, \gamma)$ 이다. 이때, Input의 순서를 Sequence 순서가 아닌 그 반대의 순서로 정하는 것이다. 이렇게 되면 $a$와 $\alpha$의 거리는 가까워지고, 초기 단어 $a$의 정보를 뒤에 위치하는 단어 $\gamma$까지 충분한 영향을 미칠 수 있게 된다. Object Function Brevity Penalty $\min \left( 1, {\text{output length} \over{\text{reference length}}} \right)$ 문장의 과적합을 방지하기 위한 수식으로 Output Sentence의 길이가 Reference Sentence 길이보다 큰 경우 점수를 1로 설정해 길이에 따라 점수가 올라가는 것을 막았다. n-gram $\left( \prod^4_{i=1} \text{precision}_t \right)^{1 \over 4}$ Reference Sentence과 Output Sentence 사이에서 n개의 단어를 묶어 겹치는 정도를 계산하는 수식이다. 이때, Clipping을 사용해 단어의 겹치는 정도를 Reference Sentence에 존재하는 개수로 제한했다. 즉, 정답 문장에 apple이라는 단어가 1번 나오고 예측 문장에선 3번 나온다면 겹치는 정도를 3이 아닌 1로 제한하여 점수의 신뢰도를 높였다. Result Table 1. A fe BLUE score 먼저 BLUE score의 결과이다. LSTM Seq2Seq 모델 결과 5개를 앙상블 한 결과 SOTA 모델을 앞지르지는 못했지만 처음으로 Neural Network의 성능이 SMT(Statistical Machine Translation) 모델 성능을 뛰어 넘었다고 한다. 이를 모델별 BLUE score를 비교하며 설명해주고 있다. Output Sentence 다음은 출력된 문장에 따른 모델 성능을 비교한 내용이다. Figure 2. Model performance based on sentence length 문장 길이에 따른 모델 성능을 비교한 그래프로, 문장 길이가 길어져도 어느 정도 성능을 유지한다는 것을 알 수 있다. Figure 3. A 2-dimensional PCA projection of the LSTM hidden states 이 그래프는 제안한 모델의 결과를 PCA를 사용해 2차원 평면에 나타낸 결과로 단어 순서에 따라선 민감하게 반응하지만 문장의 수동, 능동 형태에 따 16 Deep Neural Network DNN을 사용할 수 없는 이유는 명확하다. DNN에서 필요로 하는 Input, Output Data는 고정된 차원 벡터이기 때문이다. 따라서 Seq2Seq에서 사용하는 가변 길이의 Sequence Data를 입력으로 사용할 수 없다. 또한, Sequence Data의 순서 정보를 학습할 수 없다는 점도 치명적인 약점으로 꼽힌다. nlp Seq2Seq PaperReview 2024.05.04 Show and Tell: A Neural Image Caption Generator minchael.tistory.com Mode Push AI RNN : Recurrent Neural Networks RNN 우리가 여태까지 배운 기본적인 인공신경망의 경우 순차적인 input이 아닌, 1개의 input에 대해서 1개의 output을 도출하는 network이었다. 하지만 RNN은 순차적으로 입력과 출력을 도출하기에, input과 output의 형태가 다양하다. RNN을 통해 어떻게 output이 계산되고, 어떻게 parameter을 학습시키는지 알아보자. 1. 기본 구조 RNN은 순차적으로 데이터를 입력받고, 출력하기에 입력과 출력에 따라 여러 구조를 나타난다. 다음 예시를 통해 자세히 설명하겠다. one to one : 매 input마다 hidden state마다 output을 출력하는 가장 기본적인 구조로 Vanilla RNN이라고 불린다. one to many : 하나의 input에 대해 여러개의 output을 출력하는 구조이다. 이미지에 대해 문장을 생성하는 이미지 캡셔닝이 해당 구조이다. many to one : 여러 input을 입력받아, 1개의 output을 출력하는 구조이다. 보통 문 2. 연산 과정 그림에서 초록색 부분을 Cell이라 하는데, 각 Cell에서 이전 상태의 값을 저장하고 있기에, 일종의 메모리 역할을 수행한다. 따라서 메모리 셀또는 RNN셀이라 불린다. 메모리 셀은 출력층 $y_t$방향으로 출력의 값을 보내거나, 다음 은닉층의 방향으로 현재 state 정보인 $h_t$를 전달한다. 즉 hidden state $h_t$는 이전 hidden state값 $h_{t-1}$과, input값 $x_t$의 영향을 받아 갱신된다. 이를 수식적으로 표현하면 다음과 같다. 은닉층 : $h_t = tanh(W_{xh}x_t + W 3. Seq-to-Seq Example 실제로 RNN이 많이 사용되는 형태로, Encoder와 Decoder을 이용하는 모델을 seq2seq model이라 한다. input의 정보를 hidden state에 저장하는 과정을 Encoding과정, hidden state에 저장된 정보를 바탕으로 output 형태로 만드는 과정을 Decoding 방식이라 한다. 그림을 통해 이해해보자. "hell"이후의 문자를 예측하는 것이 우리의 목표이다. 반복적으로 hidden state의 값이 update되면서, 마지막 word에 해당하는 "o"를 추론하는 것을 알 수 있다. 보통 추론 4. Forward Propagation & Back Propagation RNN을 재대로 이해하기 위해서 내부적으로 연산이 어떻게 이루어지는지 짚어볼 필요가 있다. 여기에 그림으로 잘 표현해주셔서 이를 사용하겠다. Forward Process $h_t = tanh(W_{hh}h_{t-1} + W_{xh}x_t+b_h)$, $y_t=W_{hy}h_t+b_y$에 대한 computational graph이다. $x_t, h_{t-1}$에 Weight를 곱하여 $h_{raw}$를 만들고, 위에서 설명했던 대로 non-linear function으로 $tanh$ function을 사용한다. output $y_t$ 5. Truncated Backpropagation RNN은 동일한 hidden state를 이용하여 계산하기에 다음과 같은 한계점을 가진다. RNN은 앞에 hidden state를 이용하여 진행하여 계산시간과 학습시간이 느리다. RNN은 많은 memory를 사용한다. RNN은 Markov Assumption(미래는 현재와 과거와 무관하다)을 만족하지 않는다. RNN의 모든 출력을 계산하면서 학습을 진행하면 너무 느리기에, 학습 방법으로 Truncated Backpropagation 방법을 사용한다. 다음과 같이 한번에 Loss를 구해 계산하는 것이 아닌, Batch 단위로 학습을 6. Conclusion RNN은 순차적으로 데이터가 들어오는 비디오, 영상, 텍스트에 많이 사용되었던 모델이다. 그러나 RNN은 다음과 같은 치명적인 단점이 존재한다. 학습을 하기 위해서 모든 $h_t$의 값을 구해야 하기에 느리다. Exploding Gradient 문제가 발생한다. 이러한 문제를 해결하기 위해 Gradient Clipping 방식이 존재한다. Vanishing Gradient 문제의 경우 RNN 방식만으로는 해결이 불가능하다. 하지만 CNN과 더불어 매우 중요한 기본 인공신경망 모델로 꼭 알고가야 한다. 다음은 RNN의 Vanishin 7. Reference cs231n - Lecture 10 https://sooho-kim.tistory.com/62 https://velog.io/@fbdp1202/CS231n-%EC%A0%95%EB%A6%AC-10.-RNN-Neural-Networks#%EC%B0%B8%EC%A1%B0 https://www.facebook.com/groups/TensorFlowKR/permalink/478174102523653/ https://ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/ 12 cs231n - Lecture 10 https://sooho-kim.tistory.com/62 https://velog.io/@fbdp1202/CS231n-%EC%A0%95%EB%A6%AC-10.-RNN-Neural-Networks#%EC%B0%B8%EC%A1%B0 https://www.facebook.com/groups/TensorFlowKR/permalink/478174102523653/ https://ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/ 2024.04.29 Convolution Neural Network 통합웹 더보기
서비스 안내 스토리의 글을 대상으로 검색결과를 제공합니다. 자세히보기 이권수 커리어 분야 크리에이터 Neural Network는 어떻게 학습할까 - Forward/Back Propagation개념에 대해 알아보자. Neural Network는 여러 뉴런들이 하나의 레이어(Layer)를 구성하고, 여러 레이어가 모여 모델을 구성한다. 모델을 만든다는 건, 특정 입력값에 대해서 출력값을 구하는 매니커즘이 구현되어 있다는 의미이다. 예컨대, wx + b라는 간단한 선형 모델을 사용하면, x값에 대한 예측값은 wx + b 연산 결과가 되는 것이다... 머신러닝 개발 AI 2024.02.27 브런치스토리 검색 더보기 story.kakao.com 오늘의 건강뉴스 오늘의 건강뉴스 - 카카오스토리 6 일어날까요? 여기에는 뇌의 비밀 물질이 관여하는 것으로 나타났는데요. 국제 학술지 '쎌 (Cell)'에 A neural circuit for male sexual behavior and reward라는 제목으로 게재된 연구 결과를 소개합니다. #매력... 2023.09.04 카카오스토리 검색 더보기 커리어 크리에이터 보기
Neural Engineering Laboratory neuros.kaist.ac.kr/ 카이스트 바이오, 뇌공학과 신경공학 연구실, 교수 소개, 연구성과, 발표논문 수록. 뉴럴 클라우드 Neural Cloud 유튜브 www.youtube.com/c/NeuralCloudKR 모바일 게임 뉴럴 클라우드 Neural Cloud 유튜브 채널. 동영상, 공유, 구독하기 제공. 국제 신경 네트워크 협회 www.inns.org/ International Neural Network Society. 사이트 더보기