검색 본문
서비스 안내 Kakao가 운영하는 책 서비스 입니다. 다른 사이트 더보기 Passage 저자 Shipton Liz 출간 2024.3.1. 도서 21,190원 Passage 저자 로이스 맥마스터 부졸드 출간 2008.5.1. 도서 31,380원 Passage 저자 Goldsworthy... 출간 2000.8.1. Passage 도서 50,110원 Passage 저자 저스틴 크로닌 출간 2011.5.17. 도서 7,000원 Passage 저자 Willis Connie 출간 2021.1.1. 도서 8,480원 Passage 저자 Goldsworthy... 출간 2004.11.1. 도서 66,440원 Passage 저자 Sachar Loui... 출간 2002.1.1. Passage 저자 ReverzuJ 출간 2021.1.1. 영어(7급)(PASSAGE) 저자 정형종 외 출간 2001.1.1. 더보기 (주)카카오는 상품판매의 당사자가 아닙니다.법적고지 안내 (주)카카오는 통신판매중개자로서 통신판매의 당사자가 아니며 상품의 주문 배송 및 환불 등과 관련한 의무와 책임은 각 판매자에게 있습니다.
namu.wiki Dark Passage/리그 오브 레전드 - 나무위키 11 튀르키예의 리그 오브 레전드 프로 게임단. 창단 2011년 약칭 DP 개요 주요 기록 행적 멤버 전 멤버 2024.05.25 웹문서 검색 더보기 Dark Passage - 나무위키 Galakticos - 나무위키 holy-jjjae.tistory.com Statistics.holic [NLP] DPR: Dense Passage Retrieval for Open-Domain Question Answering Overview DPR이 위의 목적을 달성하기 위해서는, 우선적으로 passage를 low-dimensional and continuous space로 mapping해주는 encoder가 필요하다. 논문에서는 해당 encoder를 passage dense encoder $E_p()$라고 한다. $E_p()$는 passage의 정보를 잘 담고 있는 passage representation을 만들어낸다. 또한, 질문(question)도 representation으로 변환해야만 두 representation의 유사도를 측정하여 relevant top-k Training (Metric Learning) DPR을 학습시킨다는 것은, representation을 잘 만들어내는 encoder가 되게끔 학습을 시키는 것이다. 즉, 질문과 passage 쌍이 서로 관련 있으면 더 작은 거리를 가지고, 관련이 없으면 더 먼 거리를 가지는 representation을 산출하는 encoder로 만들어간다는 것인데, 이를 위한 목적 함수 (loss function) 은 다음과 같다. where D= {⟨q_i,p+_i, p-_1,n,…,p-_i,n⟩} : m개의 training dataset q_i : question p+_i : relevant Positive and negative passages 그런데, 이 수식을 보다 보면 질문에 대한 negative passage를 어떻게 정할지에 대해 의문이 들게 된다. 실제로 이는 그동안 많이 간과되어 온 부분이며, 논문에서는 이에 대한 여러 옵션을 제안하고 뒷부분에서 비교 실험을 진행하였다고 한다. 우선, 기본적으로 논문에서 제안하는 negative passage sampling 옵션은 아래의 3가지이다. Random : passage corpus로부터 무작위로 추출 BM25 : BM25를 사용하여 return 된 passage 중에서, 답을 포함하고 있진 않지만, 질문과 matc In-batch negatives 하나의 mini-batch 안에 $B$개의 question이 있다고 가정할 때, 각각의 question은 positive(relevant) passage를 가진다. 이때, Q와 P를 각각 (B x d) 차원의 Question embedding matrix, Passage embedding matrix라고 하면, S = QP^T는 (B x B) 차원의 Similarity score matrix가 된다. 이때, 각각의 question과 passage를 q_i, p_i라고 할 때, i=j 이면 positive (relevant) pass Wikipedia Data Pre-processing 우선, passage는 Wikipedia data를 기반으로 한다. (Dec. 20, 2018 버전의 Wikipedia dump를 기반으로 preprocessing을 진행하여 passage set을 구축) 저자들은 DrQA에서 사용한 pre-processing code를 사용하여 semi-structured data와 disambiguation page들을 제거했다고 한다. 이후, 100 words를 기준으로 passage를 구축하여 총 21,015,324개의 passage를 구축하였다고 한다. 각각의 passage들은 해당 pas Question Answering Dataset 저자들은 아래와 같은 dataset을 사용했다고 한다 Selection of positive passage 그런데, 여기에서 TREC, WebQuestions, TriviaQA dataset에는 passage가 주어지지 않고, 오로지 질문과 답만 주어지기에, 저자들은 BM25를 통해 positive passage labeling을 진행하였다. 질문과 구축한 Wikipedia passage에 대해 BM25를 적용시켜, 답을 포함하고 있는 highest-ranked passage를 positive passage로 labeling 하였다. 다만, 답을 포함하고 있는 passage가 나오지 않는 경우도 있는데, 저자들은 이러한 경우엔 top-1 Main Result 이에 대한 결과는 아래와 같다 SQuAD dataset을 제외한 모든 dataset에서 DPR이 BM25에 비해 더 좋은 성능을 내는 것을 확인할 수 있다. Multiple dataset으로 학습한 경우, TREC과 같이 작은 크기의 dataset에서 성능 향상의 효과가 나타나는 것을 확인할 수 있다. 그와는 반대로, NQ나 WebQuestion과 같이 보다 큰 크기의 dataset에서는 Single setting에 비해 성능이 하락하는 것을 확인할 수 있다. 또한, BM25와 DPR 혼합 setting의 경우, 몇몇 dataset Sample Efficiency 먼저, 저자들은 good passage retrieval performance를 얻기 위해 얼마나 많은 training example이 필요한지에 대한 실험을 진행하였다. 해당 실험의 결과는 아래와 같다 단지 1000개의 training example을 사용한 순간부터도 DPR이 BM25의 성능을 능가함을 확인할 수 있다. 이러한 결과는 작은 수의 question-passage pair로도 high-quality dense retriever를 학습시킬 수 있다는 점을 시사한다. 또한, training example을 추가할수록 성능 In-batch negative training 이어서, 저자들은 각각 다른 training schemes들에 대해서 NQ dataset의 development set으로 성능 측정 및 비교를 진행하였다. 해당 결과는 아래와 같다. 결과표를 보면, 3개의 block으로 나눠져 있음을 확인할 수 있다. 이는 다음과 같은 기준으로 분류되었다 상단 블럭 : standard 1-of-N training setting 가운데 블럭 : Gold with In-batch negative setting 하단 블럭 : Gold with In-batch negative setting + 1 or Cross-dataset generalization 저자들은 DPR이 학습된 dataset이 아닌, test dataset에서도 잘 작동하는지, 즉, 일반화 성능이 어떤지에 대해서도 실험을 진행하였다. 이를 위해 DPR을 NQ dataset으로 학습한 뒤 WebQuestion, CuratedTREC dataset에 대해 성능 측정을 하였다 해당 실험 결과, 해당 dataset으로 fine-tuned 된 DPR에 비해 top-20 retrieval accuracy에서 3~5 point정도 성능 하락이 있었다고 한다. WebQuestions : 75.0 → 69.9 CuratedTREC Qualitative Analysis 저자들은 BM25와 DPR이 retrieve 하는 passage의 성격 차이에 대해서도 이야기한다. BM25는 키워드에 더 민감하게 반응하고, DPR은 의미적 관계나 어휘적 변형을 더 잘 포착했다고 한다. 아래는 두 Retriever가 같은 질문에 대해 retrieve 한 passage의 예시이다. 첫 번째 행은 DPR이 더 잘 retrieve한 경우이고, 두 번째는 BM25가 더 잘 retrieve한 경우이다. 첫 번째 예시의 경우, BM25는 England나 Ireland와 같은 keyword에만 집중하여 잘못된 passage를 12 DPR을 학습시킨다는 것은, representation을 잘 만들어내는 encoder가 되게끔 학습을 시키는 것이다. 즉, 질문과 passage 쌍이 서로 관련 있으면 더 작은 거리를 가지고, 관련이 없으면 더 먼 거리를 가지는 representation을 산출하는 encoder로 만들어간다는 것인데, 이를 위한 목적 함수 (loss function) 은 다음과 같다. where D= {⟨q_i,p+_i, p-_1,n,…,p-_i,n⟩} : m개의 training dataset q_i : question p+_i : relevant 2024.05.26 블로그 검색 더보기 historylibrary.net The HERITAGE TRIBUNE [아일랜드고고학] (1) 신석기시대 거석기념물 Passage tomb 3 딸린 무덤들이 있다. 우리 고고학이 흔히 횡혈식 석실분橫穴式石室墳이라 일컫는 무덤이 아일랜드에도 물론 있다. 이런 무덤을 영어권인 저짝에서는 실로 간단히 passage tomb 이라 표현하는데, 이는 풀어 쓰면 tomb with passage라, 이 경우 passage는 무덤 밖과 안쪽을 연결하는 통로를 말한다. 이런 횡혈식석실분을... 스톤헨지 거석기념물 passage tomb 아일랜드고고학 아일랜드신석기시대 2024.04.23 limeh.tistory.com e_u_n_h_y ConTextual Masked Auto-Encoder for Dense Passage Retrieval 23 Abstract DPR(Dense Passage Retrieval)의 목표 query와 passages의 dense representations을 기반으로 대규모의 말뭉치에서 query와 관련된 passages를 검색하는 것 최근에는 dense retrieval 성능 향상을 위해 사전 학습된 언어 모델을 개선하는 연구를 진행. CoT-MAE (ConTextual Masked Auto-Encoder) : self... 2024.02.19 blog.naver.com 슬기일기 [대흥역] PASSAGE 파사주 16 Last Order 20:30) 📞 전화번호 0507-1367-8995 🏠 주소 서울 마포구 백범로20길 24-5 1층 파사주 서울특별시 마포구 백범로20길 24-5 1층 📱 인스타그램 파사주 Passage | Cuisine française(@passageseoul) • Instagram 사진 및 동영상 팔로워 1,862명, 팔로잉 1명, 게시물 109개 - 파사주 Passage | Cuisine... 2024.04.22 통합웹 더보기
서비스 안내 스토리의 글을 대상으로 검색결과를 제공합니다. 자세히보기 이재형 영화 분야 크리에이터 영화: 패시지(The Passage) 12 영화 패시지(The Passage)는 나치를 피해 겨울의 피레네 산을 넘는 과학자 가족과 그 길잡이를 맡은 안내원의 이야기를 그린 영화로서 1979년에 제작되었다. 나치를 피해 필사적으로 피레네 산을 넘는 가족, 그리고 그 뒤를 쫓은 잔인하기 짝이 없는 독일군의 이야기가 피레네 산맥을 배경으로 숨 가쁘게 전개된다. 나치... 나치 과학자 영화리뷰 2022.11.14 브런치스토리 검색 더보기 jsdysw.tistory.com jsdysw Passage Retrieval - Sparse Embedding, TF-IDF 1. Sparse Embedding 문장에 포함된 단어들의 등장 여부를 기록하는 vector를 만드는 방법이다. vector의 차원은 vocab의 크기가 된다. 이를 Bag of Words라고 한다. 위 그림의 예시는 unigram 방식이다. bigram방식으로 BoW를 구성한다고 하면 'It was' 가 1이 되고 'was the'가 1이 된다. 하지만 단어가 많을 수록 벡터의 차원이 기하급수적으로 커진다. 단어가 단순히 등장했다/안했다를 1/0으로 나타낼 수도 있지만 등장 횟수를 벡터에 담을 수도 있다. TF-IDF는 좀 더 advanced한 방법이다. 이런 sp 2. TF-IDF (Term Frequency - Inverse Document Frequency) TF는 단어의 등장 빈도를 의미한다. 단순히 단어의 등장 횟수를 기록할 수도 있지만(Raw Count) normalization을 적용해서 전체 문서에서 단어가 차지하는 비중을 기록할 수도 있다. IDF는 단어가 제공하는 정보의 양을 의미한다. 어떤 단어가 모든 document에서는 자주 등장하지 않는데 특정 문서에서는 자주 등장한다면 그 단어는 중요한 정보라고 볼 수 있다. it was 같은 단어는 거의 모든 문장에 들어가 있을 수 있다. 그럼 it 같은 term의 DF('it')는 매우 클 것이고 IDF('it')은 작은 값을 3. TF-IDF 구해보기 실험 데이터는 위와 같다. 문서들의 TF를 구해보면 위와 같다. 문서들의 IDF를 구했다. '주연은'의 경우는 모든 문서에 등장 빈도가 높기 때문에 IDF 스코어가 낮은게 보인다. 두 테이블을 곱해서 TF-IDF 스코어를 구해보자. 각 문서가 가진 고유한 단어가 TF-IDF가 높은 걸 볼 수 있다. 반대로 자주 출현하는 단어는 tf-idf score가 낮다. 이제 임베딩은 끝났다. 사용자의 질의(Q)와 가장 유사도가 높은 문서(D)를 구할때 대표적으로 cosine 유사도를 (Inner product) 활용할 수 있을 것이다. 4. BM25 TF-IDF를 바탕으로 문서의 길이까지 고려하여 스코어를 구하는 방식이다. 대표적으로 추천 시스템, 검색 엔진에서 자주 쓰인다고 한다. 상대적으로 짧은 문서에서 단어가 매칭된 경우 더 큰 가중치를 부여한다. 14 문장에 포함된 단어들의 등장 여부를 기록하는 vector를 만드는 방법이다. vector의 차원은 vocab의 크기가 된다. 이를 Bag of Words라고 한다. 위 그림의 예시는 unigram 방식이다. bigram방식으로 BoW를 구성한다고 하면 'It was' 가 1이 되고 'was the'가 1이 된다. 하지만 단어가 많을 수록 벡터의 차원이 기하급수적으로 커진다. 단어가 단순히 등장했다/안했다를 1/0으로 나타낼 수도 있지만 등장 횟수를 벡터에 담을 수도 있다. TF-IDF는 좀 더 advanced한 방법이다. 이런 sp 2024.02.14 티스토리 검색 더보기 story.kakao.com 박 한나 박 한나 - 카카오스토리 north and the south, kings in Judah continued to strive to follow the word of God. In today's passage, we see two kings, Asa and Jehoshaphat, who made efforts to obey God's will. Asa removed... 2024.05.01 카카오스토리 검색 더보기 영화 크리에이터 보기
Passage passage.onl/ 신청자 작성 그래픽, 타입디자인 & 아트디렉션. 파사주 Passage 페이스북 www.facebook.com/passageseoul 신청자 작성 프랑스 식당. 캐주얼 프렌치. 더 패시지 www.fox.com/the-passage/ FOX 미국 드라마 The passage. 방송정보, 줄거리, 에피소드 제공. 사이트 더보기
서비스 안내 Melon Company가 운영하는 음악 서비스입니다. 다른 사이트 더보기 Passage Monochrome 2024.03.13. Passage Jean Tan 2017.03.03. Passage Johnathan Blake 2023.08.11. The Passage 키비 2009.05.07. Passage Joep Beving 2023.03.29. Passage The Carpenters 1977.10. Passage 청월령 2022.10.07. Passage Johnathan Blake 2023.07.07. Passage Will Ackerman 2016.05.13. Passage Miyano Mamoru 2015.12.15. Passage (Live) Samael 2024.02.16. Passage 김주리 2011.06.30. Passage L'Indecis 2020.01.08. Passage The Carpenters 1977.10.10. The Passage Boy Hits Car 2006.03.28. Passage Matti Bye 2023.01.13. The Passage Långbacka/Bådagård 외 3명 2024.02.16. Passage Exitmusic 2017.05.29. Passage Humanity's Last Breath 2023.07.20. Passage Jeremy Noller 2021.01.07. 더보기