검색 본문
mari970.tistory.com 아날로그 인간의 컴공 되기 LLAMA-2 from the ground up LLaMA Model 구조 LLaMa-1 와의 차이점 LLAMA-1 에 비하면 더 많은 데이터(2 trillion tokens, 40% 더 늘어)로 pre-training 햇고 더 긴 context length (2k -> 4k, 4096) 를 가지고 더 빠른 inference 를 할 수 있도록 하는 구조(GQA) 를 가진다. from LLaMA2 paper.. 아래 그림은 LLaMa 모델과 기존 트랜스포머 디코더 모델의 구조적 차이를 잘 설명한 블로그 그림이다! https://cameronrwolfe.substack.com/p/llama-2-from-the Train 방법 위 까지는 구조적 차이이고, 이제 학습 방법론적 차이를 보자. 학습 방법은 모델마다 비슷하기 때문에(unlabeled data를 이용한 next token prediction objective 사용) 모델의 성능에 매우 영향을 미치는 것은 데이터의 양과 질이다. 특히 양보다 질이 중요하다는 연구 논문도 있었다. (무슨논문이더라.. 아마 “Lima: Less is more for alignment.”?) Llama 와 Llama2 는 둘 다 pre-training 에 public data 를 사용했다. 이 두 모델의 차이점은 Llam LLaMA-2 (Base Model) Performance open-source LLM 중에서는 가장 좋은 성능을 얻었다. from LLaMA2 paper.. from LLaMA2 paper.. 또한 오픈되지 않은 GPT-3.5 와 같은 모델과 비교할 때에는 성능이 떨어지지만 나름 comparable 하다. Conclusion Garbage in = Garbage out : Dataset 의 품질이 매우 중요하다. Alignment 는 중요하다. RLHF 는 강력하다. : 매우 효과가 있다. 15 LLaMa-1 와의 차이점 LLAMA-1 에 비하면 더 많은 데이터(2 trillion tokens, 40% 더 늘어)로 pre-training 햇고 더 긴 context length (2k -> 4k, 4096) 를 가지고 더 빠른 inference 를 할 수 있도록 하는 구조(GQA) 를 가진다. from LLaMA2 paper.. 아래 그림은 LLaMa 모델과 기존 트랜스포머 디코더 모델의 구조적 차이를 잘 설명한 블로그 그림이다! https://cameronrwolfe.substack.com/p/llama-2-from-the 2024.02.11 블로그 검색 더보기 blog.naver.com IELTS 노베 공부 일기 IELTS Study 아이엘츠 노베 공부 일기 D+42 with 줄리정 불법, Reading 강의 후기, 시원스쿨 아이엘츠 7 or work abroad. However, the reason I've been learning Enlish is to prepare for unexpected situation in advanced. Learing English sometimes make me feel helpness, but my teacher encouared me to keep going. I'm struggle with vocabulary so I need to extend it myself. I won't give up! The fear that... 2024.03.03 blog.naver.com 목욕하고 미용한 소 [길고양이] 창모, 와일드바디-3편 8 소형 퓨마 사진 찍고싶어서 다가가다가 발을 헛딛었고, 놀란 퓨마는 정말 퓨마처럼 달려가 사라졌다. 그 덕에 왈드바디는 영역을 지켰다는 놀라운 나의 helpness 야야 한 턱 쏴 ! <한 턱 쏘기는 개뿔 쳐맞고사는 와일드바디> 와일드바디는 항상 창모한테 맞고산다. 내가 본 바로는 와일드바디가 앵기면 창모가 바디... 2023.12.02 blog.naver.com 애니의 일상 The Bookshop 북숍, 맨부커상 작가-페넬로페 피츠제럴드 who has a tragic sense of life. Outsiders in literature were close to her heart. I think she is close to be a critical author, not positive with helpness. She tried to draw a compact and subtle novels. I'm not sure that she try to express dark side but it is. There is a heroine, Flowrence Green... 2023.11.16 blog.naver.com ☕️노말라이프 엘리자베스 퀴블러 로스의 분노의 5단계 ( + 결국 아이의 상황을 받아들이게 될 것이다) 다음과 같다. Denial(부정): Avoidance Confusion Elation shock Fear Anger(분노): Frustraion Irration Anxiety Depression(우울): Overwhelmed Helpness Hostility Flight Bargaing(협상): Struggling to find meaing Reaching out to othters telling one's story Acceptance(수용): Exploring options new plan in... 2023.08.27 blog.naver.com 오일러 AI 메타(META) 라마(Llama)2 연구논문 번역(2) 5 우리 자신의 보상 모델은 Lama 2-Chat을 기반으로 수집된 내부 테스트 세트에서 최고의 성능을 발휘하며, 도움이 되는 보상 모델은 수행합니다 Meta Helpness 테스트 세트에서 가장 우수하며, 마찬가지로 안전 보상 모델이 Meta Safety 테스트 세트에서 가장 우수한 성능을 참조하십시오. 전반적으로, 우리의 보상 모델... 2023.07.24 통합웹 더보기
서비스 안내 스토리의 글을 대상으로 검색결과를 제공합니다. 자세히보기 story.kakao.com 이정관 이정관 - 카카오스토리 것.... 하루중가장많이하는말은 "제가뭐도와드릴일이있을까요?" 요즘, 내삶의대부분은도움이되는것(helpness)의생산적인삶.... 돕는행위와생산성사이의상호작용수수께끼를풀고있는중.... 새로관계를맺고기존의... 2013.08.05 카카오스토리 검색 더보기 soldeverano.tistory.com 여름햇살 같은 하루하루 책 완벽한 공부법 3 10.환경 11.창의성 12.독서 이다. 1. 믿음 모든 일의 시작은 결국 자신에 대한 믿음으로 시작해야하며, 자신의 능력을 믿지 못하는 '학습된 무기력(Learned Helpness)' 에서 벗어 나는 방법을 제시해준다. -작은 성공경험 / 강점에 주목 / 의미와 가치부여 / 성장형 사고방식 이를 통해 "어떤 것을 달성할 때 필요한... 자기계발 고영성 완벽한 공부법 신영준 체인지 그라운드 2018.12.17 티스토리 검색 더보기
서비스 안내 Melon Company가 운영하는 음악 서비스입니다. 다른 사이트 더보기 Helpness Men At Work 앨범 Brazil 1998.08.25.