검색 본문
서비스 안내 Kakao가 운영하는 책 서비스 입니다. 다른 사이트 더보기 MYP English Language Acquisition (Capable) Print and Enhanced Online... 저자 Morley Kevin 출간 2021.1.28. 도서 72,500원 Julie Capable (Julie Capable) 저자 Lenain Thie... 출간 2021.1.1. The Capable Company 저자 Richard Lynch 출간 2014.4.1. Little Pig Is Capable 저자 Roche Denis 출간 2002.3.1. 도서 16,610원 Designing Capable and Reliable Products 저자 J D Booker 외 출간 2013.11.19. e북 112,900원 Capable Women, Incapable States 저자 Roychowdhur... 출간 2020.12.3. 도서 106,920원 Gigabit-capable Passive Optical Networks 저자 D Hood 출간 2014.3.26. e북 124,180원 Gigabit-capable Passive Optical Networks 저자 D Hood 출간 2014.4.1. Mamemo, Capable Tout Seul 출간 The Me, Me, Me Epidemic 저자 Mccready Amy 출간 2016.8.16. 도서 16,670원 더보기 (주)카카오는 상품판매의 당사자가 아닙니다.법적고지 안내 (주)카카오는 통신판매중개자로서 통신판매의 당사자가 아니며 상품의 주문 배송 및 환불 등과 관련한 의무와 책임은 각 판매자에게 있습니다.
All I Need Is Data. 라이프 분야 크리에이터 LLM) 논문 내용 정리 Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone 훈련 데이터의 최적화: Phi-3-Mini의 훈련은 고품질의 데이터를 사용하는 것에서 시작합니다. 이 데이터는 웹에서 추출한 정보와 인공적으로 생성된 데이터를 포함하며, 특히 'education level'에 따라 철저히 필터링됩니다. 훈련은 두 단계로 이루어집니다. 1. 일반 지식과 언어 이해를 위한 웹 데이터를 사용 2. 논리적 사고와 특정 기술을 가르치기 위한 더욱 엄격하게 필터링된 데이터를 사용 데이터 최적화 체제: 이 모델은 단순히 컴퓨팅 리소스를 최대화하는 대신, 데이터의 질을 고려하여 '데이터 최적 체제'로 훈련됩니다. 이는 특정 규모의 모델에 가장 적합한 데이터 조합을 찾기 위해 노력하는 과정입니다. "데이터 최적 체제"에 근접한 스케일링 법칙을 보여주며, phi 모델 시리즈(Phi-1.5, Phi-2, Phi-3-mini, Phi-3-small)와 Llama-2 모델 시리즈(7B, 13B, 34B, 70B)를 같은 데이터셋으로 훈련시킨 결과를 비교한 그래프입니다. 그래프는 모델 크기(모델의 파라미터 수)의 로그값과 MMLU(Massiv 후처리 과정 phi-3-mini는 후처리 과정은 두 단계로 구성됩니다. SFT SFT 과정은 다양한 도메인에 걸쳐 엄선된 고품질 데이터를 활용합니다. 이 데이터는 수학, 코딩, 추론, 대화, 모델 정체성 및 안전성과 같은 분야를 포괄합니다. SFT의 목표는 모델이 이러한 분야에서 정확하고 일관된 성능을 발휘할 수 있도록 훈련하는 것입니다. 이 과정은 영어 데이터로만 사용하엿고, 모델이 다양한 상황과 질문에 대응할 수 있도록 합니다. DPO DPO 과정은 챗봇 포맷의 데이터, 추론 작업, 그리고 책임 있는 AI (RAI=(responsible A factual knowledge의 저장 한계: Phi-3-Mini는 그 크기로 인해 "factual knowledge"을 충분히 저장할 수 없는 한계를 가지고 있습니다. 이는 TriviaQA 같은 벤치마크에서 낮은 성능으로 나타나며, 모델이 일반 지식 질문에 답변하는 능력이 제한적일 수 있음을 시사합니다. 언어 제한: Phi-3-Mini는 주로 영어 데이터로 훈련되어, 다국어 처리 능력이 제한적입니다. 이는 글로벌 사용자 기반을 대상으로 하는 응용 프로그램에 제약을 줄 수 있습니다. (실제로 한글로 물어봤을 때도 결과는 나오지만 쩍 잘하지는 못했던 것 같다) 해결 방안 및 개선 전략 검색 엔진을 통한 보완: Phi-3-Mini의 팩투얼 지식 저장 한계는 검색 엔진과의 통합을 통해 보완될 수 있습니다. 예를 들어, HuggingFace의 기본 Chat-UI를 사용하여 검색 기능을 통합함으로써 모델이 더 광범위한 정보에 접근하고 사용자 질문에 보다 정확하게 응답할 수 있도록 합니다. (즉 RAG 같은 것을 쓰면 대응이 된다고 하는 것 같다.) 다국어 지원 확대: 다국어 데이터를 추가로 통합하여 훈련함으로써, Phi-3-Small과 같은 후속 모델들이 다양한 언어를 보다 효과적으로 처리할 수 있도록 개선할 수 있습니다. 이는 모델의 범용성을 향상하고, 다양한 언어 환경에서의 활용 가능성을 넓힐 것입니다. HuggingFace 주소 링크 여기에 ms에서 공개한 모델이 있는데, 아쉽게 현재까지는 base model은 올려주지 않았다. https://huggingface.co/microsoft/Phi-3-mini-128k-instruct https://huggingface.co/microso 6 Phi-3-Mini의 훈련은 고품질의 데이터를 사용하는 것에서 시작합니다. 이 데이터는 웹에서 추출한 정보와 인공적으로 생성된 데이터를 포함하며, 특히 'education level'에 따라 철저히 필터링됩니다. 훈련은 두 단계로 이루어집니다. 1. 일반 지식과 언어 이해를 위한 웹 데이터를 사용 2. 논리적 사고와 특정 기술을 가르치기 위한 더욱 엄격하게 필터링된 데이터를 사용 정리 Report 논문 PAPER Technical LLM 내용 정리 phi-3 2024.05.01 블로그 검색 더보기 gall.dcinside.com mgallery rimworld more than capable 1.5 비공식 업뎃 쓰는사람있음? 3237083444 Steam Workshop::More Than Capable (1.5) Steam Workshop::More Than Capable (1.5) steamcommunity.com 모드 배열문제인지 모드 자체가 비공식 업뎃을 잘못해서 문제인지 작업탭에서 강제로 작업할... 2024.05.20 웹문서 검색 더보기 4월 갤창랭킹 글쓰기 부문 4글 275위 ㅇㅇ(nodakazoa) 3글 275위 총부이(118.222) 3글 275위 히무로세나(blink0009) 3글 275위 Erinyes(capable1363) 3글 275위 ㅇㅇ(121.168) 3글 275위 ㅇㅇ(58.29) 3글 275위 ㅇㅇ(220.87) 3글 275위 Dム... 갤창랭킹 댓글랭킹버전 하루치 일단 뽑았음 32개 0.16% 151위 노가다(116.126) 32개 0.16% 151위 아기초선(61.108) 32개 0.16% 151위 검은개미 (capable3640) 32개 0.16% 151위 흐으웅(90kg)(106.102) 32개 0.16% 151위 ㄴㅌㅇㄷㄷ(211.204) 32개 0.16%... blog.naver.com Blue Blossom You just understand my feelings Make me see I'm capable and fine 81 You just understand my feelings Make me see I'm capable and fine And feeling beautified Maybe it's the loving in your eyes (I'm here see through) Maybe it's the magic in the wine (I'm feeling loose) Maybe it's the fact that every time I fall I lose it all But you got me from my head to my... 2024.05.22 187cm.tistory.com Deep Learning Post [Technical report: Gemini 요약] A Family of Highly Capable Multimodal Models 9 클럽에서 한번 다룰 수 있지 않을까 싶어서 정리해두려고 한다. 영상: https://www.youtube.com/watch?v=CiVA8PmR2Do 제목: Gemini: A Family of Highly Capable Multimodal Models 저자: Gemini Team, Google 인용: 419 (2024.04.19 기준) 사실 Introduction은 건질만한 내용이 별로 없다,, 그래서 어떤 내용을 중점... gemini Gemini 리뷰 Gemini paper Gemini technical report Gemini 요약 Gemini 장단점 ChatGPT 논문 Gemini 1.0 논문 Gemini 성능비교 Gemini 사용법 2024.04.19 chanmuzi.tistory.com chanmuzi <SLM> Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone (2024.04) 1. Introduction 지난 몇 년 간 인공지능의 눈부신 발전은 점점 더 큰 모델과 데이터셋을 만드는, scaling-up에 근거하고 있습니다. 수도 없이 많은 Large Language Models(LLMs)과 그 variation 모델들이 쏟아져 나오고 있습니다. 이는 또 모델의 크기와 학습에 사용되는 데이터셋의 사이즈가 일정한 scale을 갖추고 있음을 주장한 scaling law를 따르고 있죠. 이러한 기조와 달리 Microsoft에서 Phi 모델을 만든 것은 사이즈가 작음(사실 그렇게 작진 않지만 LLM에 비하면..😅)에도 불구하고 뛰어난 '추론 2. Technical Specifications context length training tokens hidden dimension tokenizer vocab size model size phi-3-mini 4K 3.3T 3072 llama 32064 3.8B phi-3-mini-128K 128K (LongRoPE) 3.3T 3072 llama 32064 3.8B phi-3-small 8K 3.3T + 10% extra 4096 tiktoken 100352 7B phi-3-medium 4K 4.8T 5120 llama 32064 14B phi-3-mini 모델은 3. Academic benchmarks 베이스라인으로는 phi-2, Mistral-7b-v0.1, Mixtral-8x7b, Gemma 7B, Llama-3-instruct-8b, GPT-3.5가 쓰였다고 합니다. llama-3 모델을 벌써 사용하고 그 결과를 비교하여 공개한 것이 놀랍네요 😲 phi-3 모델을 위한 별도의 파이프라인을 갖추지는 않았다고 합니다. 일반적으로 LLM을 평가하기 위해 사용되는 few-shot example을 동일하게 적용하였으며 appendix에는 2-shot prompt를 공개했습니다. 4. Safety 타모델과의 ungroundedness를 비교하고 있습니다. 수치가 높을 수록 여러 턴의 대화에서 근거 없는 생성 결과를 만들었다는 걸 의미합니다. 즉, Phi 모델들이 이전의 대회를 근거로 추가적인 텍스트를 생성하고 있다고 해석 가능합니다. 모델의 안정성과 관련해서는 내부팀의 피드백을 받았다고 합니다. 이를 바탕으로 추가적인 데이터셋을 구축하여 post-training을 적용한 결과가 주황색 그래프로 나타납니다. 이전 대비 harmful response를 생성할 가능성이 확연히 낮아지게 된 것을 알 수 있습니다. 5. Weakness 레포트에서는 이 모델의 약점을 크게 두 가지로 들고 있습니다. 1. 특정 태스크에서 모델 사이즈로 인한 한계를 극복하지 못했다. 이를테면 'factual knowledge'를 많이 저장하고 있지는 못한 것으로 확인되었습니다. 이것은 TriviaQA와 같은 벤치마크의 성적이 유독 낮다는 것을 토대로 알 수 있던 정보입니다. 이를 해결하기 위한 방식으로 search engine을 제시하는데, 체리피킹의 결과일수도 있겠지만 레포트에 포함된 것만 보면 꽤 괜찮습니다. 2. 언어가 영어로 제한된다. Small Language Models의 6 지난 몇 년 간 인공지능의 눈부신 발전은 점점 더 큰 모델과 데이터셋을 만드는, scaling-up에 근거하고 있습니다. 수도 없이 많은 Large Language Models(LLMs)과 그 variation 모델들이 쏟아져 나오고 있습니다. 이는 또 모델의 크기와 학습에 사용되는 데이터셋의 사이즈가 일정한 scale을 갖추고 있음을 주장한 scaling law를 따르고 있죠. 이러한 기조와 달리 Microsoft에서 Phi 모델을 만든 것은 사이즈가 작음(사실 그렇게 작진 않지만 LLM에 비하면..😅)에도 불구하고 뛰어난 '추론 Microsoft NLP slm paper review LLM technical report small language model phi-3 phi-3-mini 2024.04.24 <LMM> Gemini: A Family of Highly Capable Multimodal Models (2023.12) chorokgreen.tistory.com 우당탕탕 nlp 여정기 Llama3: The most capable openly available LLM to date 4 성능 Instruct-tuned Meta Llama3 성능은 벤치마크 데이터에 비슷한 모델들과 비교했을 때, SOTA! 성능 현실 세계 즉, 사람들의 평가에서도 승률이 좋은 편. Pretrained Llama3 도 또한 벤치마크 셋에서 성능이 좋다. 모델 아키텍처 Transformer에서 디코더 모델 Llama2에서 개선된 점 vocab size 증가 -> 128k 토큰... 2024.05.11 통합웹 더보기
서비스 안내 스토리의 글을 대상으로 검색결과를 제공합니다. 자세히보기 정숙진 자기계발 분야 크리에이터 헨릭 입센 <인형의 집> to change his mind about threatening to ruin Nora's and her family's life. It seems to me that she is almost impossibly the most independent, capable and considerate among the selfish, self-righteous characters in <A Doll's House>. 노라의 오랜 친구이자 한때 크로그시타의 연인이었던 린데 부인은... 브런치북 영어공부 하려고 만든 북클럽 영어공부 클럽 2024.05.19 브런치스토리 검색 더보기 helll-o.tistory.com NOT FOUND org.springframework.core.convert.ConverterNotFoundException: No converter found capable of converting from type org.springframework.core.convert.ConverterNotFoundException: No converter found capable of converting from type [org.springframework.data.jpa.repository.query.AbstractJpaQuery$TupleConverter$TupleBackedMap] to type jpa에서 nativeQuery를 사용했을 때 참고한 글 native query에서 count 사용 native... 2024.05.24 티스토리 검색 더보기 story.kakao.com henry kwak henry kwak - 카카오스토리 doubt. His skepticism was not cowardly or negative; it was the product of a logical mind capable of critical thinking and active intelligence. In particular, Thomas showed boldness and loyalty... 2024.05.28 카카오스토리 검색 더보기 자기계발 크리에이터 보기
부동산아프리카 (A Free Capable Agency) blog.naver.com/landhera 신청자 작성 네이버 블로그 공인중개사사무소.부동산. 대전,세종,둔산동,유성,도안,대전서구,대전중구,대전동구,대전대덕구,갈마동,나성동,도담동,보람동,소담동,고운동,새롬동,대펑동,용문동,탄방동,태평동,관저동,원신흥동,도안동 대전부동산중개.대전부동산매매.대전상가매매.대전상가임대.대전학원매매.대전학원임대. 전화고객센터: 042-488-4985 장소 Capable K Papa brunch.co.kr/@9faa00899775442 브런치스토리 K-Papa, Echo Sphere의 브런치스토리입니다. Capable Computing www.capable.ca/ 웹수집 사이트 더보기
서비스 안내 Melon Company가 운영하는 음악 서비스입니다. 다른 사이트 더보기 Capable Fred Seul 앨범 Capable 2019.03.08. Capable Ar'mon & Trey 앨범 Long Story ... 2018.06.08. Capable Najwa 앨범 Walkabout 2006. Capable K-Nite 13 앨범 Brapp Beat ... 2017.03.24. Capable (Feat. Nelick) Lord Esperanza 앨범 Polaroid 2017.12.14. Capable The Districts 앨범 Popular Man... 2017.08.25. Capable KO 앨범 Capable 2011.10.24. Capable Najwa 앨범 Capable (Si... 2006. Capable (JP Saccone Remix) Najwa 앨범 Capable (Si... 2006. Capable (Styrofoam Remix) Najwa 앨범 Capable (Si... 2006. Capable Chase Fortune 앨범 Poison in t... 2014.07.28. Capable Solace 앨범 Clever Dece... 2007.01.01. Capable Charisma 앨범 Capable 2021.02.26. Capable Our Fold 앨범 A History f... 2020.05.04. Capable Maybelline Finley 앨범 Violence In... 2017.03.24. Capable Corny Katerina 앨범 Hangdog 2020.09.19. Capable Retro/Grade 앨범 B-Sides & D... 2008.10.01. Capable Translate Records 앨범 Allies & Ad... 2018.05.20. Capable Najwa 앨범 Hey Boys, G... 2020.04.03. Capable Relaxing Piano Music Universe 앨범 New Space 2022.07.08. 더보기