namu.wikiWhisper(AI) - 나무위키OpenAI에서 개발한 자동 음성 인식(Automatic Speech Recognition, ASR) 모델이다. 2022년 9월에 오픈 소스로 공개했으며, 2022년 12월에는 기존 large 모델에서 더욱 개선된 large-v2 모델을 출시했다.
출시일
2022년 9월
제작사
OpenAI
라이선스
MIT 라이선스
개요상세여담2024.01.06웹문서 검색 더보기Careless Whisper - 나무위키귀를 기울이면 (LOVE WHISPER) - 나무위키100.daum.net백과사전위스퍼위스퍼, 위스퍼스는 다음을 의미한다. 기본적으로 속삭임을 뜻하는 영어 낱말이다. 위스퍼 : 요괴워치의 등장인물 위스퍼 (생리대) 동음이의백과사전 검색 더보기출처: 위키백과
lena-train-cfg.tistory.comAi보다 더 빨리 학습할레나[STT/Whisper] Speech To Text 빠른 시도와 작은 실패1. 한국어로 학습한 STT 모델 테스트최근에 음성 모델은 asr이라는 사람의 음성을 텍스트로 변환하는 기술을 사용한다. 우리 주변에도 많이 서비스로 출시됬는데 음성 비서, 유튜브 자막 생성등이 있다. 과거에는 asr 기술을 사용하기 위해서 다양한 기술들이 복합적이고 순차적으로 진행됬는데 이제는 Speech To Text 딥러닝 모델을 사용하여 편하게 end-to-end로 사용할 수 있다. 내가 찾는 STT 모델은 한국어를 인식하고 텍스트로 변환해야하기떄문에 한국어를 학습한 오픈 모델을 허깅 페이스에서 찾았다. 사용한 모델: speechbrain/asr-conformer2. ETRI open api 테스트두번째 시도는 무료 api를 사용하는 것이다. ETRI에서 무료 음성인식 api를 제공해서 사용해봤다. 링크: https://aiopen.etri.re.kr/guide/Recognition 다양한 언어를 제공하였고 rest api로 음성 인식 결과를 쉽고빠르게 사용할 수 있었다. 하지만, 하루에 총 5시간 사용할 수 있고 음성 데이터를 20초를 최대로 사용할 수 있었다. 테스트 시에는 20초씩 분할하여 저장한 후 사용하였다. import os import json import time import urllib3 import base3. open ai Whisper 테스트마지막으로는 Whisper모델을 다운받아 사용하였다. open ai의 오픈 소스 모델이었다. 사이즈는 tiny, base, small, medium, large가 있었고 내 로컬 컴퓨터가 8기가 메모리를 가지고 있어 large는 사용할 수 없었다. 당연한 얘기지만 모델 사이즈가 커질수록 정확도가 높아지나 요구되는 컴퓨터 사양도 비례하기 때문에 medium으로 테스트했다. 깃헙: https://github.com/openai/whisper import whisper import torch import time from pydub i5마지막으로는 Whisper모델을 다운받아 사용하였다. open ai의 오픈 소스 모델이었다. 사이즈는 tiny, base, small, medium, large가 있었고 내 로컬 컴퓨터가 8기가 메모리를 가지고 있어 large는 사용할 수 없었다. 당연한 얘기지만 모델 사이즈가 커질수록 정확도가 높아지나 요구되는 컴퓨터 사양도 비례하기 때문에 medium으로 테스트했다. 깃헙: https://github.com/openai/whisper import whisper import torch import time from pydub iETRIWhisperASRSpeech Recognition음성인식openAIetriapi음성인식딥러닝2024.05.20블로그 검색 더보기malgu2002000.tistory.com나로Wham 왬 Careless whisper 부주의한 속삭임 lp로 듣기8사라질 테니까... 이제 당신이 가버렸으니까... 내가 그렇게 잘못했나요? 너무 잘못한 건가요? 나를 내버려 둬야 했던 걸까요? 오늘은 오랜만에 Careless whisper~! Wham 왬의 노랩니다. 우리말과 영어의 애매한 차이가 노래가사에 가득합니다. 대충 느낌은 알겠지만 앞뒤가 안맞는 이들의 노래 가사는 누가 만들은 건지...WhamCareless Whisper왬부주의한 속삭임경솔한 속삭임2024.05.20noobackend.tistory.com뉴비벡엔드개발자Whisper-WebUI (자동자막)설치GitGit - Downloads (git-scm.com) Git - Downloads Downloads macOS Windows Linux/Unix Older releases are available and the Git source repository is on GitHub. GUI Clients Git comes with built-in GUI tools (git-gui, gitk), but there are several third-party tools for users looking for a platform-specific ePython3.8 ~ 3.10 버전사용해야 하므로 3.10.10 버전 사용하겠습니다. https://www.python.org/ftp/python/3.10.10/python-3.10.10-amd64.exe Download Python The official home of the Python Programming Language www.python.org 처음 설치할때 시스템 변수 설정하는 거 체크해야합니다.FFMPEGBuilds - CODEX FFMPEG @ gyan.dev Builds - CODEX FFMPEG @ gyan.dev FFmpeg is a widely-used cross-platform multimedia framework which can process almost all common and many uncommon media formats. It has over 1000 internal components to capture, decode, encode, modify, combine, stream media, and it caCUDACUDA 12버전 이상 사용하라 하여 12.1버전 다운합니다. CUDA Toolkit 12.1 Update 1 Downloads | NVIDIA Developer CUDA Toolkit 12.1 Update 1 Downloads developer.nvidia.com PyTorch CUDA 12.1버전을 다운 했으므로 PyTorch도 맞게 설치합니다. PyTorch PyTorch pytorch.org pip3 install torch torchvision torchaudio --index-url https://download.Whisper-WebUI폴더에서 Install을 한 후 start-webui를 실행하면 http://127.0.0.1:7860에서 실행가능Error해결OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized. 라고하면 app.py 파일에 import os os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE" 추가6Git - Downloads (git-scm.com) Git - Downloads Downloads macOS Windows Linux/Unix Older releases are available and the Git source repository is on GitHub. GUI Clients Git comes with built-in GUI tools (git-gui, gitk), but there are several third-party tools for users looking for a platform-specific e유튜브 자막자동번역자동자막openaiwhipser-webui2024.04.28ysg2997.tistory.comRecCode[음성 인식 프로젝트] Whisper 파인튜닝 하기학습 과정미세 조정을 위한 전체 과정은 아래 그림과 같습니다. 학습 코드로 살펴보기 전체 과정을 코드와 함께 알아보겠습니다. 구글 코랩 환경에서 진행했습니다. 먼저 GPU를 할당합니다. gpu_info = !nvidia-smi gpu_info = '\n'.join(gpu_info) if gpu_info.find('failed') >= 0: print('Not connected to a GPU') else: print(gpu_info)라이브러리 설치!pip install datasets>=2.6.1 !pip install git+https://github.com/huggingface/transformers !pip install librosa !pip install evaluate>=0.30 !pip install jiwer !pip install --upgrade pip !pip install --upgrade git+https://github.com/huggingface/transformers.git accelerate datasets[audio]라이브러리 불러오기허깅페이스의 pipeline 클래스를 사용하여 학습을 진행하겠습니다. import torch from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline from datasets import load_dataset # 디바이스 GPU 설정 device = "cuda:0" if torch.cuda.is_available() else "cpu" torch_dtype = torch.float16 if torch.cuda.is_available() else tor모델 불러오기허깅페이스에 로그인 하겠습니다. 이때, 각자의 허깅페이스 계정의 토큰을 입력해야 합니다. from huggingface_hub import notebook_login notebook_login()데이터 불러오기파인튜닝을 위한 데이터 셋을 불러오겠습니다. from datasets import load_dataset, DatasetDict common_voice = DatasetDict() common_voice["train"] = load_dataset("mozilla-foundation/common_voice_16_1", "ko", split="train+validation", use_auth_token=True) common_voice["test"] = load_dataset("mozilla-foundation/common_voic위 두가지 전처리를 합친 WhisperProcessorWhisperProcessor는 Whisper Feature Extractor + WhisperTokenizer를 한번에 매핑합니다. from transformers import WhisperProcessor processor = WhisperProcessor.from_pretrained("openai/whisper-small", language="Korean", task="transcribe") 위 데이터가 48,000sr 이므로, 16,000으로 변경해줍니다. from datasets import Audio common_vo모델 학습파인튜닝 학습에서는 간단히 Trainer()를 사용합니다. 평가 지표: WER(단어 오류율)입니다. Compute_metrics 함수를 정의합니다. DataCollator 음성 모델은 input_features와 레이블을 독립적으로 처리합니다. input_features는 특징 추출기로 처리되고 레이블은 토크나이저로 처리될 것입니다. input_features는 이미 30초로 채워져 있고 고정 차원의 log-Mel 스펙트로그램으로 변환되어 있습니다. 본 DataCollator는 일괄 처리된 PyTorch 텐서로 변환하는 것뿐평가지표import locale print(locale.getpreferredencoding()) def getpreferredencoding(do_setlocale = True): return "UTF-8" locale.getpreferredencoding = getpreferredencoding 아래 코드에서 compute_metrics 함수는 다음과 같이 작동합니다. predict의 label_ids에서 -100을 pad_token_id로 바꿈. 예측 ID와 레이블 ID를 문자열로 디코딩함. 예측 라벨과 참조 라벨 간의 WE학습 argument 설정이제 학습을 위한 설정을 해줍니다. output_dir: 학습된 모델 가중치가 저장될 로컬 디렉토리. generation_max_length: 평가 중에 자동적으로 생성할 최대 토큰 수. save_steps: 훈련 중에 중간 체크포인트가 저장되고, save_steps 훈련마다 허브에 비동기적 업로드. eval_steps: 훈련 단계 중간 체크포인트 평가가 수행. report_to: 훈련 로그가 저장될 위치. ex)azure_ml / comet_ml / mlflow / neptune / tensorboard / wandb from t학습 진행from transformers import Seq2SeqTrainer trainer = Seq2SeqTrainer( args=training_args, model=model, train_dataset=common_voice["train"], eval_dataset=common_voice["test"], data_collator=data_collator, compute_metrics=compute_metrics, tokenizer=processor.feature_extractor,4WhisperProcessor는 Whisper Feature Extractor + WhisperTokenizer를 한번에 매핑합니다. from transformers import WhisperProcessor processor = WhisperProcessor.from_pretrained("openai/whisper-small", language="Korean", task="transcribe") 위 데이터가 48,000sr 이므로, 16,000으로 변경해줍니다. from datasets import Audio common_vo2024.03.14통합웹 더보기
서비스 안내스토리의 글을 대상으로 검색결과를 제공합니다.자세히보기깨달음의 샘물여행 분야 크리에이터내 마음속 올타임 베스트 듀오, "사이먼 앤 가펑클"13만났는데, 사법시험 2차 준비에 바빴던 와중에도 즐겨 들을 만큼 좋아했던 이곡을 다시 한번 들어 보기로 하자. 이듬해인 1985년 같은 앨범에서 Careless Whisper와 Everything She Wants가 연달아 1위를 점령해 버리는데, 이 가운데 내게 조금 더 친숙한 "Careless Whisper"만 들어 보기로 하겠다는... 아, 한 가지...브런치북신선한 Old Pop 세계로 초대사이먼듀오POP2024.04.14브런치스토리 검색 더보기boringariel.tistory.com아리엘의 블로그 코딩시작반[Transformers] 음성 텍스트 변환 모델 whisper 알아보기 (Automatic Speech Recognition)말하는 ARS, 홈쇼핑 전화의 주소 인식 모델, 장애인을 위한 자동 자막 생성 기술 등 여러 분야에서 이미 활용되고 있지요. 이번에는 OpenAI에서 제작한 whisper 모델을 활용해 파이썬으로 음성 텍스트 변환 프로그램을 구현해 보도록 하겠습니다. OpenAI whisperwhisper 모델은 대표적인 ASR 모델입니다. 영어뿐만...2024.05.09티스토리 검색 더보기story.kakao.com이안홍이안홍 - 카카오스토리it be, let it be, let it be, let it be 내버려 두어요, 내버려 두어요, 내버려 두어요, 내버려 두어요 Whisper words of wisdom 지혜로운 충고를 속삭여요 Let it be 내버려 두라고요 And when the broken...2024.04.20카카오스토리 검색 더보기여행 크리에이터 보기
줄거리악마는 때론 천사로 가장하기도 한다… 범죄자였던 맥스(조쉬 할로웨이)는 사랑하는 록산느(사라 웨인 클리스)와 함께 어둠의 세계를 벗어나 새로운 삶을 꿈꾼다. 레스토랑 창업을 꿈꾸는 그에게 은행의 대출 거절 등 세상은 잔인하기만 하고, 친구 시드니(마이클 루커)와 빈스(조엘 에저튼)는 레스토랑 창업 자금을 위해...더보기다른 사이트 더보기 다음영화정보 제공 안내Kakao가 운영하는 영화 서비스 입니다. 관객수는 영화진흥위원회 통합전산망 데이터로 제공되고 있습니다. 별점은 키노라이츠로부터 제공받는 정보이며, 데이터 제공 상황에 따라 변경될 수 있습니다.영화정보 더보기속닥속닥2015속삭임2006
서비스 안내Kakao가 운영하는 책 서비스 입니다.다른 사이트 더보기 하나님을 듣다
저자
마크 배터슨
출간
2018.4.26.
도서
11,700원
e북
8,190원
MR. WHISPER(SB WB)(LEVEL 5-2)(CD1장포함)(전2권)
저자
편집부
출간
2009.10.1.
도서
8,100원
Whisper
도서
36,980원
Whisper
저자
마크 배터슨
출간
2020.3.17.
도서
20,040원
Whisper
저자
Keighery Ch...
출간
2015.9.1.
도서
13,340원
Whisper
저자
Yu-Ko Chang
출간
2021.10.15.
도서
21,620원
Whisper
도서
23,280원
Whisper
출간
2021.1.1.
Whisper
저자
편집부
출간
2000.11.30.
도서
11,310원
Whisper
저자
Kim Hargrea...
출간
2011.4.1.
도서
27,890원
더보기(주)카카오는 상품판매의 당사자가 아닙니다.법적고지 안내(주)카카오는 통신판매중개자로서 통신판매의 당사자가 아니며 상품의 주문 배송 및 환불 등과 관련한 의무와 책임은 각 판매자에게 있습니다.
서비스 안내Melon Company가 운영하는 음악 서비스입니다. 다른 사이트 더보기 WHISPER 더보이즈 (THE BOYZ)
앨범
THE BOYZ 7T...
2022.08.16. Whisper Betty Who
앨범
Betty
2019.02.15. Whisper yetep 외 2명
앨범
Whisper
2024.05.31. Whisper 서주성
앨범
홈타운 OST
2021.10.28. Whisper (Feat. Raphi) Patrick Topping
앨범
Whisper (Fe...
2023.09.22. Whisper Stable (스테이블)
앨범
Whisper
2021.01.06. Whisper Ikki theMango
앨범
oopsy!
2021.06.02. Whisper Ruuben 외 2명
앨범
Whisper
2023.07.12. Whisper Chase Rice
앨범
Whisper
2016.02.05. Whisper 디아코니아 (Diaconia)
앨범
Sense
2021.12.13. Whisper (feat. City Girls) Blac Youngsta
![[Herald Review] 'Whisper' is one tense drama](https://search1.kakaocdn.net/argon/229x0_80_wr/6q2Q5ZpPCGq)
![[Dance]Careless Whisper-Peter Sax](https://search3.kakaocdn.net/argon/229x0_80_wr/5hC2lQaDqeL)
![Stable (스테이블)-Whisper [가사/듣기]](https://search1.kakaocdn.net/argon/229x0_80_wr/LwlD6dzZoSt)
![[ChatGPT] 음성 회의록 만들기-Whisper](https://search3.kakaocdn.net/argon/229x0_80_wr/CQqO4GMyEMj)
