djkim0424.tistory.comdjkim0424PCA 와 SHAP3따라서 1번에서 7번 또는 8번 변수만 모델링에 넣고 나머지 변수는 버려도 된다는 뜻이다. 각 주성분의 기여도를 좀 더 자세하게 알고 싶다면, SHAP 를 써볼 수 있다. SHAP values 은 머신러닝 모델의 투명성과 해석력을 높이기 위해서 사용되는 이론이다. 선형회귀 모델에서, 독립변수의 중요도를 측정할때, 가중치...2024.03.14블로그 검색 더보기100.daum.net백과사전ShapShap is a linear village and civil parish located among fells and isolated dales in Eden district, Cumbria, England. The village lies along the A6 road and the West Coast Main Line, and is near to the M6 motorway. It is situated from Pen...백과사전 검색 더보기출처: 영어 위키백과hcmvietnam.tistory.com호치민에서 살아가기Shap-E4https://paperswithcode.com/paper/shap-e-generating-conditional-3d-implicit Papers with Code - Shap-E: Generating Conditional 3D Implicit Functions Implemented in one code library. paperswithcode.com Unlike recent work on 3D generative models which produce a single output representation, Shap-E...2024.04.03sikaro.tistory.com시카로의 공부방비즈니스를 위한 인공지능(모델 해석 및 설명, 변수 중요도,PFI, shap)부스팅 계열부스팅 계열은 plot_importance를 사용한다. 트리가 분리될 때의 기준으로 사용된 횟수의 합으로 중요도를 표시한다. gain은 model.feature_importances_에서 나오는 값. 매개변수로 total_gain을 준다면 총합을 사용. cover은 트리가 분기될 떄의 샘플 수 평균이다. 트리의 깊이가 얕으면 자주 선택된 기준일 수록 높은 값. PFI(Permutation Feature importance) 전체 학습데이터에서 하나의 피처를 선택해 무작위로 섞었을 때 model의 성능이 얼마나 감소되는지를 계산. 랜SHAP 라이브러리각 알고리즘 별로 맞는 함수 사용 Tree 기반은 TreeExplainer 딥러닝은 DeepExplainer SVM은 kernelExplainer 그 외 알고리즘은 Explainer. 다만, sklearn, keras 기반 모델 외 사용시에는 정확하게 동작하지 않을 수 있음을 유의 반환되는 값 : shape 데이터, 실제 데이터 값 대신 기여햔 정도가 저장 그래프 그리기 force_plot - 개별 데이터 시각화 summary_plot - 요약 데이터 시각화 dependence_plot - 하나의 변수와 SHAP 값 간의 관계를 시PFI 코드from sklearn.inspection import permutation_importance from catboost import CatBoostRegressor model = CatBoostRegressor(max_depth = 10) model.fit(x_train, y_train) pfi = permutation_importance(model, x_test, y_test, n_repeats=50, scoring='neg_mean_absolute_percentage_error') #시각화 # 아래에 필요한 코드를 작성하SHAP 코드force plot : 개별 데이터 샘플에 대한 SHAP 값을 시각화 import shap import matplotlib.pyplot as plt from sklearn.ensemble import RandomForestRegressor #사용할 모델 # 데이터와 모델 준비 X_train, X_val, y_train, y_val = ... model = RandomForestRegressor().fit(X_train, y_train) # SHAP 값 계산 explainer = shap.TreeExplainer(model)5각 알고리즘 별로 맞는 함수 사용 Tree 기반은 TreeExplainer 딥러닝은 DeepExplainer SVM은 kernelExplainer 그 외 알고리즘은 Explainer. 다만, sklearn, keras 기반 모델 외 사용시에는 정확하게 동작하지 않을 수 있음을 유의 반환되는 값 : shape 데이터, 실제 데이터 값 대신 기여햔 정도가 저장 그래프 그리기 force_plot - 개별 데이터 시각화 summary_plot - 요약 데이터 시각화 dependence_plot - 하나의 변수와 SHAP 값 간의 관계를 시2024.03.2120221019.tistory.com개발새발[Python] 당뇨환자 재입원 예측모델(one-hot encoding, optuna, shap)29각 컬럼별로 값을 실제로 확인해본다. X_orig.sample(n=5) 2. 데이터 전처리 및 EDA (1) 라이브러리 설치 및 패키지 import !pip install lightgbm optuna shap --quiet import math import os import numpy as np import pandas as pd pd.set_option('display.max_columns',50) pd.set_option('display.max_rows',50...2024.01.14blablablog.tistory.comOmaySHAP Value 해석머신러닝 모델 해석 - 시각화 SHAP 머신러닝 모델을 학습시킨뒤, 보통 feature importance(특성 중요도)를 통해 모델이 어떻게 작동하는지 분석합니다. SHAP도 이와 같은 모델 예측의 해석에 관한 기법입니다. SHAP(Shapley Additive Expansion) 값은 특정 특성의 값이 예측에 어떤 영향을 미치는 지를 해석합니다. 예를...SHAP머신러닝특성중요도모델해석SHAPvalue2024.02.22통합웹 더보기
서비스 안내스토리의 글을 대상으로 검색결과를 제공합니다.자세히보기JejuGrapherIT 분야 크리에이터달고나 51. SHAP 이해하기3때문에 부분적인 인풋-아웃풋 간의 민감도를 확인하는 편이다. 더 자세한 설명은 위에 걸어둔 링크를 참조하기 바란다. 여러 방법론들 중에서 현재 끝판왕은 SHAP (SHapley Additive exPlanations)인데, 이를 처음 제안한 논문을 읽어도 개념은 대강 알겠는데 구체적으로 어떻게 동작하는지 그리고 구글링으로 얻은 SHAP...데이터과학알고리즘인공지능2022.06.15브런치스토리 검색 더보기story.kakao.com리치 金리치 金 - 카카오스토리7이용하여 과시한다 반듯하게 살자 좀만 자신을 낮추장 부탁 겸손한 자세로 살자 HoW come you shap HoW come you shap so eamily? (왜 늘 발끝))))) 선의에안갚음 평생웬수 저의 카일지 내마음 곱게 물들어 사이...2024.04.28카카오스토리 검색 더보기IT 크리에이터 보기
