본문 바로가기

분류 전체보기207

데이터 처리 속도 측정 (코드 수행 시간 측정) R start_time 2022. 3. 20.
Data Imbalance 이슈 해결 : 언더샘플링 & 오버샘플링 비정형 데이터 공부하기 넘 싫어서 진짜 한글 문서 분석이 나오나 하고 찾아보다가 작년 20~23회차 기출문제에 빠진 것을 보고! 때려치다가..맨날 오버피팅 이슈만 해결했지 언더..오버..샘플링이라는 생소하면 안되는데 생소한 기출문제가 있길래 늦었지만 공부~.~ 데이터 불균형을 해소하기 위한 두 기법: Under-sampling & Over-sampling (석사 플젝 때 ㄷㄹㅇㅌ에서 계속 데이터 불균형 이슈 해결을 위한 샘플링 기법에 대해 고민해본 적 있는지 여러번 질문 받았었는데 그 때마다 관련 논문에서 데이터 변형 없이 진행해도 ㄱㅊㄱㅊ해서 이케 했다라는걸로 맨날 돌려 막았던 기억이 난다. 다시 생각해보면 이러이러한 기법들이 있지만 그럼에도 ~~한 이유로 데이터를 변형없이 활용하기로 했다. 정도는 답.. 2022. 3. 20.
중구난방의 영차영차(그래서 앞으로 나아가질 못함) 1. https://youtu.be/dJ7iSck3tj0 요것이.. 진짜 걱정을 줄이는 방법인지는 잘 모르겠지만! 알고리즘을 통해 위 영상을 보고 과거, 미래 대신 그 순간을 사는 것에 더 많이 집중하고자 노력하고 있다. 원래 누가누가 더 멋진 말 하느냐보다 누가누가 사람들 귀에 닿도록 전달하는가의 문제이당~~ 2. 회사도 안나가면서 사회생활에 대해 고민하는 요즘..그 중 하나로 스스로의 칭찬능력부족을 느끼고있다. 우리팀 안에서만 일하고 소통할 땐 못느꼈는데 여러 활동으로 사내 다양한 사람들과 대화하면서 칭찬을 잘 받는 것도 못하고 잘 해주는 것도 못한다는 것을 깨달았다. 좀 과도하게 누군가(보통 윗사람 혹은 형님..)를 마구마구 칭찬하는 사람들을 보면 와 어케 저렇게 작위적으로 잘 이야기하나.. 진짜 .. 2022. 3. 18.
선형회귀 갑자기 교정 장치 떨어져서 고터까지 와갖고 치과에서 콘서트 티켓값쓰고.. 와중에 치과에 사람 갸많아서 치대 유학 유튜버 찾아보다가 뭐하는건가 싶어서 그냥 카페와서 책이나 봄..여기 되게 멋진 스벅이랬는데 생각보다 꼬질이여~ 단순선형회귀: '하나의' 설명변수 X에 대한 양적 반응변수 Y를 예측 선형회귀 적합의 질: 잔차표준오차(RMSE), R^2 통계량 잔차 표준오차가 크다면 모델이 데이터를 잘 적합하지 않는다는 것. 그러나 이는 Y의 단위로 측정되어 '절대적'측도가 됨. R^2는 이를 비율 형태로 변환하여(1-RSS/TSS) 0~1 사이 값을 가지며 Y의 크기와 무관해짐 다중선형회귀: still 선형회귀 but with 2개 이상의 x (*맨날 궁금했던거!* 단순선형회귀 (1:1 관계)에서는 상관관계가 .. 2022. 3. 12.
통계학습 쿠키먹고 싶었는데 원하는게 없어서 비슷한 말차 스콘 시켰는데 탈락! 대학원 내내 이 책을 얼마나 봤는데 아직도 보고 아?아~!하고 있는게 넘 슬퍼서 굴레를 깨고자 정리를 시작ㅜㅜ 추억의 책도 이제 찐막..찐찐막이다. f 추정의 목적: 1) 예측 2) 추론(어떤 설명변수? 상관관계는? 선형 방정식으로 표현 가능?) 추정의 방법: 1) 모수적 방법(f의 형태에 대한 가정有) 2)비모수적 방법(명시적 가정 없이 더 넓은 범위의 형태에 정확히 적합될 수 있음. 그러나 아주 많은 수의 관측치를 필요로 함) 예측 정확도-모델 해석력의 절충: 제한적 모델이 해석하기 쉬움. 유연성↑ 정확도↑ 해석력↓ 예측에 적합 (but 과적합 이슈) 유연성↓ 정확도↓ 해석력↑ 추론에 적합 준지도 학습: 일부 반응변수의 측정값 이용 .. 2022. 3. 12.
잔차분석 회귀모형에 대한 잔차분석 1. 등분산성 가정 Scale Location 그래프에서 빨간선의 기울기가 0에 가까워야한다. 2. 정규성 가정 Q-Q Plot을 그려보고 대각선을 이루고 있을 때 정규성을 만족한다고 판단. shapiro.test(resid(adms.lm2)) #p-value 확인하여 귀무가설(정규분포를 따른다.) 기각 여부 판단 par(mfrow=c(2,2)) #화면 쪼개고 plot(adms.lm2) #Q-Q Plot 확인하여 잔차의 정규성 가정 만족 여부 확인 Scale Location 확인하여 잔차의 등분산성 여부 확인 3. 독립성 가정 (자료 수집 과정에서 무작위 표집(random sampling)을 하였다면, 잔차의 독립성은 만족하는 것으로 봄) install.packages("lmte.. 2022. 3. 11.