meoca1257 님의 블로그

이젠 숙제가 된 느낌이 크네  문제 1: 시장 데이터의 노이즈와 변동성 해결 방법:데이터 전처리 강화: 이상값 제거, 시계열 스무딩, 로그 변환 등다양한 기술적 지표 사용: 단순히 가격만 보지 않고, MACD, RSI, 볼린저 밴드 등 복합 활용스태킹/앙상블 기법 도입: 여러 모델을 조합해서 노이즈에 강한 예측 구조 설계 문제 2: 모델의 과적합(Overfitting) 해결 방법:백테스트를 여러 시장 상황에 걸쳐 수행 (불장, 횡보장, 하락장 등)검증용 데이터 분리 + 교차 검증 (cross-validation)심플한 모델을 선호: 지나치게 복잡한 딥러닝보다는 설명 가능한 XGBoost, LightGBM 사용Feature Selection: 정말 예측에 의미 있는 변수만 선별 문제 3: 실시간 처리 속도..

최종 프로젝트  놀았음 ㅇㅇ ..  클로드 ai 한번 써봐야겠다 클로드 사용 전 꿀팁 찾아보고 시작해봐야지..  내 계획이 있었는데 물이 흐려짐 ㅠ

최종 프로젝트 = 드디어 모델 선정 성공 재현성, 과접합 때문에 고생 좀 했는데 잘 풀고 넘어감 이제 이거 갖고 매수/매도 전략 짜는게 중요할듯  근데 어느정도 자동화를 이루고 여러 주식 상품까지 같이 아우르려면  하이퍼 파라미터 튜닝에 재현성을 얹어줘야 하는데  그건 실패함 -> 추가 시도?는 일단 전략 제대로 잡아서 기틀 만들고 수익 실현 되고 다른 모델에서도 어느정도 수익이 나오는게 있다 할 때 시도해볼 예정 파라미터가 지금은 SPY 전용 파라미터인데 다른 주식까지 얹게되면 아무래도 자동 파라미터 선정이 되야 내가 편함 그게 아니면 나중에 자동으로 돌아간다 해도 어느정도 기간이 지나고 나면 파라미터를 다시 확인해봐야함 ---->> 매우매우 귀찮아질 수 있음  그러므로 잘해보자 내일부터 ㅇㅇㅇㅇㅇㅇㅇ..

최종 프로젝트 어떤 모델을 적용하던 상승 -> 하락하는 순간을 바로 잡아낼 수는 없는듯단, 빠르게 상승 -> 하락을 체크하고 다음으로 진행할 수 있는 모델이 필요예측값의 수치보단 예측의 추세가 실측값의 추세랑 비슷해야 추후 매도/매수 전략에서 유의미한 성과를 얻을 것 같음  근데 계속 같은 자리 맴도는 느낌 들어서 미치겠다 다 하나같이 예측을 잘 하는것 처럼 보이지만 패를 까보면 그닥 빠르게 추세 변동하는 모델은 적음 문제가 많네

최종 프로젝트 내가 개발하고 있는 모델 이름 알아냈다 .. 퀀트 모델 중에 도 고오오급 퀀트 모델이라네  이것저것 하면서 막힌게 많은데 벌써부터 어떻게 풀어나가야 할지 막막하다 최종 발표 최소 1주 전부터는 프로그램 만들어서 먼저 돌려놓고 있어야 하는데  자신이 없다 .. 힘내자 ㅠ 고급 퀀트 모델(Quantitative Model) 설계 요약1.  목적데이터 기반의 투자 판단 자동화 및 최적화감정 개입 없이 일관된 수익 창출이 목적예측 정확도를 높이면서도 리스크 제어 및 안정성 확보2.  고급 퀀트 모델의 주요 특성정교한 알고리즘: 머신러닝, 딥러닝, 시계열 분석 등 결합피처 다양성: 단순 수익률, 거래량 외에도 감쇠도, 이격도, 심리 지표까지 포함예측력 향상: 기존 룰베이스 전략보다 고정밀 예측 가능..

최종 프로젝트  오 드디어 시뮬 한번 돌려봄  60일 데이터 갖고 겨우 4번 밖에 거래 못했는데 그래도 수수료 적용했음에도 + 나옴  최적 파라미터 값만 찾으면 나머지는 일사천리? 일리가 없겠지만 파라미터 최적화 좀 됐으면 좋겠다 .. 다른 상품으로 돌려보면 2.6% 도 나오긴함 1달에 한두번 거래 할까 말까 정도긴 해도 제대로된 기준만 잡으면 나쁘지 않은 결과 만들수도 잘해보자

방법을 또 갈아엎음  오후까진 LSTM 을  기반한 여러 하이브리드 모델들을 만들고 바로 백테스트를 진행해봤으나 제대로된 테스트를 하지 못했음  -> 기존에 만들어진 공유되고 있는 아이디어를 참고해서 모델링 도전 모델1 은 포기 모델 2 최종 자산: 1,026,727원총 수익: 26,727원 (2.67%)총 거래 횟수: 26회                  Time Action       Price          Cash21 2025-03-31 19:00:00   SELL  557.500000  1.023292e+0622 2025-04-01 14:40:00    BUY  557.950012  1.162671e+0123 2025-04-01 16:30:00   SELL  560.390015  1.02776..

최종 프로젝트 LSTM+Attention 썼을 때 예측 곡선이 변동을 그리긴 했으나 변동이라 표현하기 깜찍한 수준에 이후 실시간 매수/매도 까지 생각하면 택도 없는 성과여서 포기  그 이후  LSTM 에 여러 모델 섞어보다가 ARIMA 섞어보는중 이제 Loss값, R^2, MAE, RMSE 까진 어느 정도 잡을 수 있는데 예측 그래프가 계속 말썽 ..  ARIMA 보완시켜보고 추세 영 안나오면 prophet 합쳐보러 .. 내일 하자

최종 프로젝트 준비 1) gpt 사용 시 프로젝트를 이용 -> 채팅을 여러개 만들고 링크로 내가 원하는 자료만 학습 시킨 채팅 따로 관리 가능 2) ipynb 파일보다 py 파일을 활용이 필요 -> py 관련 개념부터 다시 꺠우치는게 중요할듯3) gpt를 학습시키면서 틈틈히 학습한 내용을 업데이트해서 정리시키고 이해할 수 있도록 하자. -> 본 프로젝트용( 학습용 채팅, 이해용 채팅, 모델 구축용 채팅 ..) 최소 채팅 3개는 만들어야함4)  gpt 를 쪼을수록 높은 수준의 결과를 도출함 -> 최대한 여러 변수들을 고려한 코드를 만들자

본 프로젝트 명일 할 일gpt 머신러닝 돌아가게끔 환경 구축  주식 관련 예측 코드 학습 -------------------------------- ++++ 1. 주식 ai 아이템이 있는데 왜 사람들은 안쓰는 걸까? (주식 ai의 한계점) 2.상승장/하락장/추세없음 특화 모델 3. 트레이딩뷰 사이트와 사람들이 가독성이 좋다 사용하기 좋다 생각하는 증권사들의 시각화 차이 분석ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ지금까지 진행하면서 과적합 방지, 하이브리드 모델 개발, 피쳐 변경 등 여러 시도를 했으나 효율이 떨어지는 코딩만 이어갔음 명일부턴 효율 높은 방법으로 개선할 예정

본 프로젝트 재시작 이거 기준으로 다시 모델링 필요함  주식은 이렇게 총 10개 분석할 예정 근데 ipynb파일 하나하나 만들어서 모델 돌리자니 너무 짜증나서 그냥 일괄적으로 돌려버릴 예정 얼추 성능 잘 나오면 그냥 바로 멈출 예정 어짜피 예측하는 거고 주식 데이터 자체가 예측이 힘들어서 과적합이 잘생기는 데이터인데 K-fold 한번 돌려보고 테스트 데이터랑 학습 데이터 r^ 어느정도 비슷하고 비슷한 주식 데이터끼리 일반화만 짝짜꿍하면 충분할듯 ㅇㅇ 비슷한 주가 데이터가 없다? 그냥 넘어가  1차적으로 전체 코드 만들어서 돌려보는중

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[챌린지] 이미지 데이터와 불량 검출 5회차 - 손보미 튜터님[챌린지] 이미지 데이터와 불량 검출

[베이직] SQL을 활용한 데이터 처리 4회차 - 김연준 튜터님 [베이직] SQL을 활용한 데이터 처리

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[챌린지] 이미지 데이터와 불량 검출 4회차 손보미 튜터님[챌린지] 이미지 데이터와 불량 검출 무슨 SF 영화나 액션 영화에서 요원들이 카메라로 사람 정보 색출할 때 쓰는 방법 알아봄 일단 YOLO 11 버전이 최적화 잘된 버전이라니까 이거 쓸 일 생기면

### 과적합 해결이 1번째 과제 다중공선성 문제 -> 1) 데이터를 시작하는 고점, 저점, 등으로만 보지 말고 지수화  -> 관련된 직접 찾아서 데이터 기입 후 다중공선성을  확인하여 여러 컬럼 없애고 지수 등을 학습 시키는 데이터로 변경 2) 시간대별 가중치를 다르게 준다  -> 시간별 거래량을 알 수 있는데, 각 시간별 평균 거래량을 확인해보고 거래량별로 가중치를 다르게 준다 3) Close * Volume 컬럼  4) Volume 값을 MinMan스켈일링 해서 가중치로 선정. ### 단기 prophet , 장기 lstm, arima ### 목적 구체화   - 방향성 설정이 중요           -> 사이트 개설            -> 사용자에게 도움을 줄 수 있는 툴을 만들려면         ..

최종 프로젝트 주제 - 주식 예측 모델 개발 확정 머신러닝 모델 - LSTM, 랜포,xgb, lightgbm 결과 랜포가 좋다 LSTM 생각보다 구리다  ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[라이브] 생성형 AI 활용한 리포팅 자동화 2회차 - 김준성 튜터님 [라이브] 생성형 AI 활용한 리포팅 자동화

최종 프로젝트 주제 선정주식 예측 모델 개발1차 LSTM 기준 S&P500 ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[챌린지] 이미지 데이터와 불량 검출 3회차 손보미 튜터님[챌린지] 이미지 데이터와 불량 검출OpenCV.ipynb - Colab ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ최종 프로젝트  주식 데이터 가져오기  import yfinance as yf import pandas as pd # 티커 리스트 tickers = ["SPY", "^GSPC"]  # SPY (ETF), ^GSPC (S&P 500 지수) # 데이터 수집 data = {} for ticker in tickers:     data[ticker] = yf.d..

최종 프로젝트 시작주제 선정중 ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[스탠다드] 품질 관리를 위한 고급 통계 분석 2회차-임영재 튜터님 [스탠다드] 품질 관리를 위한 고급 통계 분석 ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ챕터1_실무에 쓰는 머신러닝 기초챕터 1-6 : 그룹을 나누고 싶어? 클러스터링!

실무에 쓰는 머신러닝 기초 챕터 1-3 : 값을 예측하고 싶어? 회귀!챕터 1-4 : 무엇인지 맞추고 싶어? 분류!챕터 1-5 : 하나보단 둘이 낫지! 앙상블 기법! (feat. 머신러닝 심화개념)ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[챌린지] 이미지 데이터와 불량 검출 2회차 손보미 튜터님전이학습은 남들이 만든 코드 좀만 변형해서 쓰면 됨 [수업 목표]실습을 통해 제조업 및 딥러닝 기반 자동화와 품질관리 분야에서 활용 가능한 컴퓨터 비전 역량을 기릅니다.[목차]이미지 데이터와 불량 검출 수업 일정이미지 분류 소개전이학습Cat Dog 실습 VGG16_CatDog_Classification.ipynb - Colabㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ코드카타코딩테스트 연..

[특강] 최종 프로젝트를 준비하며 2회차- 김연준 튜터님[특강] 최종 프로젝트를 준비하며ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[베이직] SQL을 활용한 데이터 처리 2회차 - 김연준 튜터님[베이직] SQL을 활용한 데이터 처리ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ머신러닝 기초 강의챕터 1-1 : 머신러닝이란?챕터 1-2 : 머신러닝을 하기전에 데이터 전처리 먼저!챕터 1-3 : 값을 예측하고 싶어? 회귀! ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ[스탠다드] 품질 관리를 위한 고급 통계 분석 - 임영재 튜터님[스탠다드] 품질 관리를 위한 고급 통계 분석 ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ..