meoca1257 님의 블로그

팀 프로젝트 준비  1월9일프로젝트 계획 수립 1월10일개인별 가설 설정 -> 인사이트 도출 도출된 인사이트를 엮어 스토리 텔링 초안 작성 1월11일 (예정)오전 부족한 데이터 분석 및 시각화 완료오후 PPT 작성 배운것 : 1. 내가 긴장하면 나만 긴장하는게 아니라 남들도 똑같이 긴장한다2. 웃으면서 얘기하는게 좋다3. 지금까지 작성한 TIL 은 자료 검색하기가 너무 힘들다 (양식을 변경하던 키워드를 설정해서 기재해두던 해야함)4. 데이터 분석 및 시각화 파이썬 코딩 실력이 좋다고 인사이트 도출까지 깔끔하게 하는건 아니였다5. 팀프로젝트는 역시 개인별 장점을 살려서 서로 모자란 부분을 채워나갔을 때 양질의 자료가 된다       ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ 코드카타 자연..

팀별 과제  ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ아티클 스터디blog.stratus.com/ko/data-utilization-in-the-manufacturing-industry-four-challenges-and-solutions-explained/ 제조 업계의 데이터 활용 - 4가지 과제와 해결 방법 설명 - 한국어많은 데이터를 수집하고 있지만 어떻게 활용해야 할지 잘 모르시나요? 이 블로그에서는 제조 현장에서 데이터를 활용하면서 직면하는 네 가지 과제와 이를 해결할 수 있는 솔루션 및 이점을 소blog.stratus.com 요약 :제조 산업에서의 데이터 활용법과 그로인한 장점 주요 포인트 : 제조 산업 데이터 활용: 기업 내 데이터를 활용하여 생산성과 품질을 향상시키는 것 ..

데이터 전처리 및 시각화 과제 * 코랩 사용법 파일을 구글 드라이브에 넣어둬서 동기화를 통해 파일을 가져오면 언제든 편하게 코랩 자료를 쓸 수 있음답안 , 풀이 문제풀이.ipynb - Colabhttps://colab.research.google.com/drive/1HAEDpLoAykk9jxBC642q4yPnoW-On3iC?usp=sharing데이터 전처리 및 시각화 과제 이유환 - ColabLevel. 1 : 데이터 전처리공장 데이터(Defects, Temperature 등)를 포함한 CSV 파일을 읽어와, 품질 분석에 앞서 필수적으로 수행해야 하는 전처리 작업을 진행합니다.결측치 처리: Defects 열의 이상치로 추정되는 특정 값을 NaN으로 대체하고, Temperature의 결측값은 평균값으로 채..

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ10분 판다스 ( = 30분 판다스 너무 오래함)df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))* np.random.randn(6,4) : 6행,4열 임의의 값(평균0, 표준편차 1)을 생성 *** 평균, 표준편차 등 간단히 쓰이는 계산식의 암기가 필요하다 생각 지금의 나 : 머릿속에 있는 이미지 중 하나를 생각해 맞는지 검증 후 도출미래의 나 : 표준편차 라는 키워드를 생각하자 마자 이해된 계산식 도출 df2 = pd.DaraFrame ({ 'a' : 1. ,                                       'b' : pd.Timestam..

리스트 [] 튜플 () 변경할 수 없는 시퀀스 자료형으로 여러 개의 요소를 저장하는 컨테이너 / 수정 불가블린 true/false스트링 ' ' , " "딕셔너리 {키:값}정수 int실수 float  1) 함수란?함수의 개념함수는 입력을 받아 원하는 처리를 한 후 출력을 내보내는 일련의 작업을 수행하는 코드 블록입니다.프로그램 내에서 특정한 기능을 수행하기 위해 코드를 논리적으로 그룹화하여 재사용 가능한 형태로 정의def 함수이름(매개변수1, 매개변수2, ...):    # 함수 내부에서 수행할 작업    return 결과값  # (선택적) 함수의 결과를 반환***매개변수 : 함수 내에서 사용되어지는 변수 # 함수 정의def greet(name):    message = "Hello, " + name + ..

세션 정리데이터 전처리와 시각화는 왜 할까? 목적에 맞는 데이터 전처리 및 시각화를 바탕으로 설득하기 위해 데이터 전처리란? 원하는 데이터를 보기 위해 하는 모든 활동데이터 분석의 5단계1. 문제정의 - 문제를 Y로 지정2. 가설설정 - 가설을 X로 지정3. 데이터 수집 * 수집 방법 - 크롤링ex)홈페이지 사용자 수 조회, DBMS(SQL) - 사내 데이터베이스, API 활용, AI-HUB 데이터 구매 등4. 데이터 분석 및 검증 * 분석 방법 - 시각화, 통계적 분석, 머신러닝 & 딥러닝 ( 처음 타켓 값을 잡아 타켓에 대한 상관관계는 알 수 있으나 그 외 요소들의 상관관계는 알 수 없음 그래서 XAI 를 주고 쓰고 있음 )5. 결론 및 인싸 도출 * date import : 렘에 데이터를 집어넣는다..

복습할 부분라이브 세션 이상치 찾고 제거 하기  강의 의문 들었던 부분 다시 복습 필요 ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ 데이터 전처리 및 시각화 4주차 빨대 사용 0.03% 어망 사용 46% 이 데이터 분석을 바탕으로 어떤 인사이트를 도출할 지 도와주는 데이터 시각화VS Code editer 를 통한 jupyter 노트북을 이용해 그래프를 그려보자~ 시각화 해보자~  어레이 형태로 1000개의 데이터가 생성됨data.shape 쓰면 열과 행의 분포 도출  -> ex) (1000,) 의문1.sizes = [ 1, 2, 3, 4, 5 ] labels = ['A', 'B' , 'C', 'D', 'E'] plt.pie(sizes, labels=labels) plt. show여기에서..

우리의 코트카타 에이스의 도움원본 Visual Studio Code matplot 출력 한글 깨짐 설정(vs code 설정)  1. matplotlibrc 파일 찾기파일 위치 찾는 코드 실행import matplotlibprint(matplotlib.matplotlib_fname())찾은 파일 경로를 클릭하여 파일 열기 2. 설정 파일 수정(ctrl + F를 통해 찾아야 한다.)폰트 설정 변경# font.family: sans-seriffont.family: Malgun Gothic  # 또는 'Nanum Gothic' 맑은 고딕은 되었으나 나눔은 안됨 음수 부호 설정 추가axes.unicode_minus: False 3. 폰트 캐시 초기화설정 파일을 수정 후 저장했더라도 폰트 캐시가 갱신되지 않아 이전..

데이터 리터러시 3주차명령어 정리 data=sns.load_dataset('tips') : data는 시본 라이브러리의 기본 데이터셋 tips의 데이터다 데이터 저장 :data.to_csv("tips_data.csv") 불러온 data를   tips_data.csv* ("tips_data.csv", index=False)  기본으로 나오는 인덱스값 없음data.to_excel("temp/tips_data.xlsx", index=False) : temp 폴더에 tips_data.xlsx로 저장, 인덱스 보여주지마 데이터 불러오기 : df=pd.read_table("tips_data.csv") data를 불러옴 파일 이름이나 경로 적기* ("tips_data.csv", index_col=0) 넣어도 기본으로..

01. 데이터 리터러시(Data Literacy) 1-1강1) 데이터 리터러시의 정의 데이터를 읽는 능력데이터를 이해하는 능력데이터를 비판적으로 분석하는 능력결과를 의사소통에 활용할 수 있는 능력 데이터 리터러시란?데이터 수집과 데이터 원천을 이해하고주어진 데이터에 대한 다양한 활용법을 이해하고데이터를 통한 핵심지표를 이해하는 것데이터 리터러시는 올바른 질문을 던질 수 있도록 만들어 줌 2) 데이터 분석에 대한 착각  데이터 분석 학습에 대한 일반적 접근보통 데이터 분석을 배운다고 한다면, SQL, Python, Tableau 등을 학습막상 데이터 분석을 하려고 보면 잘 되지 않음 데이터 분석에 대한 착각 데이터를 잘 분석하면 문제, 목적, 결론이 나올 것이라고 생각데이터를 잘 가공하면 유용한 정보를 얻..

EU 이사회, AI 사용에 관한 최초의 국제 조약 승인개인정보보호 국외동향 상세 페이지 | 개인정보보호위원회 개인정보보호위원회EU 이사회, AI 사용에 관한 최초의 국제 조약 승인EU 이사회(Council of the European Union)가 AI의 설계와 사용 전 과정에 걸쳐 인권, 민주주의, 법치를 강조하는 최초의 국제법적 조약*을 승인(’24.8.20)* Cowww.pipc.go.kr EU 이사회는 2024년 8월 20일, "Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law"라는 최초의 국제법적 조약을 승인했습니다. 이 조약은 AI의 설계와 ..

리스트 [] 튜플 () 변경할 수 없는 시퀀스 자료형으로 여러 개의 요소를 저장하는 컨테이너 / 수정 불가블린 true/false스트링 ' ' , " "딕셔너리 {키:값}정수 int실수 float                  2. 리스트의 다양한 메서드(Methods)리스트에 대해 유용한 여러 가지 메서드를 소개합니다.a.append(): 리스트에 항목을 추가합니다.a.extend(): 리스트에 다른 리스트의 모든 항목을 추가합니다.a.insert(): 리스트의 특정 위치에 항목을 삽입합니다.a.remove(): 리스트에서 특정 값을 삭제합니다.a.pop(): 리스트에서 특정 위치의 값을 제거하고 반환합니다.a.index(): 리스트,튜플에서 특정 값의 인덱스를 찾습니다.a.count(): 리스트,튜플..

데이터분석파이썬 5주차  01. 파일 불러오기 및 저장하기1) 파일 확장자CSV 파일 (.csv)CSV 파일은 Comma Separated Values의 약자로, 데이터를 쉼표(,)로 구분하여 저장하는 형식입니다.Excel 파일 (.xls, .xlsx)Excel 파일은 표 형태로 데이터를 저장하는 Microsoft Excel의 형식입니다.JSON 파일 (.json) (간단하게 데이터 적재되어 있음 / 용량 적고 효과적으로 저장 가능)JSON 파일은 JavaScript Object Notation의 약자로, 데이터를 저장하는 간단한 형식입니다.텍스트 파일 (.txt, .dat, 등)텍스트 파일은 일반 텍스트로 된 데이터를 저장하는 파일입니다. 2) 확장자에 따른 파일 불러오는 함수CSV 파일 (.csv)데..

데이터 분석 파이썬 4주차 4주차파이썬의 함수를 직접 만들고 함수에 대해 이해하기지금까지의 내용들을 모두 종합하여 함수를 만들고 사용하는 코드 작성파이썬 함수 예시 풀기 체크리스트(★ ★ ★ 내가 중점적으로 업데이트할 내용 ★ ★ ★ )[ ] 파이썬 가상 환경 중에서 내가 원하는 환경 아무거나 1개라도 다룰 수 있다 -> COLAB 가능[ ] 파이썬에 대한 개념을 이해하고 있고 왜 써야 하는지 이해하고 있다-> 엑셀보다 간단하고 빠르게 데이터 분석을 하기 위해 파이썬은 프로그래밍 언어[ ] 파이썬 변수의 역할이 무엇인지 설명할 수 있고 자료형에 대해서 이해하고 있다 -> 변수:값을 저장하는 공간, 자료형 : 타입 종류 스트링 인트 투플 불린 딕셔너리 등 [ ] 파이썬 리스트, 튜플, 딕셔너리에 대한 내용..

코드업 으로 알게된 내용1.print(' "!@#$%^&*()\' ')"!@#$%^&*()'원래는 "!@#$%^&*()'이라는 내용을 출력하려면 " "!@#$%^&*()' " 이렇게 되면 좋을텐데 안된다 근데 백슬래쉬 \  를 써주면 가능함 " "!@#$%^&*()\' " 2. 이해안됨 시발 백슬래시 \ 쓰는법 너무 어려움  [기초-출력] 출력하기07(py) "C:\Download\'hello'.py" 출력해야함print('"C:\Download\'hello'.py"\')오답print('"C:\\Download\\\'hello\'.py"')정답 3. print("Hello\nWorld")위 코드를 정확히 그대로 출력하시오.(공백문자 주의)print('print("Hello\\nWorld")') ****..

데이터 분석 파이썬 종합반강의 설명파이썬을 처음 배우는 사람이 보더라도 이해할 수 있게 강의를 작성하였습니다. 따라서 파이썬 초급자에게 유용하며 추천하는 강의입니다. 🙂각각의 파이썬 문법이 데이터 분석 때 실제 사용될 수 있는 예시도 함께 다루었습니다. 따라서 분석 시 파이썬 문법 어떤 것이 필요하다는 것을 직접 느낄 수 있게 강의를 구성하였습니다.단순 파이썬 개발자가 생각해야 하는 관점과 데이터 분석가가 파이썬을 바라보는 관점을 구분하였고, 오로지 데이터 분석가의 관점에서 파이썬 문법을 다룰 수 있도록 강의를 제작하였습니다.학습 목적파이썬이 무엇인지 알고 왜 써야 하는지 이해합니다파이썬의 기본적인 문법들에 대해서 이해합니다파이썬의 문법이 데이터 분석 어느 상황에서 사용할 수 있을지 생각해 볼 수 있습..

스파르타 캠프 1주차를 마치며 KPT 회고: Keep Problem Try의 약자로 회고 내용을 세 가지 관점으로 분류하여 회고를 진행한다는 것 Keep : 현재 만족하고 있는 부분계속 이어갔으면 하는 부분Problem : 불편하게 느끼는 부분개선이 필요하다고 생각되는 부분Try : Problem에 대한 해결책다음 회고 때 판별 가능한 것당장 실행가능한것  Keep :1. 팀원과의 소통을 통해 협업 스킬을 늘릴 수 있어 좋음 2. 팀이라는 구심점이 있다보니 서로 뭉치고 의기투합하게 되어 좋음 3. 팀원과의 과제는 꾸준히 있었으면 좋겠음  4. 개인별 장점을 서로 공유할 수 있어 육각형 인재가 될 좋은 기회같음5. 궁금한 것이 생기면 언제든 질문이 가능하다는 장점6.개선중인 나의 단점의 한계를 깨달을 수 ..

커리어 스터디3일차 : "공정에서 발생할 수 있는 문제를 상상해 보자"개인 학습:2일차에 조사한 공정을 바탕으로, 관련 데이터를 탐색합니다.데이터 탐색?전세계의 다양한 주제의 데이터를 찾아볼 수 있습니다.Kaggle: Your Machine Learning and Data Science Community데이터 분석가 / 과학자 / 엔지니어의 놀이터, 캐글을 방문해보세요!해당 공정에서 발생할 수 있는 문제를 구체적으로 정의합니다.문제 정의 예시:"조립 공정에서 기계 간 생산 속도 차이로 병목 현상이 발생한다.""포장 공정에서 특정 시간대에 불량률이 급증한다."스크럼 :각자가 찾은 데이터와 정의한 문제를 공유하고, 팀원들과 원인과 해결 방안을 가볍게 고민합니다.서로 다른 산업의 문제를 들으며 새로운 관점을 ..

데이터 분석 복습 5주차 6~9 & 숙제 1) 자체 숙제 (문제점 발견) 만들어 보기 created_atuser_idnameprogress_rate2022. 8. 15237a15a4c854a19f이시우1002022. 8. 89e39ebcdb3e41fdb경서희1002022. 8. 8ccd9564adf22a5f7지소희362022. 8. 1291ad78f3adfa9ee최가은100 자료 일부분임  필요 정보 - created_at , progress_rate , user_id created_at 날짜별로 나누기 위해progress_rate 날짜별 진도율을 알기 위해user_id 각 개체별로 카운트하여 총 합을 알아내기 위해 예상 작업 순서1. 공란 확인 후 있을 시 제거2. created_at 데이터 형식 확인..

데이터 분석 4주차 복습 완강&숙제  1) 차트 한글 변환 필수 코드(코드 따로)!sudo apt-get install -y fonts-nanum!sudo fc-cache -fv!rm ~/.cache/matplotlib -rf 1-1) 본 코드에 입력plt.rc('font', family='NanumBarunGothic')   2) 공란 셀 삭제, 그룹바이 코드sparta_data=sparta_data.dropna()access_media=sparta_data.groupby('access_media')['user_id'].count()   3) 그래프 바 색상 변경 방법- x축,y축 기재 후 ,color='원하는 색상' 을 추가로 기재한다plt.bar(access_media.index ,access_me..