[KT AIVLE] KT 에이블스쿨 5기 DX트랙 5주차 후기(데이터 수집, 2차 미니 프로젝트)

5주차 (3월 18일 ~ 22일)데이터 수집(3월 18일 ~ 19일)5주차에는 박두진 강사님께서 웹 크롤링을 주제로 2차 미니프로젝트 전 이틀 동안 강의를 해주셨습니다! 개인적으로 이전에 유튜브를 통해 웹 스크래핑을 잠깐 공부한 적이 있었는데, 그때는 제대로 이해하지 못한 채로 끝나서 조금 아쉬움을 남긴 채로 끝났었습니다. 이번 강의 역시 쉽지는 않았지만 웹 크롤링을 네이버, 직방, 카카오 등 다양한 사이트에서 다뤄보면서 실습까지 진행할 수 있어서 재미있게 학습할 수 있었습니다! 나중에 시간 내서 다양한 주제로 다뤄보려고 합니다. 2차 미니프로젝트(3월20일 ~ 22일) 2차 미니프로젝트에는 서울시 공공데이터를 가지고 전처리부터 분석 그리고 인사이트를 도출해내는 과정을 3일에 걸쳐 진행되었는데 에러도 많..

• format_list_bulleted KT AIVLE/에이블스쿨 5기 후기
• · 2024. 3. 23.
• textsms

[KT AIVLE] DX트랙 데이터 수집(5주차) 복습(웹 크롤링, json, HTML, CSS)

데이터 수집 복습 1. Web Server & Client Architecture -------------------- request --------------------> Client Internet Server 확인하는 방법 : response.text # headers 추가 headers = { 'User-Agent' : '__', 'Referer' : '__', # ,를 찍어주는 것이 후에 에러 처리할 때 용이 } response = requests.get(url, headers = headers) response 4. REST API Representational State Transfer Client와 Server가 통신하기 위한 URL 구조에 대한 정의 및 디자인 인코딩 디코딩 변환 사이트 ..

• format_list_bulleted KT AIVLE/DX 복습
• · 2024. 3. 20.
• textsms

[KT AIVLE] DX트랙 데이터 분석(4주차) 복습(가설검정, 이변량분석, T-Test, ANOVA, 카이제곱검정 )

데이터 분석 복습 6. 가설검정 가설검정(hypothesis test) 수집한 데이터로 가설에 대해 타당성을 입증하는 것 모집단과 표본 모집단: 알고 싶은 대상 전체 데이터 표본: 그 대상의 일부 데이터 귀무가설(null hypothesis) 현재까지 알려진 사실을 기준으로 설정한 가설 차이가 없다 대립가설(alternative hypothesis) 새롭게 주장하고자 하는 가설 차이가 있다 통계적 검정 표본으로부터 대립가설을 확인하고, 모집단에서도 맞을 것이라 주장 분포 + 판단 기준 필요 p-value 계산(차이 값이 클 수록 p-value 작아 짐) 0.05 보다는 p-value가 작아야, 차이가 있다고 판단 단측검정 ex) A매장과 B매장 중 어디의 수요량이 더 큰가? 양측검정(주로 사용) ex) ..

• format_list_bulleted KT AIVLE/DX 복습
• · 2024. 3. 16.
• textsms

[KT AIVLE] KT 에이블스쿨 5기 DX트랙 4주차 후기(데이터 분석)

4주차 (3월 11일 ~ 15일)데이터 분석(3월 11일 ~ 15일)에이블스쿨 4주차 후기입니다!4주차에는 한기영 강사님의 데이터 분석 강의를 듣게 되었습니다. 강사님께서 텐션이 너무 좋으시고 중간중간에 회사 생활하며 있었던 일도 얘기해주시고 성대모사(솔직히 취저여서 웃겼습니다..)까지 해주시면서 지루하지 않게 강의 들었습니다! 강의는 아래 순서대로 진행되었습니다데이터 분석의 방법과 EDA단변량 분석이변량 분석시계열 분석강사님께서 설명도 정말 열정적으로 잘해주셨는데! 어렵더라고요..나름 ADSP 자격증 취득도 했었어서 이번 강의가 익숙하지 않을까 싶었는데 데이터 분석 공부가 아닌 자격증 취득 목적으로 벼락치기 해서 그런지 배경지식으로 삼기에는 큰 도움이 되지 못했습니다.   P-Value, t-검정(T-..

• format_list_bulleted KT AIVLE/에이블스쿨 5기 후기
• · 2024. 3. 15.
• textsms

[KT AIVLE] IT 트렌드 · DX 스터디 3회차 Open AI Sora

SoraSORA는 Opean AI에서 공개한 새로운 기술입니다. ChatGPT와 마찬가지로 텍스트 프롬프트 기술을 기반으로 동작하며 텍스트로 제작하고 싶은 장면을 묘사해서 전달하면 세밀한 퀄리티의 영상으로 생성해줄 수 있습니다! Opean AI에서 제공하는 샘플 영상을 보겠습니다출처: Opean AIPrompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curi..

• format_list_bulleted KT AIVLE/IT 트렌드 스터디
• · 2024. 3. 14.
• textsms

[KT AIVLE] DX트랙 데이터 분석(4주차) 복습(데이터 분석 방법론, EDA&CDA, 시각화라이브러리, 단변량 분석, 숫자형·범주형 변수)

데이터 분석 복습 1. 데이터 분석 방법론 CRISP-DM(Cross-Industry Standard Process for Data Mining) 1) 비즈니스 이해(Business Understanding) 문제를 정의하고 요인을 파악하기 위한 가설 수립 비즈니스 이해하는 단계 업무 목적 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립 2) 데이터 이해(Data Understanding) 데이터 수집 및 속성 이해 초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 데이터 품질 확인 데이터 분석 도구 EDA(Exploratory Data Analysis) 개별 데이터의 분포, 가설이 맞는지 파악 NA, 이상치 파악 CDA(Confirmatory Data Analysis) 탐색으로 파악하기 애매한..

• format_list_bulleted KT AIVLE/DX 복습
• · 2024. 3. 12.
• textsms