#데이터

데이터 분석 및 엔지니어링을 공부하며 작성된 글의 태그입니다.

목록으로 돌아가기

Airflow 구조 이해하기

# Airflow 디렉토리 구조 물론 airflow 작동을 하는 DAGs 폴더는 변경 가능하다. 기본적인 경로명을 확인하고 해당 경로명이 의도한게 맞다면 폴더를 만들고 해당 경로에 파이썬 파일을 작성해 저장하면 된다. ```bash cat ~/airflow/airflow.cfg | grep dags_folder >> dags_folder = /ho...

Airflow 설치 : DAGs에서 항목 사라짐 현상

# Airflow란? Airflow DAG(Directed Acyclic Graph) 개발은 워크플로우의 각 작업을 정의하고, 이러한 작업들이 실행될 순서를 명확하게 규정하는 과정입니다. Airflow의 핵심은 DAG이며, DAG는 실행 단위인 태스크(Task)를 연결한 그래프입니다. # 설치 설치 명령어는 다음과 같이 pip을 이용해서 간단하...

이질적 처치 효과 : 실무로 통하는 인과추론 학습기(4)

딥다이브, 실무로 통하는 인과추론 스터디 그룹에서 학습하며 과제로 작성된 글 입니다. --- ## [4주차 과제] 이질적 처치 효과 - 항공사가 항공권을 언제 구입하는지에 따라 항공료를 다르게 책정하는 경우를 보고자 합니다. 이때, 실제 비행시간까지 시간이 촉박한 고객은 더 큰 비용을 지불할 것으로 예상할 수 있습니다. - 이질적 처치효과를 학습...

성향 점수 : 실무로 통하는 인과추론 학습기(3)

딥다이브, 실무로 통하는 인과추론 스터디 그룹에서 학습하며 과제로 작성된 글 입니다. --- ## [3주차 과제] 성향점수 해당 데이터는 NGO의 구호활동이 영아사망률에 미치는 영향을 알아보기 위해 생성한 가상의 결과입니다. 이번 과제의 목표는 회귀, 성향점수 매칭, 역확률 가중치 등 여러 추정 방식이 어떠한 상황에서 적절한지 알아보는 것입니다....

선형 회귀 | 프리슈-워-로벨 정리 | 더미 변수 : 실무로 통하는 인과추론 학습기(2)

딥다이브, 실무로 통하는 인과추론 스터디 그룹에서 학습하며 과제로 작성된 글 입니다. --- ## [2주차 과제] 선형 회귀 | 프리슈-워-로벨 정리 | 더미 변수 해당 데이터는 수면 시간이 성적에 얼마나 영향을 미치는지 확인하기 위해, 10000명의 학생의 성적을 생성한 가상 결과입니다. 이번 과제의 목표는 선형 회귀, 프리슈-워-로벨 정리, ...

ATE, ATT, CATE, Bias : 실무로 통하는 인과추론 학습기(1)

딥다이브, 실무로 통하는 인과추론 스터디 그룹에서 학습하며 과제로 작성된 글 입니다. --- ## [1주차 과제] 잠재적 결과 해당 데이터는 튜터링이 성적에 얼마나 영향을 미치는지 확인하기 위해, 1000명의 학생의 성적을 생성한 가상 결과입니다. 이 데이터는 체계적으로 편향되어 있고, 전지적인 능력으로 **잠재적 결과(Potential Outc...

Tableau 초보 사용법 정리

```python 💡 데이터 소스 연결과 데이터 가져오기 실습 ``` **데이터 로드** ![이미지 설명](../assets/images/datastudy/7/1.png) 데이터 다운로드 아래에서 데이터를 가져왔어요! 캐글은 좀 유명해서 알아두세요! [Online Food Dataset](https://www.kaggle.com/...

Tableau 설치 및 테스트

# Tableau란? ![이미지 설명](../assets/images/datastudy/6/1.png) Tableau란 데이터를 시각화하고 대시보드를 제작하는 플렛폼이다. 페이지에서는 사람과 조직이 더욱 데이터 기반으로 전환하도록 도와주는 플렛폼, 모두를 위한 직관적이고 시각적인 분석으로 비즈니스 인텔리전스에 혁신을 가져온 플렛폼이라 설명한다. ...

selenium을 사용한 크롤링

# selenium란? ![이미지 설명](../assets/images/datastudy/5/1.jpg) Selenium은 웹 애플리케이션을 테스트하고 자동화하기 위한 도구라고 한다. 주로 웹 애플리케이션의 기능을 자동으로 시뮬레이션하고 그 결과를 확인하기 위해 사용된다. 때문에 Selenium을 활용하여 html 파일에 접근하고 필요한 정보들을...

마켓팅 전략 STP와 4P, 4C

# STP란? ![이미지 설명](../assets/images/datastudy/4/1.png) 마케팅에서 세분화, 타겟팅 및 포지셔닝은 시장 세분화를 구현하는 프레임워크이다. 시장 세분화는 시장 특성과 경향을 결정하는 다양한 변수에 따라 시장 내의 구매자 그룹을 나누고 프로파일링하는 프로세스이다 ## Segmentation (세분화) ...

소비자 구매경로 AISAS

# AISAS란? ![이미지 설명](../assets/images/datastudy/3/1.png) AISAS란 Awareness, Interest, Search, Action, Share의 이니셜로 소비자들의 구매 경로 순서를 분석하기 위한 하나의 방법론이다. ## Awareness 인지의 단계로 상품에 대한 존재를 인식하는 단계이다. ...

1장 데이터에서 인사이트 발견하기 - 멕시코풍 프랜차이즈 chipotle의 주문 데이터 분석하기 [이것이 데이터 분석이다]

# 0. 주문 데이터 분석 들어가기 먼저 질문 리스트를 작성한다. 무엇이 가장 많이 판매됐을때 메뉴별 판매량은 어떨까? 그 후 질문 리스트에 개한 분석 결과를 시각화하며 분석을 한다. # 1. 탐색: 데이터의 기초 정보 살펴보기 ## 데이터 다운로드 타이틀을 누르면 데이터가 있는 깃허브 주소로 이동한다. ### [데이터 다운 바로가기](http...

1장 데이터에서 인사이트 발견하기 - 탐색적 데이터 분석의 과정 [이것이 데이터 분석이다]

# 1. 데이터와의 첫 만남 ### 🤷‍♂️ raw data 우리가 접하는 대부분의 데이터는 아직 정제되지 않은 데이터이다. 이러한 데이터를 raw data라고 한다. ## 탐색적 데이터 분석 과정 탐색적 데이터 분석은 데이터를 열어보는 상황에서부터 시작되며 다음과 같은 과정이 수행돼야 한다 👆 데이터의 출처와 주제에 대해 이해하기 ...

0장 들어가며 [이것이 데이터 분석이다]

나도 들어가며... 교재 이미지나 화면 등등을 최대한 공개 안한 상태로 글을 작성하겠지만 문제가 되지 않겠죠?... 문제가 있다면 이메일로 연락주세요!... # 1. 개발환경 구축 ## 아나콘다 설치하기 먼저 교재에서는 아나콘다를 설치하라고 한다. 난 이미 설치가 돼 있기 때문에 패스한다. 혹여나 내 글을 보고 공부를 하시는 왕초보 분이 있...

데이터공부를 시작하며

웹 백엔드와 프론트엔드, 머신러닝과 딥러닝 등등 학습을 하며 데이터에 관해 큰 관심을 가지게 됐다. 챗봇, 감정분류 등 다양한 모델에서 데이터 부족 및 편향 등으로 성능이 결정되는 경험을 하였다. 자연스럽게 데이터를 가공하고 분석하는 것에 관심을 가지게 됐으며 데이터 분야를 제대로 학습해볼 생각이다. 자격 먼저 데이터 분석가의 자질을 알아보기 위해...