Python 8

3. 샘플 문제로 함께 알아보는 [데이터 분석] 파트 내용 정리하기 (1) 시각화, 전처리

데이터 분석 파트는 총 4~5문항으로 구성되며, 전체 배점은 데이터 탐색 파트와 동일하게 30점이다.상세 항목은 아래와 같이 구성되어 있다.1. 데이터 시각화 (상관분석 등) 2. 데이터 전처리 (결측치 처리, 라벨 인코딩/원핫 인코딩)3. xy 데이터 분리4. 데이터 정규분포화5. 표준화 이번 글에서는 1, 2를 중점적으로 정리하였다. 1. 데이터 시각화시각화 방법은 다양하므로, 샘플 문제에서 등장한 메소드를 중심으로 살펴보겠다. (1) 데이터 개수의 분포를 보여주는 countplot 그래프import seaborn as snssns.countplot(x='col1', data=df)  (2) 두 변수의 분포와 관계를 함께 나타내는 jointplot 그래프import seaborn as snssns.j..

Certifications/AICE 2024.06.20

2. AICE [데이터 탐색] 파트 내용 정리하기

데이터 탐색 파트는 총 5~6문항으로 구성되며, 전체 배점은 30점이다.상세 항목은 아래와 같이 구성되어 있다.1. 필요한 라이브러리 설치2. Tabular 데이터 가져오기3. 데이터의 구성 확인 AICE에서 제공하는 샘플 문제를 기반으로 하여 데이터 탐색 파트 풀이 방법을 구체적으로 알아보자.  1. 필요한 라이브러리 설치pandas, numpy, sklearn, matplotlib, seaborn 등 필요한 라이브러리를 import 하고 별칭을 할당하는 문제가 등장한다.이 때는 아래와 같이 문제에서 요구하는 라이브러리를 호출하고 별칭을 설정해주면 된다.import pandas as pd # pandasimport numpy as np # numpyimpor..

Certifications/AICE 2024.06.20

[KT AIVLE/2024.02.26] 한기영 강사님의 [데이터 처리] 강의 정리: Numpy, Pandas 라이브러리 심화

목차1. 서론2. 실습 환경3. 수업 내용 요약4. 상세 내용5. 느낀 점   1. 서론판다스나 넘파이를 필요할 때 필요한 기능만 검색해서 사용했었는데, 이렇게 함수를 구체적으로 이해하며 학습하니 더 머리에 잘 들어오는 것 같다. 유사한 함수들끼리 비교하면서 서로 어떤 차이가 있는지 파악할 수도 있어서 좋다. 이번 주는 스터디 준비랑 병행하면서 조금 정신이 없었는데, 얼른 전부 정리해버리고 기존에 계획했던 자격증 공부도 시작할 수 있게 준비하자. 힘들지만 이겨내고 꾸준히 해야 관성이 생긴다, 화이팅!(그러나 4일차도 여전히 코드 부분은 일단 생략하고 주말에 채워넣는 것으로 하겠다.)  2. 실습 환경- 3일차와 동일하게 Jupyter 환경에서 numpy, pandas 라이브러리가 설치되어 있다는 전제 하..

Education 2024.02.28

[KT AIVLE/2024.02.23] 한기영 강사님의 [Python Library] 강의 정리: Numpy, Pandas 라이브러리의 이해

목차1. 서론2. 실습 환경3. 수업 내용 요약4. 상세 내용5. 느낀 점   1. 서론오늘은 사실 5일차 수업인데 3일차 수업부터 블로그 포스팅이 밀려서 부랴부랴 남기고 있다. 매일 복습은 꾸준히 했는데 노션 정리 따로, 에이블스쿨 우리반 게시판에 정리 따로, 블로그 포스팅 따로 이렇게 세 번 글을 정리하려고 하니까 조금 비효율적인 것 같다. 효율적으로 정리할 수 있는 방법을 찾아야겠다. 그러나 이상하더라도 꾸준히 하는 것이 더 중요하다. 좋은 결과만 보여주려고 멈추면 결국 안 하게 되니까. 조금씩 변하더라도 일단 계속 하긴 하자.3일차 수업을 정리하려고 하는데 계속 한기영 강사님의 "한기영 강사님 밉다, 라고 쓰면 안 돼요~" 라는 말이 머리 속에 멤돈다. (ㅋㅋ) 한기영 강사님 수업을 4일째(2일차..

Education 2024.02.27

JAVA 환경 구축: MacOS에서 JAVA를 설치해보자

Summary- StanfordCoreNLP 라이브러리를 활용하는 Python 코드를 구현하던 중 JAVA가 `RuntimeError: Java not found.` 메시지를 마주하였다. 이에 JAVA를 설치해보고자 한다.- 현재 내 맥의 환경은 아래와 같다. * OS: 13.0.1 (22A400)* Processor: 2.3 GHz Quad-Core Intel Core i5 Contents내용은 아주 간단하다. (1) 오라클에 들어가서 JAVA JDK를 설치해주고 (2) 환경 변수를 등록해주면 된다.차례차례 진행해보도록 하자. 1. 먼저 내 맥에 JAVA가 없는지 확실히 확인하기 위해 아래와 같이 실행하였다.java --version 확실히 설치되지 않았음을 알 수 있다.  2. Oracle 다운로드 ..

Python 환경 구축: Jupyter config 파일 생성 및 시작 위치 변경하기

Summary- 전체 진행 절차: config 파일 생성 -> config 파일 수정(시작 위치 변경) -> jupyter lab 실행- 이 글은 Windows 11 OS 에서 진행되었으며, Windows 운영체제를 이용하고 있다면 동일한 프로세스로 진행되지만 다른 OS(예: MacOS, ...)에서 진행중이라면 경로나 설정 등이 다를 수 있음을 알립니다.- jupyter lab을 중심으로 진행하고 있으나, jupyter notebook도 과정이 같기 때문에 이 글을 참고하셔도 됩니다.ContentsBackground기존에 학교에서 제공해주던 Google drive를 연결하여 사용하다가 학교 지침 변경으로 인해 용량 제한이 생겼다.새로운 지침으로 인해 이제 개별 제공하는 드라이브 용량이 5기가 밖에 되지..

[Package][버전확인] pip로 설치한 패키지 버전 확인 방법 2가지

Summary pip로 설치한 패키지 버전을 확인하는 방법은 아래 두 가지가 있다. 1. pip show [패키지 이름]: 특정 라이브러리를 확인할 때 사용 2. pip list: 전체 패키지 목록(이름, 버전)을 확인할 때 사용 Contents 1. pip show [패키지 이름] 예를 들어 scikit-learn 버전을 확인한다고 했을 때 아래와 같이 코드를 작성할 수 있다. pip show scikit-learn 실행 결과는 아래와 같이 패키지 이름, 버전, 패키지에 대한 설명(요약, 사전에 필요한 패키지 목록 등)을 출력한다. Name: scikit-learn Version: 1.2.2 Summary: A set of python modules for machine learning and data..

[NLP][오류] ko-sentence-transformers 설치 시 발생하는 UnicodeDecodeError를 해결해보자!

Summary 1. 문제 상황 라이브러리 설치 시 UnicodeDecodeError가 발생했을 때 문제를 해결하는 내용이다. 2. 해결 방안 pip를 활용하지 않고 직접 설치 파일을 다운로드 받는다 문제가 발생한 파일(setup.py)을 수정한다 python (파일명) install 명령어를 통해 설치한다. 3. 특징 이 글은 ko-sentence-transformers 설치 시 발생한 오류를 중점으로 다루고 있으나, 동일한 문제의 다른 라이브러리에서도 이 방법을 활용할 수 있다. 4. 추가 내용 이 글은 Windows OS에서 tar.gz 파일의 압축을 해제하는 방법도 포함되어 있다. (필자의 OS는 Windows 11이다.) Contents Background KoBERT를 사용하기 위해 pip로 k..

Developer/AI 2023.04.24