Developer 19

[Package][pandas] 데이터(csv, excel) 불러오기 & 저장하기

Summary - csv 파일이나 excel 파일을 dataframe 형태로 불러오거나, 혹은 dataframe을 csv나 excel 파일 형태로 저장할 때 아래와 같은 코드를 사용할 수 있다. - 엑셀 파일이 너무 커서 열리지 않을 때나 열어서 바로 분석하고 싶을 때 등등 아래 기능들을 활용할 수 있다. - 함수별로 파라미터를 추가적으로 하나씩 더 붙여서 소개하였으나, 다양한 파라미터가 있으니 첨부된 링크를 확인해보자. - 참고로 불러올 때는 함수 형태로 사용하지만 저장할 때는 메소드 형태로 사용한다. 즉, 불러올 때는 pandas.read_excel()과 같은 형태로 라이브러리에서 함수를 호출하는 형태이지만, 저장할 때는 생성된 데이터프레임을 저장하는 것이므로 (저장할 데이터프레임 변수 명).to_e..

Developer/Python 2023.05.09

[환경구축][Conda] 가상환경 생성/제거/(비)활성화/리스트 보기

Summary - 가상환경 관리 프로그램인 conda를 사용하면서 가장 많이 사용하는 명령어이자 기본인 명령어들을 정리해본다. - 포함된 내용은 '가상환경 생성', '가상환경 제거', '가상환경 (비)활성화', '생성한 가상환경 리스트 보기'로 4가지 섹션으로 구성되었다. - 참고로 이 글은 가장 많이 사용하는 코드를 아카이빙 하기 위한 목적으로 작성한 글이므로, conda가 무엇인지, 왜 사용해야 하는지에 대해서는 필요 이상으로 구체적인 정리는 수행하지 않았다. Contents 0. 개요 파이썬 코드를 짜다보면 상황에 따라 동일한 패키지의 필요한 버전이 다른 경우가 있다. 파이썬 언어 자체도 어떤 상황에서는 3.7이 필요하기도 하고, 어떤 상황에서는 3.8 이상이 필요하기도 하다. 이런 각각의 경우마다..

[Package][오류] scikit-learn의 compute_class_weight() 사용 시 발생하는 TypeError 해결 (부제: 인자 3개인데 왜 자꾸 1개만 넣으라 그래요?)

Summary - 문제 상황: scikit-learn의 compute_class_weight() 사용 시 인자 개수가 다르다는 오류 발생 - 해결 방안: 명시적으로 파라미터명을 매칭해주기 - 주의: 쉽게 패키지 버전의 문제라고 판단하지 말 것 (패키지 버전 꼬이면 최악의 경우 환경 구축을 다시 해야 할 수도 있음!) Contents Background scikit-learn 라이브러리의 compute_class_weight 메소드를 사용하는 중 들어가야 할 인자는 3개인데, 3개를 넣었더니 1개만 넣어야 한다는 오류가 발생했다. 오류 메시지: TypeError: compute_class_weight() takes 1 positional argument but 3 were given scikit-learn..

Developer/AI 2023.04.28

[환경구축][TensorFlow] 모델 시각화 함수 plot_model() 작동 오류 해결 (부제: 패키지 설치를 했는데도 자꾸 설치를 하라고 한다?)

Summary Tensorflow에서 모델 구조를 확인하기 위해 제공되는 plot_model() 메소드 사용시, 설치하라고 하는 패키지를 아무리 설치해도 되지 않았던 사람들이라면 이 글을 보라. 명확하게 해결될 것이다. Contents Background 위 메시지가 떴을 때 자연스럽게 pydot, graphiz 패키지를 설치했으나, 아무리 설치를 해도 위 메시지가 없어지지 않았다. 왜인지 이유를 탐색했고 Reference에 있는 글대로 진행하니 바로 해결되었다. 동일한 내용이지만 가상환경 변경할 때마다 자주 발생하는 문제여서 아카이빙 차원에서 이번 포스팅을 남겨본다. Solution 해결법은 간단하다. 아래 4줄의 코드를 순서대로 입력한다. pip install pyparsing pip install ..

Python 환경 구축: Jupyter config 파일 생성 및 시작 위치 변경하기

Summary- 전체 진행 절차: config 파일 생성 -> config 파일 수정(시작 위치 변경) -> jupyter lab 실행- 이 글은 Windows 11 OS 에서 진행되었으며, Windows 운영체제를 이용하고 있다면 동일한 프로세스로 진행되지만 다른 OS(예: MacOS, ...)에서 진행중이라면 경로나 설정 등이 다를 수 있음을 알립니다.- jupyter lab을 중심으로 진행하고 있으나, jupyter notebook도 과정이 같기 때문에 이 글을 참고하셔도 됩니다.ContentsBackground기존에 학교에서 제공해주던 Google drive를 연결하여 사용하다가 학교 지침 변경으로 인해 용량 제한이 생겼다.새로운 지침으로 인해 이제 개별 제공하는 드라이브 용량이 5기가 밖에 되지..

[Package][버전확인] pip로 설치한 패키지 버전 확인 방법 2가지

Summary pip로 설치한 패키지 버전을 확인하는 방법은 아래 두 가지가 있다. 1. pip show [패키지 이름]: 특정 라이브러리를 확인할 때 사용 2. pip list: 전체 패키지 목록(이름, 버전)을 확인할 때 사용 Contents 1. pip show [패키지 이름] 예를 들어 scikit-learn 버전을 확인한다고 했을 때 아래와 같이 코드를 작성할 수 있다. pip show scikit-learn 실행 결과는 아래와 같이 패키지 이름, 버전, 패키지에 대한 설명(요약, 사전에 필요한 패키지 목록 등)을 출력한다. Name: scikit-learn Version: 1.2.2 Summary: A set of python modules for machine learning and data..

[환경구축][PyTorch] 기존의 CUDA 환경에서 PyTorch 설치하기 (부제: GPU 환경에서 PyTorch 사용하기)

내용이 간단해서 요약을 별도로 작성하지 않았다. 이 글은 본인의 GPU에 맞게 이미 CUDA 환경을 구축한 경우, 추가로 PyTorch를 설치하는 방법에 대해서 설명한다. 1. 아래 링크에 접속해서 본인의 환경을 선택한다. https://pytorch.org/get-started/locally/ PyTorch An open source machine learning framework that accelerates the path from research prototyping to production deployment. pytorch.org 나의 경우, 아래 네 개의 조건에 해당하기 때문에 위와 같이 선택하였다. 운영체제가 Windows OS이다. Conda prompt에서 설치할 것이다. Python ..

[NLP][오류] ko-sentence-transformers 설치 시 발생하는 UnicodeDecodeError를 해결해보자!

Summary 1. 문제 상황 라이브러리 설치 시 UnicodeDecodeError가 발생했을 때 문제를 해결하는 내용이다. 2. 해결 방안 pip를 활용하지 않고 직접 설치 파일을 다운로드 받는다 문제가 발생한 파일(setup.py)을 수정한다 python (파일명) install 명령어를 통해 설치한다. 3. 특징 이 글은 ko-sentence-transformers 설치 시 발생한 오류를 중점으로 다루고 있으나, 동일한 문제의 다른 라이브러리에서도 이 방법을 활용할 수 있다. 4. 추가 내용 이 글은 Windows OS에서 tar.gz 파일의 압축을 해제하는 방법도 포함되어 있다. (필자의 OS는 Windows 11이다.) Contents Background KoBERT를 사용하기 위해 pip로 k..

Developer/AI 2023.04.24

Kotlin을 이용한 Andorid App 개발: 환경 구축하기

* 현재 글 작성 시 OS 버전은 Windows11을 기준으로 하며, Windows10에서도 원활하게 작동됩니다.(다만 macOS나 다른 버전의 windows는 확인되지 않았습니다.)Kotlin에 대한 간단한 상식 알고 가기 Kotlin은 PyCharm으로 유명한 Jetbrains에서 만든 언어이다. 2017년에 Android app 개발을 위한 공식 언어로 채택되었으며, Kotlin은 JAVA보다 간결하고 쉬운 문법 체계를 가지고 있어 안드로이드 앱 개발에서 선호하는 언어가 되었다. JAVA와 100% 호환이 가능하므로 JAVA에 대한 이해가 없어도 안드로이드 개발을 진행할 수 있으나, 안드로이드 개발 시 이전 버전 호환성을 위해서는 JAVA와 혼용이 필요한 경우가 있다.More informations..