Python8 여러개 파일을 하나로 병합하기! 파이썬을 하다 보면, 여러개 파일로 나눠서 작업을 한 후 하나로 합치고 싶을 때가 있다. 보통의 경우 엑셀로 하나씩 옮겨담는 작업을 하곤 했었는데, 대용량의 데이터를 다룰때는 엑셀이 멈춰버리는 현상을 몇번 겪고 난 뒤, 파이썬에서 이마저도 처리하고 싶어졌다. 아래와 같은 순서로 진행된다. 1. 특정 path에 만들어 놓은 파일들을 리스트업 하기. (특정 확장자 혹은 특정 단어로 시작되는 파일만 선택도 가능함) 2. 판다스 데이터프레임으로 모조리 불러와서 합치기 3. 마지막으로 합친 데이터프레임을 하나의 파일로 내보내기 (Export) 코드로 한번 살펴보자 import pandas as pd import os path = '~~' #예) c:\\python\\datafold\\ > 윈도우에서는 역슬래쉬(\.. 2023. 6. 20. 엑셀에서 수식오류로 #NAME? 이 된 셀을 파이썬에서 처리하는 방법? 엑셀에서 가끔 작업을 하다 보면, 수식이 잘못들어가서 #NAME? 이라는 값이 나온다. 몇줄 안된다면, 일일이 수작업으로 수정할 수 있겠으나... 수만건, 수십만건의 데이터를 다 일일이 손 볼 수는 없는 노릇... 게다가, 맨 앞에 들어간 값 때문에 벌어진 일인데 그 값이 똑같다는 보장도 없고. 1. #NAME? 이 발생하는 원인은? 엑셀은 수식 기반이라, 수식이 잘못 들어갈 경우 위 값을 반환한다. 특히, 텍스트로 구성되어 있음에도 위 수식오류가 발생하는 경우에는 글의 맨 앞글자가 [ =, -, + ]중에 하나로 시작될 경우가 대부분이다. 2. 엑셀에서 수식자체를 복사하는 방법은? 일단 수식 자체가 복사되게 해야하는데, 이를 위해 상단 [수식] - "수식표시" 메뉴 클릭하면 수식 그 자체가 보여지는데 .. 2023. 6. 20. [Django] makemigrations 오류 흔히 범하기 쉬운 실수 1. mysql을 설치한 후에 makemigrations을 실행하면 mysql 설치가 안되었다고 뜬다. > 가상환경 위에서 진행했는지 다시확인 2. mysql에서 DB를 직접생성한 후 makemigrations 하면 (1049, Unknown database "database명") > 이때는 터미널에서 직접 mysql에 접속한 후 Database 생성 (터미널상) mysql -u아이디 -p비밀번호 - - - - - mysql root 계정에 접속 [mysql> CREATE DATABASE database명; - - - - - mysql 명령어를 통해 DB 직접생성 2020. 5. 12. [Python] 웹크롤링 Tool 대표적으로 아래 두가지를 사용한다. - BeautifulSoup - selenium (셀레니움) pip install selenium 2020. 4. 24. [Django, 웹개발] Django 웹개발 순서 기본전제 - 파이썬 설치 & Django 설치완료 - 가상환경 구축 Django 는 우측 그림과 같이 Architecture 구성되어있음 웹브라우저에서 주소를 치면 (url입력) 어떠한 주소를 쳤는지 URL dispatcher에서 해당 주소의 view내 정의한 함수로 연결됨. view에서 정의한 함수에서 model에 정의한 변수들을 불러와서 응용함. Model 은 데이터베이스에 어떻게 넣어줄지를 정함 (db 모델이라고 생각하면 쉬움) 아래는 Folder의 Structure임. 1. 터미널에서 python manage.py startproject project명 2. settings.py 열어서 code 수정 ALLOWED_HOST = ['127.0.0.1'] LANGUAGE_CODE = 'ko' TIME.. 2020. 2. 24. [Django, 웹개발] Django에서 MySQL 연동 완벽공략 전제조건 : mysqlclient 설치(공략법은 아래 참고) 2020/02/15 - [파이썬, Python] - [Django, 웹개발] pip install mysqlclient 오류 Django에서 MySQL로 연동/연결하는 방법 1. Setting.py 에서 Database 입력 - "Ctrl + F" 로 "DATABASES" 검색 후 아래와 같이 복사/붙여넣기 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'test_db', 'USER': 'root', 'PASSWORD' : '0000', 'HOST' : 'localhost', 'PORT' : '3306', 'OPTIONS': { 'init_command': 'S.. 2020. 2. 19. [Django, 웹개발] pip install mysqlclient 오류 3시간에 걸친 오류개선... 어떠한 방법도 통하지 않고 알려준 방법대로 할때마다 색다른 에러로 날 반겨준.. 라인 하나씩 검색하다가, 우연히 이 형의 글을 발견했는데... 완벽한 성공으로 이끌어주셨다. 요약하자면 전제조건 : brew 가 설치되어있어야 함 1. brew install mysql 2. brew install mysql-connector-c 3. mysql_config 를 command 라인에 넣어보면, 위치가 나오는데 이 위치로 들어가서 4. mysql_config 파일을 편집기로 연다. 5. # Create options 아래에 있는 libs를 아래와 같이 변경해줌 libs="-L$pkglibdir" libs="$libs -lmysqlclient -lssl -lcrypto 6. xcode.. 2020. 2. 15. Pipeline Pipeline을 왜 하는가? 1. 여러 전처리 과정들을 한번에 끝내준다. 2. Training Data 를 전처리하고 모델을 Fitting 시키는데 1줄이면 끝남. - 없을 경우, Imputation > One-hot encoding > Model Training ... 3. 전처리되지 않은 valid의 feature 를 predict() 커맨드에 사용하면 pipeline이 자동적으로 feature 들을 예측 전에 알아서 전처리해줌 Step 1. 전처리 단계 정의 from sklearn.compose import columnTransformer from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklea.. 2020. 2. 4. 이전 1 다음
