최근 onnx-runtime 및 tensorrt 관련 작업을 하면서 최신 cuda 버전에 맞는 버전을 설치하다 보니 직접 빌드를 해야할 일이 생겼고, 여기에서 의존성 관련하여 cuda 및 cudnn 경로 관련 이슈가 있었다. 하지만 지금까지 pytorch를 gpu에서 이상없이 사용을 하였기에 의문이 생겨 알아보게 되었다. 1. CUDA Driver ...
이번 게시물에는 파이썬의 logging 라이브러리를 이용해 코드 진행상황을 기록하여 활용하는 방법을 알아보겠습니다. 1. 로그(log)란? 로그는 시스템이나 어플리케이션에서 발생하는 다양한 이벤트와 활동을 기록한 데이터를 의미합니다. 로그에는 주로 아래와 같은 내용들을 기록합니다. 타임 스탬프 : 시스템상 로그를 기록한 시간 정보를 의미합니다...
pip를 통해 라이브러리를 설치할 때 가끔 다음과 같은 오류가 발생합니다. ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following d...
파이썬에서 Pandas 라이브러리를 이용해 엑셀 파일을 로드할 때 가끔 아래와 같은 오류가 발생합니다. ValueError: Excel file format cannot be determined, you must specify an engine manually. 해당 오류는 openpyxl이 xls 파일을 로드하지 못해서 발생하는 오류입니다. ...
이번 게시물에는 지난번 게시글에서 알아보던 리눅스 명렁어를 계속해서 알아보도록 하겠습니다. 1. Dask란? Dask는 정형 데이터로된 데이터를 분산 및 병렬처리를 통해 대규모 데이터 처리를 효율적으로 할 수 있게 도와줍니다. 특히 compute() 함수를 통해 실제 연산을 실행하는데 이전까지는 작업 그래프를 생성하고 실제 메모리를 사용하지 않아 ...
Pandas를 활용해서 csv 파일을 불러올 때 발생할 수 있는 오류에 대한 해결 방안입니다. 다음과 같이 pd.read_csv() 함수를 통해 csv 파일을 불러올 때 가끔 아래와 같은 오류가 발생합니다. data = pd.read_csv(PATH) UnicodeDecodeError: 'utf-8' codec can't decode byte 0...
여러 개의 csv 파일들을 불러와서 하나의 데이터프레임 형태로 만들고 싶은 경우가 있습니다. 이때, 간단하게 아래와 같이 for 반복문과 Pandas의 concat, append 함수를 이용해서 원하는 바를 이룰 수 있습니다. concat 함수를 이용하는 코드는 아래와 같습니다. df_wanted = pd.DataFrame() # 빈 데이터프레임...
파이썬에서 pip로 라이브러리 설치 시 가끔씩 아래와 같은 오류가 발생합니다. (e.g., opencv-python) ERROR: Could not build wheels for opencv-python which use PEP 517 and cannot be installed directly 해당 오류가 발생하는 경우 아래 명령어를 통해 pip...
이번 게시물에는 지난번 게시글에서 알아보던 리눅스 명렁어를 계속해서 알아보도록 하겠습니다. 1. netstat netstat 명령어는 네트워크 연결 상태를 모니터링 하는 명령어 입니다. 다만, 처음에 설치가 필요한 경우가 있습니다. netstat -al # -a 옵션은 모든 연결을 표시함, l은 listening 상태인 것만 표시함 # 리스닝 상...
이번 게시물에서는 관계형 데이터베이스에서 데이터를 정의, 조작, 제어하기 위한 프로그래밍 언어인 SQL 쿼리문을 간단한 예시와 함께 알아보도록 하겠습니다. SQL 쿼리문에는 데이터 정의어 DDL(Data Definition Language), 데이터 조작어 DML(Data Manipulation Language), 데이터 제어어 DCL(Data Co...