네이버 API로 뉴스를 검색할 때, 각 뉴스 항목에는 originallink라는 링크만 포함되어 있어 어느 언론사에서 제공한 뉴스인지 식별하기 어렵습니다. 언론사별로 고유한 originallink의 도메인명을 통해 언론사 이름을 확인할 수 있도록 함수를 구현해보았습니다.이를 위해 먼저, 주요 언론사 사이트의 도메인과 한글 이름을 매핑한 배열을 정의한 후, 해당 링크에 포함된 도메인명을 기반으로 언론사 이름을 확인하도록 했습니다.  1. 언론사 정보 매핑 배열우선, 대표적인 언론사 몇 곳의 도메인명과 한글 이름을 매핑한 배열을 만듭니다. 이 배열을 기반으로, originallink에 포함된 도메인명을 찾아 해당 언론사의 한글 이름을 반환할 수 있습니다.const site = [ {site : ..

파이썬 프로젝트를 진행한 후 실행 파일로 배포하고 싶을 때, PyInstaller라는 도구를 사용하면 간편하게 실행 파일을 만들 수 있습니다. 이 글에서는 PyInstaller를 사용해 .exe 파일을 만드는 방법과 발생할 수 있는 오류 및 해결 방법을 설명합니다. PyInstaller 사용법PyInstaller를 이용해 파이썬 코드를 실행 파일로 만드는 명령어는 매우 간단합니다. 다음과 같이 작성합니다:pyinstaller --onefile --icon=icon.png main.py 옵션 설명--onefile: 모든 파일을 하나의 실행 파일로 병합합니다.--icon=icon.png: 아이콘 파일을 지정해 실행 파일의 아이콘을 설정합니다 문제 발생: 아이콘 파일 오류위 명령어를 실행했을 때, 다음과 같은..

1. curl 설치Node.js 설치를 위해 먼저 curl이 필요합니다. 아래 명령을 사용하여 curl을 설치합니다.sudo apt updatesudo apt install curl 2. Node.js 설치 스크립트 추가Node.js의 버전은 18.x 또는 20.x 중 선택하여 설치할 수 있습니다. 아래 명령 중 하나를 사용해 Node.js 설치 스크립트를 다운로드하고 실행합니다.Node.js 18.x 설치 스크립트: curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash -Node.js 20.x 설치 스크립트:curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -3. Node.js ..

Sentry가 정상적으로 오류를 수집하지 않거나 먹통이 될 때, 간단하게 Docker를 재시작하여 문제를 해결할 수 있습니다. 아래는 Sentry Docker 컨테이너를 재시작하는 방법입니다. 재시작 방법1. SSH 접속 먼저, 서버에 SSH로 접속합니다. 접속 명령어는 서버 환경에 따라 다를 수 있지만, 일반적으로 다음과 같이 입력합니다.ssh [사용자명]@[서버 IP 주소] 2. Sentry Docker 폴더로 이동 SSH로 접속한 후, Sentry가 설치된 Docker 디렉토리로 이동합니다. 일반적으로 디렉토리는 /docker/sentry_docker 경로에 위치해 있습니다.cd /docker/sentry_docker 3. Docker Compose를 이용한 재시작 Sentry 서비스를 재시작하기 ..

페이지 로딩이 느려지는 이유: 많은 데이터를 가져올 때 발생하는 문제웹페이지를 호출할 때 데이터를 한꺼번에 많이 가져오면 페이지가 느려지는 경우가 자주 발생합니다. 특히, 데이터베이스에서 많은 데이터를 조회하고 필터링하는 작업을 하면서 이 문제가 더욱 두드러지죠.제 경우에는 IN 조건으로 리뷰 데이터를 가져오고, 그 데이터를 GROUP BY로 묶어 중복을 제거했더니, 페이지 로딩 시간이 너무 길어졌습니다. 실제로, 20분에서 30분 이상 로딩 표시만 나오는 상황이 발생했습니다.데이터베이스에도 이미 많은 데이터가 쌓여있었고, 한 번에 가져와야 할 데이터도 상당한 양이었기 때문에 이 문제는 더 심각해졌죠. 결국, 다양한 방법을 시도해 해결해야 했습니다. 시도 1: IN 조건에서 반복문으로 전환처음 시도한 해..

RISS 논문의 타이틀들을 수집을 해야 하는 일이 생겨서 프로그램을 만들었는데 이미 많은 분들이 RISS 크롤러를 만들었더라고요  주의!: 크롤링은 개인 학습 목적으로 가볍게 사용하는 경우에만 사용하세요. 그러나 서비스에 과도한 부하를 주거나, 다른 사용자의 이용을 방해할 정도로 의도적으로 트래픽을 과도하게 사용하여 서비스를 공격하는 행위는 불법입니다. 크롤링을 할 때는 항상 이 점을 유의하고, 서비스 제공자의 이용 약관과 법적 규정을 준수하시기 바랍니다. 저는 필요한 논문의 리스트에 타이트들을 수집하기 위해 개발을 했습니다결론 최종 코드입니다.import requestsfrom bs4 import BeautifulSoupimport openpyxlimport tkinter as tkfrom tkinte..