호무비의 IT 지식창고

오늘은 지난번에 알아본 find 함수를 직접 활용하여 네이버 뉴스 크롤링 예제를 진행해보겠습니다. 아마 뉴스나 주식 같이 특정 정보가 필요할 때 크롤링을 많이 하다 보니 직접 간단하게라도 경험해보는 게 도움이 되지 않을까 싶어 준비했습니다. 네이버 뉴스 크롤링하기 본격적으로 네이버 뉴스를 크롤링하기 전에, 네이버 뉴스의 특성에 관해 알아볼 필요가 있습니다. 현재 네이버 뉴스는 크게 두 가지 형태로 제공되는데요, 첫 번째는 연합뉴스 속보 페이지, 두 번째는 뉴스홈 페이지(언론사별)입니다. 오늘 연습해볼 내용은 연합뉴스 속보 페이지입니다. 뉴스홈 페이지는 최근에 리뉴얼되면서 생겼는데요, 모바일에 초점을 맞춰 반응형 웹으로 만들어져 있습니다. 여기는 좀 크롤링하기 복잡할 것 같아 쉬운 내용부터 진행하고, 나중..

오늘은 네이버 블로그 내용을 티스토리로 옮길 때 저품질 없이 안전하게 이전하는 방법에 대해 알아보겠습니다. 아마 광고 수익, html 편집 등 다양한 이유로 네이버에서 티스토리로 이전하는 경우가 많이 있을 것 같은데요, 저 같은 경우에도 첫 블로그 운영은 네이버에서 시작했지만, 티스토리로 이사를 왔습니다. 그러다 보니 기존에 네이버에 작성해놓았던 내용이 남아있어 어떻게 저품질 문제없이 이전할 수 있을까 고민을 많이 했습니다. 직접 이것저것 실험해보면서 유용한 정보를 많이 얻었고, 해당 내용을 설명하고 공유하고자 합니다. 네이버 블로그 안전하게 이전하는 방법 네이버 블로그 게시글을 티스토리로 옮길 때 가장 중요한 점은 바로 저품질 문제입니다. 검색 엔진에서 중복된 게시글이라고 판단하면 저품질로 취급될 수 ..

오늘은 BeautifulSoup에서 제공하는 find 함수 사용법에 관해 알아보도록 하겠습니다. 특히 함수 파라미터 부분을 조금 자세히 살펴볼 예정입니다. 함수 소개 find 함수는 BeautifulSoup 객체가 가지는 함수 중 하나로 주어진 조건에 해당하는 내용을 찾아주는 기능을 합니다. 아직 소개하지 않았지만 BeautifulSoup에는 find_all 함수가 있고, 대부분의 기능은 이 find_all 함수로 수행이 가능합니다. 그렇다면 find 함수는 어디에 필요한 것일까요? find_all 함수는 원하는 태그를 모두 찾아서 리스트 형태로 저장하여 리턴해줍니다. 모든 태그를 다 조사하기 때문에 시간이 조금 오래 소요됩니다. html에는 title과 같이 반드시 하나만 있는 태그도 있는데요, 이런 ..

오늘은 파이썬으로 네이버 웹 크롤링 중 발생하는 오류 해결 방법에 대해 알아보겠습니다. BeautifulSoup를 활용한 강의의 연장선이지만, 파이썬 선에서 발생하는 문제입니다. 일반적으로 웹 크롤링을 한다고 하면, 개인 사이트보다는 네이버나 구글, 다음 등에서 제공하는 특정 정보를 얻기 위한 경우가 많습니다. 오늘 소개할 내용은 그중 하나인 네이버 웹 크롤링 시 많이 발생하는 문제인데요, 지금부터 설명하도록 하겠습니다. 문제 상황 아래는 간단하게 네이버 연합뉴스 내용을 크롤링하도록 한 코드입니다. (다음번에 자세히 소개할 예정입니다.) import requests from bs4 import BeautifulSoup # main if __name__ == "__main__": inputURL = "ht..

오늘은 안드로이드 스튜디오에서 '시스템 UI이(가) 응답하지 않음' 문제가 발생했을 때 해결 방법에 대해 알아보겠습니다. 종종 에뮬레이터를 완전히 삭제하고 다시 설치하여 해결하는 경우를 볼 수 있는데, 무척 번거롭다는 점에서 그다지 바람직해 보이지 않습니다. 지금 소개할 내용은 에뮬레이터를 삭제하는 방법이 아니라, 콜드 부트를 시도하는 방법입니다. 꼭 시스템 UI 문제가 아니더라도 도움이 될 수 있으니 참고하시기 바랍니다. 문제 상황 평소와 같이 작업하고 있었는데, 갑자기 아래와 같은 메시지와 함께 UI 버튼이 다 사라지고 동작하지 않는 이상한 현상이 벌어졌습니다. 일단 앱 닫기를 누르고 안드로이드 스튜디오 재실행도 해보고, 이것저것 해봤지만 해결되지 않았습니다. 어떻게 해결해야 하나 고민이 많았는데 A..

오늘은 코드블럭에 highlight.js 적용하고 테두리 없애는 방법에 대해 알아보겠습니다. 처음 티스토리 코드블럭을 사용하게 되면 아래와 같이 회색 테두리가 있어 조금 보기에 좋지 않습니다. 다른 블로그를 보다 보면 이런 테두리 없이 깔끔한 코드블럭을 볼 수 있는데, 저도 적용해보기로 했습니다. 추가로 코드 가독성 개선을 위해 highlight.js도 적용할 예정입니다. 지금부터 그 방법을 하나씩 소개하도록 하겠습니다. 테두리 없애기 테두리는 다른 내용 복잡한 절차 없이 css 한 줄만 고치면 쉽게 삭제할 수 있습니다. 1. 설정 - 스킨 편집으로 이동하기 2. html 편집 - CSS로 이동하기 3. .article-view pre 찾고 수정하기 잠깐 .article-view pre의 의미에 관해 설..

오늘은 구글 서치콘솔에서 속성을 삭제하는 방법에 대해 알아보도록 하겠습니다. 그리고 그 기능을 정확히 이해해보도록 하겠습니다. 지난번 모바일웹 문제로 의도치 않게 모바일 링크로 3개의 게시물이 등록되었는데요, 삭제 조치를 했지만, 임시 조치이기 때문에 온전한 해결법은 아니었습니다. 그뿐만 아니라 모바일웹에 의해 파비콘이 표시되지 않던 문제도 해결되지 않았습니다. (검색내용 파비콘은 모바일에서만 보임) 여러 가지 문제점을 해결하기 위해 구글 서치콘솔에서 속성을 삭제한 후 재등록하는 방법을 알아보았습니다. 삭제 후 재등록하는 경우가 많지 않아서 정보가 부족했지만, 위험을 감수하고 직접 삭제해보기로 했습니다. 티스토리 플러그인을 이용하는 방법과 직접 삭제하는 방법이 있는데, 두 가지 방법 모두 소개하도록 하겠..

오늘은 파이썬으로 웹 크롤링하는 방법에 대해 알아보고 간단하게 제목을 크롤링해보도록 하겠습니다. 웹 크롤링에 대해 간단히 설명하자면, html 코드를 분석하여 자동으로 데이터를 얻어내는 과정입니다. 여러 가지 언어와 라이브러리가 있지만, 여기에서는 파이썬과 BeautifulSoup를 사용하여 크롤링을 진행해보도록 하겠습니다. 기본 설정 BeautifulSoup 설치하기 콘솔창에 다음 명령어를 입력하여 라이브러리를 설치해줍니다. pip install beautifulsoup4 라이브러리 import하기 기본적인 크롤링 작업을 하기 위해서는 requests와 BeautifulSoup가 필요하므로, 아래와 같이 import해줍니다. import requests from bs4 import BeautifulSo..

오늘은 윈도우즈에서 제공하는 캡처 툴인 캡처 및 스케치와 캡처 도구를 소개하고 비교해보도록 하겠습니다. 최근 블로그에 올릴 이미지를 만들 때 요긴하게 사용하는데, 저도 두 가지에 차이점을 잘 모르고 있었기에 직접 분석해보았습니다. 먼저 결론적으로 얘기하면 큰 차이는 없으며 캡처 및 스케치가 조금 더 많은 기능을 제공합니다. 이제부터 자세히 기능을 살펴보도록 하겠습니다. 캡처 도구 캡처 도구는 기존에 윈도우즈에서 제공하던 캡처 소프트웨어입니다. 다음과 같이 Windows 보조 프로그램에서 확인할 수 있습니다. 캡처 도구를 실행하게 되면 다음과 같은 화면이 표시됩니다. 모드와 지연 기능을 제공하여 상황에 따라 알맞게 캡처할 수 있습니다. 기능 설명 1. 모드 캡처하는 형태를 지정하는 설정입니다. 사각형 캡처..

오늘은 티스토리 모바일웹 설정하는 방법과 잘못 설정했을 때 구글 서치 콘솔에서 발생하는 문제점에 관해 설명하도록 하겠습니다. 지난번 구글 서치 콘솔 색인 생성 작업 후, 다음과 같이 새롭게 등록된 내용을 확인할 수 있었습니다. 그런데 세부 내용을 확인해보니, 다음과 같이 모바일 링크만 등록되어 있었습니다. (티스토리에서 모바일 링크는 데스크톱 기준 URL 뒤에 /m 이 붙습니다.) 분명 URL을 등록할 때 PC 버전 기준으로 등록했는데 왜 이런 일이 벌어졌을까요? 바로 티스토리 모바일웹 설정 때문입니다. 지금부터 모바일웹 설정하는 법에 관해 설명하며 그 원인을 파악해보도록 하겠습니다. 티스토리 모바일웹 설정하기 1. 블로그 설정 - 꾸미기 - 모바일로 이동하기 블로그 설정 왼쪽을 보면 있는 바에서 꾸미기..