잡다구리

원인 POST API의 body가 undefined으로 나오는 이유는 body parser가 없어서 발생 Deprecated 예전에 사용된 body-parser 모듈은 deprecated 되었기에 경고가 뜨기에 body-parser 모듈 사용은 지양하자. 해결 방법 따로 모듈을 받아서 사용할 필요 없이 express에 내장되어있는 모듈을 사용하면 된다. const express = require('express'); app.use(express.json());

There are 3 solutions for nvm errors in Windows environment. Install using scoop Check install path Run as administrator Install using scoop I don't know what the problem is, I just want to fix it. Then reinstall with scoop. Do the 3 steps below 1. Open "Windows PowerShell 2. Install "Scoop" using command Set-ExecutionPolicy RemoteSigned -scope CurrentUser $env:SCOOP = 'C:\Scoop' iex (new-object..

❓목적 웹서버가 어떻고 어떤 걸 공부하고 이것저것 주저리 하다 지치기 전에, 직접 웹서버를 만들어 보고 느껴보는게 중요하다. 빠르고 쉽고 간단하게 node js의 모듈인 Express.js를 이용해서 웹서버를 만들어보자. ☝🏼먼저 node js에 대한 기초와 설치가 되어있어야 한다. 준비가 안되어 있다면 아래 글들을 먼저 읽고 오는 것을 추천한다. [Node js]서버 만들기0-1분만에 Http 서버 만들기 📋요약 서버란 무엇인가에서 말한 것과 같이 서버라는 게 무엇인지 피부로 느끼고 싶다면, 이 글에서 설명하는 1분 만에 (Http) 서버 만들기를 따라 하기를 바란다. 정말 짧은 시간 안에 좋은걸 jaegeun.tistory.com 윈도우 node js 명령어로 설치 명령어로 설치하는 이유 다운로드하기..

명령어로 설치하는 이유 다운로드하기 위해 웹사이트를 검색할 필요가 없다. 쉽고 빠르게 이 블로그에 있는 명령어만 복붙(ctrl+c, v)만 하면 된다. 간지 난다. 개발자라면 명령어로 설치하자. 간혹 윈도우에서 에러가 나는 경우가 있는데, 명령어로 설치 시 해결되는 부분들이 있다. Scoop 윈도우에서 명령어로 여러 프로그램을 설치하게 해주는 도구(명령어)이다. node js 뿐만 아니라 git, curl 등 리눅스/맥에서 패키지 설치하는 것과 같이 쓸 수 있다. 간단하게 프로그램을 설치하게 도와준다. NVM node js 설치를 버전 별로 할 수 있고, 버전을 쉽게 바꿔서 사용하게 만들어 주는 툴이다. 설치 Scoop 설치 ➡ NVM 설치 ➡ node js 이 글에서는 이 순서로 진행한다. (NVM 설..

Error exit status 5 맥에서는 발생하지 않는데 윈도우 PC에서는 NVM 사용 시 exit staus 5 에러가 발생하고 있었다. 뒤에 내용은 깨져가지고 잘 나오지도 않아서 뭐 때문인지도 모르겠고... 인터넷을 잘 봐도 해결 방법이 잘 보이지가 않아서 혼자 이것저것 시도해봤다. NVM을 지우고 다시 설치해보고, 설치 경로도 바꿔보고 했는데 소용없었다. 관리자 권한으로 터미널을 실행해도 status 5 에러는 status 145로 숫자만 변경될 뿐 달라지는 건 없었다. 해결 방법 예전에 scoop이라는 걸 사용해봤던걸 생각이 났는데, scoop으로 설치하면 혹시 문제가 사라지지 않을까 해서 적용해보니 해결되었다. 혹시 exit status 5 또는 145 에러가 발생하는 사람은 아래와 같이 s..

👓크롤링한 데이터 시각화 이번 글은 크롤링 기능 자체랑은 연관이 없지만 하면 좋은 데이터 시각화 만들기이다. 크롤링해서 얻은 데이터도 좋지만, 이를 시각화하는 게 사용자에게 내용을 전달하고자 할 때 효과가 좋다. 시각화를 위해서 d3-cloud 라이브러리를 사용할 것이다. 시각화 라이브러리 d3-cloud : https://github.com/jasondavies/d3-cloud 🛠데이터 가공(포맷 수정) d3-cloud 라이브러리에 데이터를 넣기 위해 csv 형식으로 데이터를 가공해줄 것이다. 이전 글에서는 최종 데이터를 Object형식의 문자열로 저장했다. 이 데이터들을 csv형식에 맞게 바꿔주자. const fs = require('fs'); const path = require('path'); c..

📢이 글에서 구현할 내용 우리는 먼저 특정 URL을 Seed(시작 위치)로 입력받는다. 해당 URL의 HTML을 긁어온다. 긁어온 페이지에 있는 URL들을 수집한다.(URL은 중복 제거한다.) 깊이 우선 탐색 또는 넓이 우선 탐색 방법으로 "2."와 "3."을 반복한다. 시작 위치와 연관되지 않는다고 판단되면 더는 진행하지 않는다. 기어 다니는(크롤링) 행위를 다하고 나서 정리한 URL 테이블을 하나씩 방문해서 HTML 정보를 받아온다. 형태소 분석기를 사용해서 HTML에서 단어들을 추출하여 정리한다. 위 순서는 "웹 크롤러 만들기 0"에서 정리한 내용이다. 파란색으로 칠한 부분을 이번 글에서 구현해보자. 🎤형태소 분석(mecab-ya) mecab은 리눅스, 맥 환경에서는 문제없이 설치/사용할 수 있지만..

📢이 글에서 구현할 내용 우리는 먼저 특정 URL을 Seed(시작 위치)로 입력받는다. 해당 URL의 HTML을 긁어온다. 긁어온 페이지에 있는 URL들을 수집한다.(URL은 중복 제거한다.) 깊이 우선 탐색 또는 넓이 우선 탐색 방법으로 "2."와 "3."을 반복한다. 시작 위치와 연관되지 않는다고 판단되면 더는 진행하지 않는다. 기어 다니는(크롤링) 행위를 다하고 나서 정리한 URL 테이블을 하나씩 방문해서 HTML 정보를 받아온다. 형태소 분석기를 사용해서 HTML에서 단어들을 추출하여 정리한다. 위 순서는 "웹 크롤러 만들기 0"에서 정리한 내용이다. 파란색으로 칠한 부분을 이번 글에서 구현해보자. 🧨프로젝트 초기 생성 $ mkdir crawler $ cd crawler $ npm init 모듈 ..

🕸웹 크롤러란? 만들기 전에 무엇을 만들지 알고 가기 위해서 의미에 대해서 먼저 정리를 해보자. 흔히들 크롤러(Crawler), 스크래퍼(Scraper), 파서(Parser) 3가지에 대해서 다르게 의미 생각하고 이야기하는 경우가 있다. 사전적인 의미로만 간단히 생각해보면 무엇을 하는지 유추할 수 있다. Crawl : 기어가다. Scrape : 긁어내다. Parse : 분석하다. 크롤러는 웹을 기어 다니는 놈, 웹 페이지를 스크래퍼는 긁어 오는 놈, 파서는 웹 페이지를 분석하는 놈을 의미 한다. 하지만 웹 크롤러는 단순히 기어 다니는 행위만 하는 프로그램을 말하는 건 아니고, 웹을 돌아다니면서 웹 페이지(html/css/js)를 긁어오고 거기에 무슨 내용들이 있는지 분석을 하는 놈을 의미한다. 스크래퍼와..

📝코드설명 파일로 저장 및 읽기 위해 fs 모듈을 사용했고, 윈도우 또는 리눅스에서 모두 경로 구분 토큰('/', '\')이 자동으로 구분 되도록 path 모듈을 사용했다. fs 모듈의 함수는 모두 동기 방식으로 동작하도록 ~Sync 함수들을 사용했으며, 저장하려는 파일의 경로 폴더들이 있는지 existsSync함수로 확인하고 없다면 생성 되도록 mkdirSync함수에 {recursive:true} 옵션을 줬다. 저장할때는 객체 또는 배열이 문자열로 변환되서 저장하도록 JSON.stringfy 함수를 사용했으며, 반대로 읽을때는 저장한 문자열을 다시 JSON 형태로 변경 되도록 JSON.parse 함수를 사용했다. const fs = require('fs'); const path = require('pa..