WebSpider 2

URL - URLConnection 클래스로 웹페이지 읽기

URLConnection 클래스로 웹페이지 읽기 URLConnection은 URL 주소의 내용을 읽어오거나, 반대로 URL 주소가 가리키는 웹 애플리케이션(CGI, 서블릿, JSP 등)에게 GET 방식이나 POST 방식으로 추가적인 정보를 전달할 수 있다. 그리고 웹 페이지의 내용을 읽어오는 것 외에도 반대로 웹 애플리케이션에 추가적인 정보를 전달해야 할 때가 있는데, 이때 POST 방식을 사용한다. 인터넷을 보면 게시판 보면 게시판에 자동으로 광고가 올라오는 것을 본 독자가 있을 것이다. 이러한 광고는 사람이 하나 하나씩 직접 입력하는 경우도 있지만, 보통은 자동으로 광고를 게시판에 올리는 프로그램을 이용한다. 이러한 프로그램은 HTML 폼의 Action에 지정되어 있는 웹 애플리케이션의 URL 주소에..

URL - 웹사이트 읽어오기(WebSpider)

URL 클래스를 이용해서 웹사이트 읽어오기 텔넷을 이용한 웹사이트 읽어오기 1. 윈도우 명령창을 실행한다. 2. 그림과 같이 telnet daum.net 80이라고 입력한 후 엔터 키를 입력한다. 3. GET / 라고 입력한 후 엔터키를 입력한다 이 때 키보드로 입력한 갑싱 화면에는 출력되지 않을 수도 있다. (보이지 않더라도 무조건 입력 후 엔터 키를 입력한다.) 4. 다음과 같이 daum.net의 HTML 태그가 출력되는 것을 확인 할 수 있다. 이는 웹 서버가 동작하는 80번 포트에 telnet 프로그램으로 접속한 후 '/' 디렉톨리의 내용을 GET 방식으로 보여 달라고 HTTp 프로토콜에 해당하는 문자열을 보낸 것이다. 그 결과 서버는 접속한 클라이언트가 텔넷 프로그램인 것은 모르고 웹 브라우저인..