HTTP Header를 이용한 웹 프로그래밍

이전 포스팅에서 HTTP를 활용한 C프로그램의 소스를 선보였습니다.
이 포스트는 HTTP Header의 모양을 보여줌으로 이전 포스팅의 이해를 돕고자 썼습니다.

HTML소스를 보기 위한 많은 방법들이 있다. 그중에서 가장 쉬운 방법은 웹 브라우저에서 제공하는 소스보기 메뉴를 사용하는 것이다.
두번재로는 URL앞에 view-source를 붙어주는 주는 것이다.
가령 www.paran.com의 경우 view-source:http://www.paran.com/이라고 적어주는 것이다.

이러한 방법은 모두 브라우저를 통해서 할수있는 방법이다.
만약 지금 리눅스에 접속해 있고, 웹 브라우저가 없는 상황이라면 어떻게 할까..

자 이제부터 80번 포트를 공락해 보자
우선 telnet으로 원하는 사이트의 80번 포트로 접근을 하자.

그림1. www.paran.com의 80번 포트로 접근

그림1. www.paran.com의 80번 포트로 접근

이후에 Request Header를 전송해 보자
Request Header의 모양

GET / HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*
Accept-Language: ko
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Host: www.paran.com
Connection: Keep-Alive

이러한 방식으로도 html소스의 모습을 확인할수 있다. 이렇게 얻은 html소스를 이용하는 많은 많은 프로그램이 존재하고 있다. 메타검색의 경우 이렇게 얻은 html파일을 이용하는 경우가 많다.

우선 이러한 것이 가능하도록 하는 HTTP HEADER에 대한 이해는 W3C 사이트를 이용하도록 하자
W3C
그리고 각 사이트에 대한 Request Header 그리고 Response Header의 모습은 이곳에서 확인할 수 있다.
http://web-sniffer.net

그리고 이러한 프로그래밍을 더 효율적으로 활용하기 위하여
W3C에서 제공하는 라이브러리를 사용하는 것도 좋은 방법이다.
Libwww