Основы HTTP на примере Delphi

Автор: Lem0nti, специально для http://www.realcoding.net

О, инет… Как много в этом звуке. А прикинь как в нём много того, о чём ты вообще не в курсах? Нет, я совсем не имею ввиду туеву хучу сайтов, на которых ты не был, я имею ввиду то, что скрыто от тебя… То как твой браузер общается с сервером – ПРОТОКОЛ. Конечно же, полное описание протокола со всеми тонкостями не уместить в одну статью, но примерно раскидав по полочкам некоторые его основы в этой статье, я думаю, потом ты сможешь смело продолжать копать в данном направлении и в конце концов сможешь написать даже свой собственный браузер не на основе компонента TWebBrowser. Для этого нам потребуется совсем немного – установленная Дельфи (я юзаю 6-ю) и немного терпения, чтобы дочитать сей материалец. Дабы не утруждаться всякими тонкостями сокетов, будем юзать TidTCPConnection. Итак начнём с самого начала доверительных отношений сервера и клиента – соединение. Для начала нам надо разделить запрашиваемую страницу и домен, на котором эта страница расположена. Нижеследующий код, собственно, это и производит.

  procedure ParseUrl(RequestString: string);
  var
    Addr: string;
  begin
    Addr:= RequestString;
    if pos('http://',Addr)>0 then
      delete(Addr,1,7);
    if pos('/',Addr)>0 then
    begin
      FHost:=copy(Addr,1,pos('/',Addr)-1);
      FPath:=copy(Addr,pos('/',Addr),length(Addr)-pos('/',Addr)+1);
    end
    else
    begin
      FHost:=Addr;
      FPath:='';
    end;
  end;

        Переменные FHost и FPath объявлены на уровне модуля. Затем я создал у себя такую функцию –

  function Connect(Host: string): boolean;

        Объявляем на уровне функции переменную phe: PHostEnt; - это структура, в которую будет загоняться инфа о сервере, к которому мы захочем приджойниться, а делается это так –

  phe:=gethostbyname(PChar(Host));

        Далее следует проверить эту структуру на целостность, ведь если по каким-то причинам информация о хосте не была получена, то и джойниться к нему мы не можем.

  if assigned(phe) then
  begin
  end;

        Теперь из этой структуры необходимо вытащить ИП-адрес, потому что соединяться всё-равно надо не по имени сайта, а по его ИП-шнику. Для этого объявим ещё две переменных - pa: PChar; - в эту переменную мы вытащим ИП-шник в закодированном виде и соответственно будем его декодировать; FIP: string; - в этой переменной мы будем хранить ИП-адрес. Итого код, который мы вставляем в блок if –

  pa:=phe^.h_addr_list^;
  FIP:=inttostr(ord(pa[0]))+'.'+inttostr(ord(pa[1]))+'.'+inttostr(ord(pa[2]))+'.'+inttostr(ord(pa[3]));

        Главное – не забыть объявить на уровне модуля переменную типа TIdTCPConnection, я у себя назвал её Connection. Также добавим в конце файла ещё такой код перед финальным end’ом –

  initialization
    Connection:=TIdTCPConnection.Create(nil);

  finalization
    FreeAndNil(Connection);

        Теперь подготовительный этап закончен, переходим непосредственно к соединению, для чего допишем такой код в нашу функцию -

  with Connection do
  begin
    //соединяемся
    if not Binding.HandleAllocated then
    begin
      Binding.AllocateSocket;
      Binding.SetPeer(FIP,80);
      CRes:=Binding.Connect;
      if CRes=-1 then //ошибка соединения
        exit;
      result:=true;
    end;
  end;

        Не стоит забывать, что этот код также должен быть внутри блока if . Тут кстати требуется ещё кой-чего в этой функции – дело в том, что после закрытия соединения, его надо ещё и сбросить, для чего надо выполнить метод ResetConnection у нашего соединения, но загвоздочка в том, что этот метод объявлен как protected. Поэтому нам необходимо написать ещё такую штуку в секцию interface –

  type
    TKRTCPConnection = class(TIdTCPConnection);

        И теперь, в нашей функции перед строкой if not Binding.HandleAllocated then добавляем такой код –

  if ClosedGracefully then
    TKRTCPConnection(Connection).ResetConnection;

        Итого, код функции, которая будет осуществлять соединение, таков –

  function Connect(Host: string): boolean;
  var
    phe: PHostEnt;
    pa: PChar;
    FIP: string;
    CRes: integer;
  begin
    result:=false;
    //получаем ИП-шник
    phe:=gethostbyname(PChar(AHost));
    if assigned(phe) then
    begin
      pa:=phe^.h_addr_list^;
      FIP:=inttostr(ord(pa[0]))+'.'+inttostr(ord(pa[1]))+'.'+inttostr(ord(pa[2]))+'.'+inttostr(ord(pa[3]));
      with Connection do
      begin
        if ClosedGracefully then
          TKRTCPConnection(Connection).ResetConnection;
        //соединяемся
        if not Binding.HandleAllocated then
        begin
          Binding.AllocateSocket;
          Binding.SetPeer(FIP,APort);
          CRes:=Binding.Connect;
          if CRes=-1 then
          exit;
          result:=true;
        end;
      end;
    end;
  end;

        Замечательно – коннект есть, но пока что ещё нет страницы. Что-ж пойдём попросим у сервера нужную нам страницу. Для этих целей, я сделал ещё одну функцию –

  function GetHttpOkStatus(RequestString: string): boolean;

        В этой функции сервер должен дать мне разрешение на определённую нужную мне страницу. На уровне функции я объявил переменную RespText: string; в эту переменную я собираюсь сохранять пересылаемые сигналы серверу и ответы от него. Вот тут-то и начинается собственно самое интересное. Начнём чатиться... Ничего смешного в этом нет, мы будем именно чатиться с сервером. Для нас он будет как бы чат-бот. Это конечно смотря с какой стороны посмотреть, но я воспринимаю данный процесс именно так. Итак – просим у сервера нужную нам страницу –

  with Connection do
  begin
    RespText:='GET '+RequestString+' HTTP/1.1'+#13#10;
    WriteBuffer(RespText[1],length(RespText));
  end;

        Тут пара маленьких ремарок. Во-первых, весь последующий код относящийся к этой функции я подразумеваю размещённым внутри блока with. А во-вторых, отвечаю на вполне логично возникший вопрос – «А чего-й то за фигня, почему RespText[1], а не RespText?». Всё очень просто – дело в том что надо передать как бы PChar, а у меня string, а у string первый байт является идентификатором её длины, поэтому я даю указатель на первый байт полезной информации, думаю тут вполне возможны какие-либо дополнительные вопросы, но о них в другой раз. Итак, возвращаясь к теме – страницу мы попросили, но теперь мы должны указать домен под которым находится данная страница, потому что, как известно (надеюсь всем читающим), на одном компьютере легко размещаются сотни сайтов, так что шлём ещё такую строку –

  RespText:='Host: '+ FHost +#13#10;
  WriteBuffer(RespText[1],length(RespText));

        С тем что нам надо определились, теперь надо серваку указать то КАК мы это хотим получить, для чего и придумана система заголовков. Сейчас настало их время. В идеале, заголовков очень много и отвечают они за разные параметры, ниже приведён далеко не полный список заголовков –