Анализ веб-журналов

Веб-журнал (лог-файл) – самый старый способ сбора данных в веб. Представляет собой текстовый файл, содержащий записи о запросах к серверу в хронологическом порядке. Так может выглядеть запись в веб журнале:
Изначально, предназначением файла веб-журналов была фиксация ошибок в работе сервера. Со временем, их стали использовать также для фиксации и других данных, применимых для аналитических потребностей. Процесс сбора данных протекает следующим образом:

1. Ввод URL в браузере;
2. Запрос поступает на веб-сервер сайта;
3. Веб-сервер принимает запрос и создает в веб-журнале запись в которой указывает: имя страницы, IP-адрес, тип браузера клиента, а также дату и время запроса;
4. Сервер передает страницу клиенту;

Для анализа журнальных файлов используются специальные инструменты, которые позволяют получить стандартные отчеты. Некоторые анализаторы логов позволяют анализировать данные на стороне сервера, некоторые позволяют делать это на стороне клиента. Вот некоторые популярные программы: Webalizer, Awstats, Sawmill, Nihuo Web Log Analyzer, Alterwind Log Analyzer Professional.

Преимущества использования веб-журналов:

• существует множество бесплатных программ, позволяющих без проблем анализировать файлы веб-журналов;
• любой сервер собирает информацию и создает веб-журналы. Данные собираются постоянно, независимо от того, нужны они вам или нет;
• только веб-журналы способны фиксировать поведение роботов поисковых систем на веб-сайте, т.к. роботы не выполняют дескрипторы javascript, а значит не оставляют следов доступных для других механизмов сбора данных;
• доступ к веб-журналам имеет только владелец сайта. Часто при использовании других механизмов сбора данных, доступ к данным имеет также провайдер услуг, например в случае с Google Analytics, Google теоретически может воспользоваться данными собранными с вашего сайта в своих целях, т.к. вся информация храниться и обрабатывается на его серверах.

Недостатки использования веб-журналов:

• если веб-сервер не устанавливает файлы cookie, возможность фиксации уникальных посетителей крайне сомнительна;
• веб-журналы фиксируют все обращения к серверу. Следовательно, при их использовании для получения точных тенденций трафика и поведения необходимо правильно отфильтровать запросы изобажений, ошибки загрузки страниц, трафик роботов, запросы файлов css и т.д.
• Кеширование страниц провайдерами и прокси-серверами может привести к тому, что некоторая часть трафика (около 10%) окажется неучтенной, поскольку в таком случае провайдер может передать кешировнную страницу и не будет обращатсья к веб-серверу. Следовательно, в веб-журнале запрос такой страницы никак отражен не будет.

Веб-журналы используются в основном как средство анализа поведения поисковых роботов на сайте. Также веб-журналы используются для дополнения данных, полученных из других источников.

Tags: анализ веб-журналов, анализ логов, веб-аналитика, веб-журналы