|
Коробанов Сергей
Сентябрь 8, 2006
Исходная задача
Cделать обработчик логов прокси сервера сквида c web интерфейсом, поставить под крон и забыть о нем на пару лет :).
Обработчик - sarg
Хранить логи лучше всего на проксе, чтобы небыло проблем с переносом на удаленные файловые системы.
Можно хранить где угодно smb,nfs,на ftp выкладывать, rsync через ssh тонель гонять, вариантов
масса. Но чем сложнее решение, тем больше вероятность сбоя.
Лучше поднять web сервер на проксе без всяких mod-ов (т.к. логи хранятся в plain html), прикрыть фаерволом, access листами, и
обновлять по мере обнаружения уязвимостей.
Итак, что мы хотим иметь:
- Главная страница:
- Отчет по пользователям:
| |
| Topsites Отчет |
| Сайты и пользователи Отчет |
| Downloads Отчет |
| Denied Отчет |
|
|
| 204 |  
| 10.18.131.x | 5 | 17.40K | 0.00% | 0.00% | 100.00% | 00:00:01 | 1.10K | 0.00% |
| 205 |
| 195.x.x.x | 6 | 14.14K | 0.00% | 30.32% | 69.68% | 00:00:02 | 2.34K | 0.00% |
| 206 |
| 87.x.x.x | 9 | 13.33K | 0.00% | 100.00% | 0.00% | 00:00:00 | 4 | 0.00% |
| 207 |
| 10.168.x.x | 1 | 12.00K | 0.00% | 100.00% | 0.00% | 00:00:00 | 84 | 0.00% |
| 208 |
| 62.118.x.x | 8 | 11.56K | 0.00% | 100.00% | 0.00% | 00:00:00 | 246 | 0.00% |
| 209 |
| 213.234.x.x | 32 | 9.96K | 0.00% | 0.00% | 100.00% | 00:00:10 | 10.66K | 0.00% |
| | |
| | | | |
|---|
| Формат странички логов: |
| Подключений | кол-во обращений к сквиду с этого ip |
| Байт | кол-во переданных байт с прокси. |
| % Байт | процент от общего трафика сквида в байтах, приходящихся на этого абонента. |
| IN-CACHE-OUT | IN- процент байт, которые клиент получил из кэша OUT-процент байт, которые были стянуты снаружи.
только чего-то результирующий процент не сходится :). Буду думать. в доке нет. Возможно они просто берут
среднее арифметическое, а не считают сложный процент. (не знаю, как алгоритм реализован). |
| Общее время | сколько пользователь в онлайне прообитал миллисек - Сколько всего миллисекунд потратил сквид на обработку его запросов. |
| % время | не нашел в мануалах. |
Самое интересное поле это IN-CACHE-OUT поле IN это эффективность прокси. Можно уменьшить его на пару процентов и получаем реальную эффективность.
P.S. Эффективность моей прокси выходит около 8%. По миру сейчас 4-10 %.
Задумайтесь, за сколько прокси себя окупит и есть ли смысл ее вообще устанавливать для экономии трафика.
Разумеется, для контроля контента, резки банеров и блокировки нежелательных сайтов прокси - идеальное решение.
Если Вы ISP, то прокси нужен только для экономии трафика (считаем эффективность, считаем деньги, считаем окупаемость...).
Приступим:
логи сквида хранятся в
/var/log/squid/
sarg парсит access.log.x
Скрипт:
proxy ~ # cat /usr/local/bin/sarg_gen.sh
Конфиг sarg можно посмотреть здесь
Важные таги в конфигурационном файле:
output_dir /var/www/localhost/htdocs/squid-reports
Без комментариев.
overwrite_report yes
Перезаписывать отчет, если отчет с указанной датой уже существует.
show_successful_message no
Выводит "Successful report generated on dir" at end of process.
Алогоритм работы:
- Узнаем текущую дату (месяц и год) 1-е число дописываем.
proxy ~ # date +01/\%m/\%Y
01/08/2006
- Узнаем кол-во дней в месяце (последнее число)
- Ищем лог файлы, которые были изменены в текущем месяце.
- передаем sarg-у список файлов с указанием генерировать логи с 1 по последнее число
Ставим скрипт исполняться под cron:
proxy ~ #crontab -l
10 1 * * * /usr/local/bin/sarg_gen.sh
в 1 10 логи парсить самое время :) т.к. загрузка во время парсинга на
model name : Intel(R) Pentium(R) 4 CPU 2.80GHz
bogomips : 5521.40
составляет
proxy ~ # uptime
17:36:00 up 105 days, 19:58, 2 users, load average: 2.38, 1.37, 0.62
Время парсинга логов прокси обрабатывающей 50 Гб трафика в месяц около 20 минут.
Пусть скрипт ночью шуршит, пока пользователи спят :).
Размер результата - 800 Mb html файлов!
Логи дороже места и если работаете в сфере ISP, их желательно хранить
года 2-3. Десятки раз логи трафика помогали в разрешении "патовых" ситуаций с абонентами.
|
