В предыдущей статье: https://blog.yakunin.dev/fluent-bit-docker-install/ мы рассматривали установку и настройку Fluent Bit. Как его установить, настроить парсинг логов, куда их передавать и как работать. В этой статье опишем его связь с Elasticsearch и Kibana для визуализации логов. Так как в прошлой статье мы запускали стек в Docker, продолжим эту славную традицию. И так, добавляем в docker-compose.yml […]
В современном мире, меня, больше всего огорчает бесконтрольное использование памяти или вообще халатное к ней отношение. Я вырос в то время когда за каждый килобайт программисты боролись. А сейчас для многих 4 Gb это ерунда. Но сегодня речь не о разработке и памяти, а о логах. Тогда при чем тут память? А память тут вот […]
Как показала практика тема эта для многих интересна. Что ж, пожалуй стоит написать об этом ещё немного. Сегодня на примере разберем стандартный syslog, напишем простой парсер на Python с выводом обработанного текста в JSON. И так, начнем. Допустим что наш файл syslog содержит только следующие строки: В данном случае строку будем разбирать на 5 блоков, […]
Я помню, как в свое время аббревиатура regexp (англ. regular expressions), вызывала у меня страх и ужас. Если была необходимость где-то использовать их. Нет, серьезно, тогда мне это казалось как выучить китайский язык. Сейчас я могу спокойно писать сложные и простые регулярные выражения для многих языков и текстовых процессоров вроде grep или sed. Кстати говоря, […]