Com os sistemas de hoje gerando uma tonelada de registrodados, não é surpresa que os administradores estejam sempre procurando soluções de gerenciamento de logs. Os logs são, por padrão, geralmente armazenados localmente. Isso faz sentido, pois facilita vinculá-los à sua fonte. Mas, ao tentar solucionar problemas e encontrar sua causa raiz, às vezes precisamos examinar vários arquivos de log em vários dispositivos. Não seria legal se todos os logs de todos os dispositivos estivessem armazenados em um local centralizado? Esse é o objetivo do gerenciamento de logs. E se sua plataforma preferida for Linux, há muitas opções disponíveis. Continue lendo enquanto descobrimos alguns dos melhores gerenciamento de log para Linux
Começaremos definindo o gerenciamento de logs. Você verá que pode ser um pouco mais do que apenas centralizar o armazenamento de log. A seguir, discutiremos várias tecnologias de registro. Eles são a pedra angular do gerenciamento de logs e provavelmente não existiria sem eles. Continuando, diferenciaremos os servidores syslog dos sistemas de gerenciamento de logs e perceberemos que não há demarcação clara entre eles. Em seguida, faremos uma breve pausa e discutiremos os sistemas de Informações de segurança e Gerenciamento de eventos. Eles são outro tipo de sistema que geralmente é confundido com o gerenciamento de logs, graças à definição pouco clara de cada um. E, finalmente, revisaremos o melhor gerenciamento de log para Linux.
O que é gerenciamento de logs?
Antes de falarmos sobre gerenciamento de logs, vamosdefina o que é um log. Simplesmente definido, um log é a documentação produzida automaticamente e com registro de data e hora de um evento relevante para um sistema específico. Em outras palavras, sempre que um evento ocorre em um sistema, um log é gerado. Sistemas e dispositivos geram logs para diferentes tipos de eventos, e muitos sistemas dão aos administradores algum grau de controle sobre qual evento gera um log e quais não.
Quanto ao gerenciamento de logs, refere-se simplesmente aos processos e políticas usados para administrar e facilitar a geração, transmissão, análise, armazenamento, arquivamento e eventual descarte de grandes volumes de dados de log. Embora não esteja claramente indicado, o gerenciamento de logs implica um sistema centralizado no qual os logs de várias fontes são coletados. O gerenciamento de logs não é apenas uma coleção de logs. É a parte da administração que é a mais importante. E os sistemas de gerenciamento de logs geralmente têm várias funcionalidades, sendo a coleta de logs apenas um deles.
Depois que os logs são recebidos pelo gerenciamento de logssistema, eles precisam ser padronizados em um formato comum, pois o formato de sistemas diferentes registra de maneira diferente e inclui dados diferentes. Alguns iniciam um log com a data e hora, outros iniciam com um número de evento. Alguns incluem apenas um ID do evento, enquanto outros incluem uma descrição em texto completo do evento. Um dos objetivos dos sistemas de gerenciamento de log é garantir que todas as entradas de log coletadas sejam armazenadas em um formato uniforme. Isso fará com que a correlação de eventos e a eventual pesquisa sejam muito mais fáceis na linha.
Mesmo correlação e pesquisa são dois adicionaisprincipais funções de vários sistemas de gerenciamento de logs. Os melhores deles apresentam um poderoso mecanismo de pesquisa que permite que os administradores se concentrem exatamente no que precisam. As funções de correlação agrupam automaticamente eventos relacionados, mesmo que sejam de fontes diferentes. Como - e com que sucesso - diferentes sistemas de gerenciamento de logs realizam esse é um fator importante de diferenciação.
Leia também: 15 melhores ferramentas de monitoramento de rede (nossa própria análise)
Tecnologias de registro
O gerenciamento de logs seria muito mais difícil,talvez nem seja possível, se não fosse para protocolos de log. Alguns deles existem. Eles definem quais dados devem ser incluídos nos logs, como eles devem ser formatados e, às vezes, como devem ser transmitidos entre os sistemas.
O Syslog é sem dúvida o log mais usadoprotocolo, especialmente no mundo Linux. A tecnologia foi inventada no início dos anos 80 e se tornou o padrão de fato para todos os sistemas do tipo Unix. Um dos maiores ativos da tecnologia syslog é como ela facilita a separação entre o sistema ou software que gera logs, o sistema que os armazena e o software que os relata e analisa. O uso da tecnologia Syslog facilita muito o gerenciamento de logs. E o Syslog não é exclusivo do Unix. Muitos dispositivos não-Unix, como comutadores, roteadores e todos os tipos de equipamentos de muitos fornecedores, usam uma variante do protocolo syslog.
Existem outras tecnologias de log. O Microsoft Windows, por exemplo, usa um sistema de log diferente. Pode ter a ver com o fato de que os sistemas operacionais e aplicativos do Windows possuem logs que normalmente contêm informações mais detalhadas do que a tecnologia Syslog permite. Felizmente, as funções do Windows Event Collector fornecem um meio para o gerenciamento de logs que vários sistemas podem usar para receber eventos dos hosts do Windows. Esta postagem é sobre gerenciamento de logs do Linux, portanto, não vamos perder muito tempo no Windows.
Independentemente da tecnologia de registro usada, umparte importante do gerenciamento de logs é a configuração de dispositivos para enviar seus logs ao sistema de gerenciamento. Outros tipos de ferramentas, como sistemas de monitoramento de rede, podem buscar dados dos sistemas que monitoram, mas com o gerenciamento de logs, cada dispositivo deve ser "informado" para onde enviar seus logs. É, no entanto, uma tarefa relativamente simples que geralmente é realizada emitindo um comando simples.
LEITURA ADICIONAL: Melhor software de mapeamento e topologia de diagrama de rede
Servidores de log ou gerenciamento de log?
Como está disponível em todos os tipos de Unix,sistema - incluindo Linux - por um bom tempo, o Syslog é frequentemente usado como um servidor de log com um computador recebendo dados do Syslog de vários outros. Embora esse armazenamento centralizado de logs tenha vantagens definidas, não é suficiente ser chamado de gerenciamento de logs.
Para merecer o nome do Sistema de Gerenciamento de Log, umO produto deve incluir pelo menos algumas das funções mais avançadas. Segundo a Wikipedia, “o gerenciamento de logs é composto pelas seguintes funções: coleta de logs, agregação centralizada de logs, armazenamento e retenção de logs de longo prazo, rotação de logs, análise de logs, pesquisa de logs e relatórios”. Uau! Isso é muita funcionalidade. Os servidores de log, por outro lado, geralmente oferecem apenas a coleta e o armazenamento de logs e raramente mais do que isso.
Uma palavra (ou duas) sobre SIEM
Outra tecnologia popular que está associadacom logs e frequentemente confundido com os sistemas de gerenciamento de logs é Security Information and Event Management, ou SIEM. Isso é diferente do gerenciamento de logs, mas está intimamente relacionado. A linha é tão fina entre eles que alguns produtos anunciados como sistemas de gerenciamento de logs são na verdade sistemas SIEM, enquanto alguns sistemas SIEM básicos nada mais são do que sistemas avançados de gerenciamento de logs.
A confusão decorre do fato de que loggerenciamento - ou, pelo menos, análise de log - é um componente importante dos sistemas SIEM. O que diferencia os sistemas SIEM é que eles executam análise de log com o objetivo final de identificar problemas de segurança. Eles procurarão, por exemplo, sinais de logons malsucedidos que possam ser um sinal revelador de uma tentativa de invasão não autorizada. Esses sistemas varrem continuamente as entradas de log procurando algo fora do comum. Embora alguns sistemas SIEM incluam amplos recursos de gerenciamento de logs, alguns usam um sistema externo de gerenciamento de logs e não é incomum ver os dois sistemas funcionando lado a lado.
LEITURA RELACIONADA: Melhores scanners IP para Mac
O melhor gerenciamento de logs para Linux
Felizmente, agora temos um entendimento comum deo que é gerenciamento de log e o que não é. Então, vamos dar uma olhada no que está disponível para Linux. Mas primeiro, vamos esclarecer uma coisa. Quando nos referimos ao gerenciamento de log do Linux, queremos dizer sistemas de gerenciamento de log que podem acomodar logs do Linux e que serão executados na plataforma Linux ou na nuvem. Algumas de nossas seleções - principalmente sistemas baseados em nuvem - também funcionarão com logs de outras plataformas.
1. SolarWinds Papertrail (PLANO GRATUITO DISPONÍVEL)
SolarWinds tornou-se um nome familiar entre as redesadministradores. Ela cria algumas das melhores ferramentas há quase 20 anos, trazendo-nos excelentes ferramentas de monitoramento de largura de banda e um dos melhores analisadores e coletores NetFlow. A empresa também é conhecida por publicar várias ferramentas gratuitas que atendem a algumas necessidades específicas de administradores de rede, como calculadora de sub-rede ou um servidor syslog.
- PLANO GRATUITO: SolarWinds Papertrail
- Link para download oficial: https://papertrailapp.com/plans
Há não muito tempo atrás, SolarWinds adquirido Papertrail, um sistema popular de gerenciamento de logs. Ele agrega arquivos de log de uma ampla variedade de produtos populares, como Apache ou MySQL, bem como aplicativos Ruby on Rails, diferentes serviços de hospedagem na nuvem e outros syslog padrão e arquivos de log baseados em texto. Papertrail os usuários podem usar a interface de pesquisa baseada na webou ferramentas de linha de comando para pesquisar esses arquivos e ajudar a diagnosticar vários problemas. O Papertrail também se integra a outros produtos da SolarWinds, como Librato e Geckoboard, para obter gráficos dos resultados.
Papertrail é um software como serviço (SaaS) baseado em nuvemoferta da SolarWinds. Ser baseado na nuvem significa que funcionará bem em um ambiente totalmente Linux. A plataforma é fácil de implementar, usar e entender e fornecerá visibilidade instantânea em todos os sistemas em questão de minutos. Além disso, o produto possui um mecanismo de pesquisa muito eficaz que pode pesquisar logs armazenados e de streaming. E é extremamente rápido.
Papertrail está disponível em vários planos, incluindo umplano. No entanto, é um pouco limitado e permite apenas 100 MB de logs por mês. No entanto, permitirá 16 GB de logs no primeiro mês, o que equivale a uma avaliação gratuita de 30 dias. Os planos pagos começam em US $ 7 / mês por 1 GB / mês de logs, 1 ano de arquivamento e 1 semana de índice. A filtragem de ruído permite que a ferramenta preserve os dados, não salvando logs inúteis.
2. Loggly
Loggly é outro serviço online baseado em nuvem. Principalmente um consolidador de logs, ele também oferece a funcionalidade de análise de logs. Como virtude de ser baseado na nuvem, esse sistema não requer instalação e está pronto para usar no minuto em que você se inscrever. Obviamente, seus sistemas e dispositivos precisarão ser configurados para fazer upload dos arquivos de log padrão periodicamente para o servidor online.
- TESTE GRÁTIS: Planos desonestos
- Link oficial: https://www.loggly.com
Loggly depois converte os dados de log recebidos em umformato padrão, permitindo ao analisador processar registros de várias fontes e permitindo o rastreamento e a correlação de eventos em todos os sistemas, independentemente do sistema operacional ou da tecnologia de registro. As fontes de dados de log não se limitam aos servidores locais. Obviamente, o sistema é capaz de processar logs gerados por servidores online, como o AWS da Amazon, e pode incluir mensagens criadas por aplicativos específicos, como Docker e Logstash, apenas para citar alguns.
o Loggly o serviço está disponível sob três planos diferentes,com o aumento dos limites de processamento de dados e tempos de retenção. Você precisa escolher o caminho certo para fornecer espaço suficiente para seus dados de log. O plano de nível de entrada é chamado Loggly Leve. É de uso gratuito. Sob esse plano, você pode carregar 200 MB de dados de log por dia e o sistema manterá cada registro por sete dias. A seguir, está o plano Padrão, que oferece uma permissão de upload de 1 GB por dia e mantém os registros por 30 dias. Os planos pagos também permitem o uso de várias contas de usuário. Com o pacote padrão, você pode ter três contas de usuário. A camada superior é chamada Loggly Empreendimento. Ele não tem limite para o número de contas de usuários que você pode configurar e os preços variam de acordo com a quantidade de capacidade de upload e o período de retenção necessário. O pagamento de todos os planos pagos pode ser mensal ou anual e um teste gratuito de 14 dias está disponível no plano Padrão.
3. Splunk
Splunk é bem conhecido - dentro da administração do sistemacomunidade - sistema abrangente de gerenciamento de logs para Linux, Mac OS e Windows. Mais do que apenas um sistema básico de gerenciamento de logs, alguns o consideram um sistema completo de prevenção de intrusões. O produto está disponível em três versões. No topo é Splunk Enterprise que é mais um sistema de gerenciamento de rede do que apenas uma ferramenta de gerenciamento de log. O preço começa em US $ 173 por mês e você obtém muitas funcionalidades.
Há também uma versão gratuita do Splunk que é basicamente a mesma ferramenta sem algumassuas funcionalidades mais avançadas. Em essência, ele é restrito à análise de arquivos de log. Você pode alimentar qualquer um dos seus arquivos de log padrão ou enviar dados ao vivo através de um arquivo para o analisador. A versão gratuita possui algumas limitações. Por exemplo, ele pode ter apenas uma conta de usuário e sua taxa de transferência de dados é limitada a 500 MB de logs por dia. A funcionalidade de classificação e filtragem de dados está integrada ao Splunk, facilitando seus esforços de solução de problemas. Você pode usar esses recursos para dividir os registros de log por data e gravar cada grupo em novos arquivos. De fato, essa funcionalidade é muito flexível.
4. Nagios Log Server
Nagios é mais conhecido por seu excelente software de monitoramento de rede, mas seu Log Server é igualmente interessante. O produto é chamado simplesmente de Nagios Log Server e oferece gerenciamento centralizado de logs,monitoramento e análise. Essa ferramenta pode simplificar bastante o processo de pesquisa dos dados do log. Ele também permite que você defina alertas para ser notificado sobre possíveis ameaças Além disso, o software possui alta disponibilidade e failover embutido nele. Além disso, seus assistentes de configuração fácil de origem o ajudarão a configurar rapidamente os servidores para enviar todos os dados de log e começar a monitorar seus logs em minutos.
o Nagios Log Server permite uma fácil correlação de eventos de logem todos os servidores em apenas alguns cliques. O sistema permitirá visualizar dados de log em tempo real, permitindo analisar e resolver problemas à medida que eles ocorrem. O produto possui uma escalabilidade impressionante e continuará atendendo às suas necessidades à medida que sua organização cresce. Adicional Nagios Log Server instâncias podem ser adicionadas a um cluster de monitoramento, permitindo adicionar rapidamente mais energia, velocidade, armazenamento e confiabilidade.
O preço de instância única para o Nagios Log Server custa US $ 3.995 e, embora não pareça estar disponível uma avaliação gratuita, é uma demonstração on-line gratuita, se você preferir dar uma olhada em primeira mão no produto.
5. Graylog
O próximo da nossa lista é um produto chamado Graylog. O produto oferece muitos recursos interessantes. A ferramenta irá analisar e enriquecer logs e dados de eventos de qualquer fonte de dados. Seus pipelines de processamento permitem alguma flexibilidade no roteamento, lista negra, modificação e enriquecimento de mensagens em tempo real. Graylog pesquisará terabytes de dados de log para descobrir e analisar informações importantes. A poderosa sintaxe de pesquisa permite encontrar exatamente o que você está procurando.
Com Graylog, você pode criar painéis para visualizar métricase observe as tendências em um local central. Você pode usar estatísticas de campo, valores rápidos e gráficos na página de resultados da pesquisa para se aprofundar nas análises de seus dados. O sistema também tem a opção de acionar ações ou emitir notificações sobre eventos como tentativas de logon com falha, exceções ou degradação do desempenho.
Graylog é um sistema gratuito baseado em arquivo de log de código aberto quepode oferecer muito mais funcionalidades do que apenas um utilitário de arquivamento de logs. Este analisador de logs possui uma interface gráfica do usuário e pode ser executado no Ubuntu, Debian, CentOS e SUSE Linux. Você também pode executá-lo em uma máquina virtual no Microsoft Windows e instalar o sistema Graylog no Amazon AWS.
6. Analisador ManageEngine EventLog
ManageEngine, outro nome comum entre os administradores de rede, cria um excelente sistema de gerenciamento de logs chamado Analisador ManageEngine EventLog. O produto coletará, gerenciará, analisará, correlacionará e pesquisará os dados de log de mais de 700 fontes usando uma combinação de coleta de logs sem agente e com base em agente, bem como importação de log.
A velocidade é um dos Analisador ManageEngine EventLogForça. Ele pode processar dados de log em impressionantes 25.000 logs / segundo e detectar ataques em tempo real. Ele também pode executar análises forenses rápidas para reduzir o impacto de uma violação. Os recursos de auditoria do sistema se estendem aos registros dos dispositivos de perímetro da rede, atividades do usuário, alterações na conta do servidor, acessos do usuário e muito mais, ajudando você a atender às necessidades de auditoria de segurança.
o Analisador ManageEngine EventLog está disponível em uma edição gratuita com redução de recursosque suporta apenas 5 fontes de log ou em uma edição premium que começa em US $ 595 e varia de acordo com o número de dispositivos e aplicativos. Também está disponível uma versão de avaliação gratuita de 30 dias com todos os recursos.
Comentários