Palestra Puppet Hora Livre

Gestão e Automação de
Servidores com Puppet
Guto Carvalho < gutocarvalho@gmail.com >

Campo Grande/MS - 2012/12/12 - Hora Livre

Wednesday, December 12, 12

Hora Livre - Ano 4


whoami
Consultor/SysAdmin (LPIC-3) na 4Linux

12 anos de experiência com tecnologias FOSS

Blogueiro FOSS há 6 anos no site gutocarvalho.net

Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS, MPS/DATAPREV, ITI/
PR, CEF, MD/SIPAM, DETRAN/DF, CAIXA

Há 2 anos trabalhando com gerência de conﬁgurações em ambientes virtualizados e clouds
privadas em Brasília

Palestrante em eventos como FISL, LATINOWARE, CONSEGI, ENECOMP, FLISOL e CLOUDCONF


Plano de Trabalho

05 minutos de apresentação
50 minutos de palestra
10 minutos para perguntas


Agenda
Administração de servidores e serviços

Causas, efeitos e consequências da administração artesanal

Um novo caminho com a gerência de conﬁgurações

Puppet como solução de gerência de conﬁgurações

Apresentando características e recursos do Puppet

Benefícios, resultados concretos e Puppet no Brasil


Já ouviu falar do
sysadmin?


O que faz um sysadmin?
Administra servidores e serviços e a infraestrutura de rede

Oferece suporte aos desenvolvedores e usuários

Sustenta ambiente de desenvolvimento, testes, homol e produção e faz deploy de aplicações

Sustenta sistemas estruturantes (DHCP, DNS, PROXY, LDAP, MAIL, IM)

Cuida dos ambientes de banco de dados

Sustenta, monitora e trabalha para que aplicações e ambientes funcionem

Cuida do Backup, lava, passa e faz cafézinho...


Multi-tarefas


Multi-disciplinar


SysAdmins

Visão do
Sysadmin
Em relação a infraestrutura
que ele tem que administra


Visão do
Sysadmin
Em relação ao seu dia-a-dia de
trabalho e tratamento de
demandas


Realidade do Sysadmin

Ferramentas e métodos não tão
modernos e nem tão atraentes


Desaﬁos do Sysadmin em 2012


Administração de Servidores e Serviços


Virtualização - Tendência

Virt. e seus Benefícios
Menor consumo de energia
Melhor aproveitamento de espaço físico
Melhor aproveitamento de hardware (sem hw ocioso)
Maior segurança com isolamento de ambientes
Pode-se trabalhar disponibilidade e balanceamento
Facilidade de provisionamento e gerenciamento

Cloud Computing - Tendência

Cloud e seus Benefícios
Hiper escalável
Rápida e elástica
Abstração de hardware
Infraestrutura dinâmica
Alta disponibilidade
Investimento atraente para projetos emergentes

O crescimento do
seu parque é
inevitável
Poucas máquinas físicas
podem ser tornar dezenas,
centenas ou milhares de nodes
em poucos meses.


Como Administrar 500 VM’s?


Ambiente híbrido e complexo

Servidores Linux Debian 5.0 e 6.0 em 32 e 64 bits
Servidores Linux Centos 5 e Centos 6 em 32 e 64 bits
Servidores RHEL 4, 5 e 6 em 64 bits
FreeBSD, OpenBSD e OSX
Servidores Windows 2003 e 2008


Conﬁguração artesanal?


Vale a pena insistir?

Administação Host a Host?


Acesso Secure Shell (ssh) em loop?


Shellscript?


Será que o modelo artesanal escala?

Quantos SysAdmins são necessários
para administrar 500 servidores?


Qual a velocidade nas
mudanças em seu ambiente?


Qual a probabilidade de falhas
decorrentes de mudanças manuais?


Você consegue manter todo o
seu ambiente padronizado?


Trabalhar fora de expediente para dar
conta das demandas se tornou regra ao
invés de exceção?


Seu custo com equipes técnicas está
aumentando devido aos trabalho
fora de expediente?


Você começa a ter a sensação de estar sendo
engolido por seu ambiente?


Está difícil colocar suas conﬁgurações nos trilhos?


Administração artesanal
não escala, não importa
quantas pessoas estejam
envolvidas
No entanto, é possível enxergar
as causas, efeitos e consequências
geradas por um modelo
equivocado de administração


Você vai começar a perceber que

Fica mais difícil encontrar problemas em seu parque
Não é mais tão simples manter as coisas funcionando
É quase impossível manter o parque padronizado
Sua produtividade diminui a medida que o ambiente cresce
Você não consegue mais documentar e planejar mudanças


Você vai começar a perceber que

Você não consegue mais entregar demandas no tempo acordado
Sua equipe está sempre exausta e desmotivada
Sua equipe não tem mais direito a ﬁnais de semana, feriados
Você não tem tempo para pensar em segurança e performance
Uma simples atualização de software pode levar semanas


Tarefas repetitivas


A maioria das demandas de um sysdmin envolve
execução de tarefas repetitivas


Tarefas repetitivas
Criação de usuários

Elaboração de scripts

Configuração de serviços

Configurações de monitoramento

Criação de imagens de ambientes

Configuração do sistema operacional

Instalação, atualização e remoção de pacotes


Remover Nagios e Instalar
Zabbix em 500 máquinas


Instalação de Zabbix-Agent

Acessar o servidor por ssh e se tornar root
Conﬁgurar repositório YUM, APT ou Ports
Instalar pacote zabbix-agent
Remover pacote nagios
Ajustar arquivo de conﬁguração Zabbix
Reiniciar Zabbix Agent


10 minutos por máquina
5000 minutos ou 83.3 horas de trabalho repetitivo
10 dias para instalar o zabbix-agent no parque
1 analista alocado exclusivamente para isto 8HPD
Considere re-trabalho devido ao modelo manual


Criar o usuário do novo sysadmin
em 500 máquinas


Criação de usuário para sysadmin

Acessar o servidor por ssh
Se tornar root
Criar usuário
Setar senha temporária
Conﬁgurar privilégios no sudo



7 minutos por máquina
3500 minutos ou 58.3 horas de trabalho repetitivo
7 dias para criar o usuário no parque
1 analista alocado exclusivamente para isto 8HPD
Considere re-trabalho devido ao modelo manual
Considere que o usuário vai ter que trocar a senha nas 500 máquinas


Mas eu não posso usar LDAP para
autenticar meus usuários, não seria
melhor?


Autenticação LDAP em Debian

Você precisa manter as conﬁgurações do PAM e módulo LDAP

Arquivos a serem mantidos ldap.conf, nsswitch.conf, libnss-ldap.conf

Pacotes a serem mantidos ldap-utils, libpam-ldap, libnss-ldap e nscd

Você ainda precisa ter um usuário coringa em caso de problema no LDAP


Como alterar vários arquivos de conﬁguração em
500 máquinas em um caso de mudança na
estrutura da árvore LDAP?


Remover usuários antigos é tão
complicado quanto criar novos


Rastreamento de mudanças e falta de padrões


Se você pedir para dois sysadmins
instalarem um servidor você terá
dois ambientes diferentes


Falta de padronização


O que devemos padronizar?

DNS (resolv.conf) Hosts e Hostnames
Usuários e Privilégios Repositórios
NTP (data/hora) Logs e Autenticação
Pacotes Sysadmins Firewall
Rotas Hardening, Tuning


Falta de processos e procedimentos de execução de
atividades e demandas


Desvantagens do modelo Artesanal

Desvantagens do modelo artesanal

Falta de padronização, processos e procedimentos
Documentação inexpressiva ou inexistente
Falta de planejamento para execução das demandas
Desconhecimento dos riscos envolvidos
Alto índice de falhas humanas



Baixo índice de disponibilidade dos serviços oferecidos
Demora na aplicação de mudanças
Demora na correção de problemas
Equipe desmotivada
Atividades repetitivas e desgastantes



Equipe sempre sobrecarregada
Alta rotatividade da equipe
Alto custo com horas extras
Proﬁssionais insatisfeiros
Baixa credibilidade perante clientes e gestores


Como resolvo
estes problemas?
Como obtenho controle e
padronização em meu
ambiente ?


Gerência de Conﬁgurações

Padronização


Automatização


Controle


Integridade


Desempenho


Agilidade nas mudanças


Puppet
Ferramenta de nova geração
que implementa gerência de
conﬁgurações para seu
ambiente.


Visão Rápida
Framework Open Source para Gerência de Conﬁgurações
Oferece um conjunto de ferramentas para manipular estados
Nos permite trabalhar a Infraestrutura como código
Oferece uma linguagem declarativa para descrever
conﬁgurações de sistemas e serviços
Não é programação


Sobre a ferramenta

Criado por Luke Kaines (CEO e Fundador Puppetlabs)

Empresa PuppetLabs mantém a Ferramenta

Ferramenta OpenSource (Licença Apache)

Empresa oferece Suporte Corporativo e Versão Enterpris

Empresa recebeu investimentos da VMWARE, GOOGLE e CISCO


Feito por um SysAdmin para SysAdmins


Desenhada para uso DevOps


Visão DevOps

Desenvolvedor que lançar novas
versões de forma rápida e eﬁciente
Sysadmin quer manter o parque integro e funcionando
minimizando riscos de incidentes


Especiﬁcações e Características

Escrito em Ruby
Extensível usando código Ruby
Funciona em modo Autônomo (serverless)
Funciona em modo Cliente/Servidor usando API REST
Provê comunicação segura usando SSL
Suporte a 19 sistemas operacionais (Linux, Unix, BSD...)


Quem usa o Puppet?


Arquitetura
Como funciona o Puppet?


Resource Abstraction Layer


Puppet: RAL

Resource Abstraction Layer = RAL
Camada de Abstração de Recursos
Fale o que você quer que seja feito
Não se preocupe em como será feito
O Puppet sabe como fazer


Instale Pacote X


Remova usuário Z


(Re)inicie serviço Y


Tratamento de
Informações
O grande diferencial do Puppet
é a forma como ele trata as
informações de seus nodes


Tratamento de informações

No Puppet tudo é modelado e tratado como ‘dado’
O estado atual de um node (servidor) é um dado
Um pacote instalado em um node é um dado
Um usuário em um servidor é um dado


Os dados são inseridos em
catálogos para serem utilizados
O catálogo é processado pelo node e as
modiﬁcações são aplicadas de acordo com o que foi
declarado.


Processamento
do Catálogo
1) Agente Requisita Catálogo
1.1) Agente envia Fatos para Master
2) Master Processa Fatos e Compara
2.1) Master Produz e envia Catálogo
3) Node Recebe, Compara e Aplica
4) Node informa estado atual ao Master
5) Sistema reﬂete catálogo


Idempotência


A idempotência é a propriedade que algumas
operações têm de poderem ser aplicadas várias
vezes sem que o valor do resultado se altere após a
aplicação inicial. (fonte: wikipedia)


Puppet visão geral
Puppet Conﬁgurações
Módulos Estáticos Master Voláteis e Dados

Camada de Serviços Estruturantes

LDAP DNS MONIT SYSLOG
Camada de Aplicação

JBOSS APACHE MYSQL PGSQL

Puppet Agents

O que acontece quando adicionamos
um node ao nosso parque?


Adicionando node ao parque

ZABBIX
NGINX

JBOSS

POSTGRESQL

MEMCACHED



ZABBIX
NGINX

JBOSS

POSTGRESQL

MEMCACHED

Adicionar um novo node representa N mudanças

sysadmin-utils
ZABBIX zabbix-agent
NGINX
ntpconf
locales
JBOSS
hosts
users
POSTGRESQL localmta
smtpd
vimrc
MEMCACHED
backup-agent
apt-repos


Como o Puppet pode ajudar?

Automatizando todo o seu ambiente
Provendo maior produtividade com menor esforço
Padronizando seus nodes logo após a criação e instalação
Modiﬁcando conﬁgurações de forma controlada
Mantendo o estado declarado para cada node/instância


Insira o Puppet na imagem de
instalação de seus nodes.


Pare de administrar e começe a
desenvolver sua infra


Não tenha medo de realizar
atualizações, o puppet faz pra você!


Você pode fazer deploy de sua APP
Você pode controlar a versão de sua APP


Como é o funcionamento do Puppet em Rede?


Puppet Master

8140 TCP 8139 TCP
Client SSL Server
puppetd -t puppetrun

Puppet Client

Puppet Visão em Rede

Arquitetura Cliente/Servidor

O agente gera um certiﬁcado digital
O master precisa autorizar o certiﬁcado
Sem autorização o agente não pode se comunicar
Toda a comunicação entre agente e master é segura


Fluxo Cliente/Servidor
Instalação do
node


Instalação do Inicialização
node do puppet


Instalação do Inicialização Geração de
node do puppet Certiﬁcado



Envio de
Certiﬁcado



Master Assina Envio de
Certiﬁcado Certiﬁcado



Agente Master Assina Envio de
Sincroniza Certiﬁcado Certiﬁcado



Agente Master Assina Envio de
Sincroniza Certificado Certificado

Modalidades de Assinatura de Certificado
Assinatura pode ser manual
Assinatura pode ser automática por domínio
Assinatura pode ser automática em qualquer requisição

O agente se comunica com o
master a cada N minutos


E quais os recursos disponíveis para
gerenciar sistemas e serviços?
Como manipulo estados do meu ambiente?


Funcionalidades do Puppet

Resource Types
Parâmetros e Meta-parâmetros
Templates e Deﬁnições
Classes e Módulos
Funções e Condicionais


Puppet Resource Types
Arquivos e Diretórios Yum Repos

Usuários Augeas

Alias Hosts

Pacotes SSH

Serviços Cron

O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.


Resource Type: Packages
Suporte a 23 tipos de
provedores de pacotes

Faz a abstração do OS

Declare se o pacote deve estar
presente ou ausente

Declare se o pacote deve
sempre estar em sua última
versão


Resource Type: Services
Suporta 11 tipos de sistemas
INIT para inicializar serviços

Declare se um serviço deve
estar sempre rodando

Declare se um serviço deve ser
carregado no boot

Declare se um serviço depende
de um pacote ou arquivo


Resource Type: File
Especiﬁque permissões e
owners
Declare arquivos,
diretórios e links
Controle de mudanças
usando até 15 tipos de
checksums


Exemplos

Instala, Conﬁgura e Inicia
debian-way

# aptitude install apache2
# update-rc.d -f apache2 defaults
# cp ~/httpd.conf /etc/apache2/
# invoke-rc.d apache2 start


package { 'apache2':
ensure => present,
}

service { 'apache2':
ensure => running,
enable => true,
}

ﬁle { 'httpd.conf':
path => “/etc/apache2/httpd.conf”,
source => “/etc/puppet/ﬁles/httpd.conf”,
}

package { 'apache2':
ensure => present,
} resource type

service { 'apache2':
parameter
ensure => running, title
enable => true, value
}

ﬁle { 'httpd.conf':
path => “/etc/apache2/httpd.conf”,
source => “/etc/puppet/ﬁles/httpd.conf”,
}

Variáveis e Fatos
Fatos (facter)

domain => hacklab,
Variáveis
fqdn => puppetmaster.hacklab,
hostname => puppetmaster,
vimpackage => vim-puppet,
interfaces => eth0,eth1,lo,
ipaddress_eth0 => 10.0.2.15,
apacheservice => apache2,
ipaddress_eth1 => 192.168.56.150,
ipaddress_lo => 127.0.0.1,
ntpconfrhel => ntp.conf.rhel,
lsbdistid => debian,
lsbdistrelease => 6.0.5,


Condicionais
case $operatingsystem {
CentOS,RedHat: {
$package_name = 'ntp',
$service_name = 'ntpd',
$conf_ﬁle = 'ntp.conf.el
}
Debian,Ubuntu: {
$package_name = 'ntp',
$service_name = 'ntp',
$conf_ﬁle = 'ntp.conf.debian',
}
}
....

Deﬁnições
proxy::squid { 'ProxyFilial' :
http_port => '3128',
squid_mode => 'transparent',
squid_hostname => 'proxy.4linux',
cache_mem => '2 GB',
maximum_object_size_in_memory => '6 MB',
maximum_object_size => '128 MB',
memory_replacement_policy => 'heap GDSF',
cache_replacement_policy => 'heap LFUDA',
cache_dir => 'aufs /var/spool/squid 1024 16 256',
cache_mgr => 'monitora@4linux.com.br',
cache_effective_user => 'proxy',
cache_effective_group => 'proxy',
dns_nameservers => '127.0.0.1 10.61.12.2 172.16.1.1',
ips_squid => '127.0.0.1 192.168.12.3',
}


Templates
Trecho do template postﬁx/main.cf.erb

myorigin = <%= hostname %>
mydestination = $myhostname, ..., localhost, <%= fqdn %>

Substituição de variáveis por fatos

myorigin = servidor.dominio
mydestination = $myhostname, ..., localhost, servidor.dominio


Use uma base class para
padronizar seus nodes


Base Class
class linux-server {
include sysadmin-utils
include zabbix-agent
include ntpconf
include locales
include hosts
include users
include localmta
include vimrc
include backup-agent
include apt-repos
}


Como declaro um node e como
empurro uma conﬁguração?


Declarando um node
node “servidor.dominio” {
include linux-server
include module
}

node “balancer.dominio” {
include linux-server
include apache
include php5
include mysql
}


E como acompanho mudanças?

Puppet Dashboard


Posso fazer mudanças em
tempo real?


Marionette Collective
Orquestrador de nodes

Execução de Tarefas Paralelas

Interação com centenas de nodes

Inventário descentralizado

Leitura de meta-dados do Puppet

Similar a Fabric e Capistrano


Qual o resultado concreto?

Documentação Instantânea


Restore e backup de mudanças


Processos bem deﬁnidos


Ambiente Padronizado


Tarefas Automatizadas


Quais os Benefícios Reais?

Benefícios Reais
Maior produtividade em menor tempo
Poucos SysAdmins para muitos nodes
Diminuição de falhas humanas
Maior controle de todo o seu parque
Diminuição do tempo gasto em mudanças
Diminuição do custo de manutenção

Tecnologia trabalhando para você


Puppet & Cloud IaaS
Cloud Tools (FOSS) Cloud Hosts

Ganeti


Boas Práticas

Use API e recursos do fornecedor
seja na nuvem, seja em hypervisor.


Insira o Puppet nos templates de seu
Hypervisor


Desenvolva sua Infra


Versione suas conﬁgurações


Reaproveite Código


GitHub & PuppetForge


Pesquise!


Puppet em números
727 pessoas online no canal
#puppet da irc.freenode.net

8.500 repositórios no GitHub

450 módulos no PuppetForge

4457 usuários ativos na lista
puppet-users com 7795 tópicos de
discussão

Dados coletados em 2012-08-06 às 10:34 PM

Puppet Labs

Puppet na rede
Site/Blog Google Groups
http://www.puppetlabs.com Puppet-camp,
http://www.puppetlabs.com/blog/ puppet-users,
http://puppet-br.org/ puppet-users-br,
puppet-dev
Twitter
@puppetlabs IRC
irc.freenode.org
GitHub #puppet
http://www.github.com/puppelabs #puppet-br


Perguntas?

twitter @gutocarvalho
e-mail gutocarvalho@gmail.com
slides slideshare.com/gutocarvalho
blog gutocarvalho.net
code github.com/gutocarvalho

Obrigado!

Palestra Puppet Hora Livre

Recomendados

Recomendados

Más contenido relacionado

Similar a Palestra Puppet Hora Livre

Similar a Palestra Puppet Hora Livre (20)

Más de Jose Augusto Carvalho

Más de Jose Augusto Carvalho (15)

Palestra Puppet Hora Livre