KlienteBrana-Hosting

eBrana, s.r.o. (Servery a služby hostované u nás v DC)

info o serverech a službach v kancelaři je zde

Seznam stroju - Cluster Sitel

Virtualni stroje na clusteru:
nazev	IP	VEID	CPU	RAM(G)	HDD(G)
ovz1_ebrana	109.205.75.30	2030	4	6	250
ovz_ebrana_2	109.205.75.39	2031	2	2	370
ovz_ebrana_3	109.205.75.36	2040	6	4	370
ovz_ebrana_4?	109.205.75.38	2042	1	1	30
ovz_ebrana_5	109.205.75.40,109.205.75.49	2035	3	3	370
ovz_ebrana_6	109.205.75.42	2051	1	1	50
ovz_ebrana_7	109.205.75.41	2052	4	3	370
ovz_ebrana_8	109.205.75.44	3004	2	4	370
ovz_ebrana_9	109.205.75.45	2309	3	3	370
ovz_ebrana_10	109.205.75.46, 109.205.75.29, 109.205.75.48	2310	3	3	370
ovz_ebrana_11	109.205.75.47	2311	4	3	370
ovz_ebrana_hosting_logger	109.205.75.55	2313	2	2	60
ovz_ebrana_mailer-1	109.205.75.100-104	2316	2	2	20
kvm_ebrana-imes_1	109.205.75.50		4	4	80
ovz_ebrana_proxy2	109.205.75.42
ovz_ebrana_proxy_2_stby	109.205.75.108

Seznam stroju - Cluster Casablanca

Virtualni stroje na clusteru:
nazev	IP	backup server	PHP status
ebrana_es1	109.205.76.18	kvm_uvt-backup-ebrana-es1	http://monitoring-es1.ebrana.cz/fpm-status/
kvm_ebrana_imes2	109.205.76.42	kvm_uvt_backup_ebrana_imes2
ebrana_mail_1	109.205.76.21	dbackup2.cldn.cz
ebrana_mail_antispam	109.205.76.21	dbackup2.cldn.cz
ebrana_webmail_1	109.205.76.21	dbackup2.cldn.cz
ebrana_hosting-es1	109.205.76.67	backup6-ebrana.hosting.uvt.cz
ebrana_hosting-es1-db	109.205.76.67	backup6-ebrana.hosting.uvt.cz
ebrana_hosting-ew1	109.205.76.68	backup6-ebrana.hosting.uvt.cz
ebrana_hosting-ew1-db	109.205.76.68	backup6-ebrana.hosting.uvt.cz
ebrana_hosting-ee1	109.205.76.74	backup6-ebrana.hosting.uvt.cz	http://monitoring-ee1.ebrana.cz/fpm-status/
ebrana_proxy-3-casa	109.205.76.69, 109.205.76.70	backup6-ebrana.hosting.uvt.cz
ebrana_proxy_3_stby	109.205.76.71	backup6-ebrana.hosting.uvt.cz

Seznam stroju - levny hosting

Tyto stroje rady "ebranacesnet" jsou virtualy zmigrovane z cesnetu, kde si sami spravovali dle potreby. Plati za to minimum (asi 100kc/mesic/kus) a dle toho maji podporu: vsechno si resi sami, zadne SLA atp. Neco je zcasti winXP (melo by se zmigrovat na windevel - Win 2k12R2), neco ruzne ubuntu zmigrovane 1:1 z image.

Virtualni stroje na clusteru:
nazev	IP
kvm_ebranacesnet_windevel	109.205.75.16 (sdilena)
kvm_ebranacesnet_assasin?	109.205.75.13
kvm_ebranacesnet_online?	109.205.75.14
kvm_ebranacesnet_selenium?	109.205.75.15

Prihlasovani pres ssh

Prihlasovani pres ssh na vsechny servery pres uzivatele (uvt) a nasledne na roota pres "su -". Prihlaseni na root je zakazane.

Souhrn MySQL hesel pro vsechny hostingy hosting-X ebrany

Na hostingovych virtualech se pouzivaji max. tri hesla do mysql. Konkretni heslo tez lze zjistit na strance kazdeho virtualu. Seznam pouzivanych hesel je:


heslo 1	1:ZG5sOjM+OnlkbQs=
heslo 2	1:3t/EhIaDhtPY19i2
heslo 3	1:bm9hZDQ3MjZpY2hndGgG
heslo 4 (h-9)	1:gYWu1LSkrqKLg4Ws5w==

Souhrn backupu ebrany:

hostingy z clusteru sitel se zalohuji na DRBD backup:

https://backup-ebrana.hosting.uvt.cz/ - dbackup2.cldn.cz

IMES servery (a stary ES1) se zalohuji na separatni backup servery:

imes1 - separatni backup - https://backup-ebrana-imes.hosting.uvt.cz - kvm_uvt-backup-ebrana-imes
imes2 - separatni backup - https://backup-ebrana-imes2-new.hosting.uvt.cz/ - kvm_uvt_backup_ebrana_imes2
es1.ebrana.cz - separatni backup - https://backup-ebrana-es1.hosting.uvt.cz/ - kvm_uvt-backup-ebrana-es1

hostingy z clusteru na case:

hosting-* - https://backup6-ebrana.hosting.uvt.cz/ - backup6-ebrana.hosting.uvt.cz

hosting na LH:

ebranacesnet-* https://backup5.zab.cldn.eu/ - backup5.zab.cldn.eu

Repliky mysql:
replidb ovz_uvt_esew-replika-ebrana bezi na backuphost2.zab.cldn.eu
hostingy z casy (es1-db, ew1-db, ee1) se zalohuji na https://backup6-ebrana.hosting.uvt.cz/ - backup6-ebrana.hosting.uvt.cz

hosting-wizards.ebrana.cz - zalohuje se na LH3 do "ovz_ebrana_wizards_replidb"

Vypis requestu z php-fpm

http://monitoring-imes2.ebrana.cz/fpm-status/
http://monitoring-ee1.ebrana.cz/fpm-status/
http://monitoring-es1.ebrana.cz/fpm-status/

Realizace ruznych technologii / nastaveni ebrany

spf zaznamy pro pouziti s mailservery zakazniku ebrany

[+]

vzdálený přístup na hostingové stroje

[+]

na každém stroji běží (má běžet, testová konfigurace je na h-9, pozn. redaktora) sssd , který taha údaje z ldapu, provádí ověření a členství ve skupinách.

instalace a zprovoznění sssd

nainstaloval sssd
pouzit authconfig aby se nemuselo nastavovat nic krom sssd.conf souboru
upravit sssd.conf
nahrat na cilovy stroj CA certifikat, kterym byl podepsan cert ldap-serveru
upravit fw-pravidla na firewallu v hostingu -> povolit komunikaci z ip adresy stroje na ip adresu ldap serveru (imesu)
upravit fw-pravidla na ldap serveru (imesu) pro prijem komunikace z ip adresy stroje
smazat cache sssd
restartovat sssd
pridat sssd do autostartu

Instalace

yum install sssd

Authconfig

authconfig --enablesssd --enablesssdauth --enablecachecreds --enableldap --enableldaptls --enableldapauth --disablenis --disablekrb5 --enablemkhomedir --enablelocauthorize --updateall

/etc/sssd/sssd.config

[domain/default]
ldap_schema = rfc2307bis
debug_level = 7
ldap_id_use_start_tls = True
ldap_tls_reqcert = allow
cache_credentials = True
ldap_search_base = dc=ebrana,dc=imes
krb5_realm = #
id_provider = ldap
auth_provider = ldap
access_provider = ldap
chpass_provider = ldap
ldap_access_order = filter
ldap_group_member = uniquemember
ldap_access_filter = (|(memberOf=cn=developers,ou=groups,dc=ebrana,dc=imes)(memberOf=cn=sysadmins,ou=groups,dc=ebrana,dc=imes))

ldap_user_search_base = ou=People,dc=ebrana,dc=imes
ldap_group_search_base = ou=Groups,dc=ebrana,dc=imes

ldap_uri = ldap://192.168.24.101/
ldap_tls_cacertdir = /etc/openldap/cacerts
ldap_default_bind_dn = uid=openvpn,ou=Special Users,dc=ebrana,dc=imes
ldap_default_authtok_type = password
ldap_default_authtok = ***tajneheslo***
enumerate = True
krb5_server = kerberos.example.com
[sssd]
services = nss, pam
config_file_version = 2

domains = default
[nss]

[pam]

[sudo]

[autofs]

[ssh]

[pac]

/etc/openldap/cacerts/ca.pem

sssd cache

sss_cache -UG

logovani na centralni logger

[+]

na hosting-1 az hosting-10 strojich rsyslog nahrazen syslog-ng, ten prichozi log zpravy uklada lokalne do souboru stejne, jako rsyslog a zaroven je posila dal na remote logger, kde take bezi syslog-ng.
krom bezne zpracovavanych logu se posilaji logy apache virtualhostu. To vyzadovalo upravu vsech virtualhost konfiguraku.
Apache 2.2 neumi logovat access-logy do syslogu, proto se logy posilaji do named_pipe, ktera je umistena ve /var/log/access_pipe. Krom toho apache ve standardne nastavenem customlog formatu neuklada jmeno virtualhostu (to je potreba pro rozliseni do ktereho souboru bude syslog-ng zapisovat, jinak bude vse hazet na jednu hromadu), takze se v /etc/httpd/conf/httpd.conf pridal dalsi logformat, ktery se pouziva.
Apache 2.2 sice umi logovat error-logy do syslogu, ale uz neumi upravovat format a neposila jmeno virtualhostu, viz vyse proc je to potreba. Tady se to muzelo obejit pomoci binarky logger, tedy, jeji Davidem upravene podoby (bosson_logger), ktera umoznuje pridat do tela zpravy jeste i header a footer (pouzit header pro pridani hostname). Logovani z modulu dumppost je potreba aktivovat pridanim "LogLevel Info" do konfigurace virtual hostu.

Apache 2.4 oba tyto vyse jmenovane problemy resi, ale neni v RH6 ani epelu, takze smula.
Konfigurace httpd serveru:

/etc/httpd/conf/httpd.conf

# The following formats fake syslog-style message in order to be processed by syslog-ng
LogFormat "%{%b %e %T}t apache[%P]: %v %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" syslogcombined
LogFormat "%{%b %e %T}t apache[%P]: %v %{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" syslognginx
# No syslog style, but with additional vhost info
LogFormat "%v %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" nosyslogcombined
LogFormat "%v %{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" nosyslognginx

Konfigurace virtualhostu apache:

/etc/httpd/virtuals/ebrana.cz.conf

CustomLog /var/log/httpd/access_pipe syslogcombined
LogLevel Info
ErrorLog '||/usr/bin/bosson_logger -t httpd -p local6.info -h "ebrana.cz," '

Syslog-ng nasledne apache logy rozparsuje, vytahne z nich jmeno virtualhostu, a pouzije jej pro spravne ulozeni zpravy.
Konfigurace syslog-ng (zobrazena castecna, jen to co de pridalo do instalovane konfigurace):

/etc/syslog-ng/syslog-ng.conf

## additional settings on top of default file
# sources for apache logs
source s_apache_access { pipe("/var/log/httpd/access_pipe"); };

# filters for apache logs
filter f_apache_error { facility(local6) and level(info); };

# destinations for apache logs
destination d_apache_access {
  file("/var/log/httpd/virtuals/${APACHE.VHOST}/log/access.log",
       template("${APACHE.CLIENT_IP} ${APACHE.IDENT_NAME} ${APACHE.USER_NAME} ${APACHE.TIMESTAMP} ${APACHE.REQUEST_URL} ${APACHE.REQUEST_STATUS} ${APACHE.CONTENT_LENGTH} ${APACHE.REFERER} ${APACHE.USER_AGENT}\n"), template-escape(no),
       owner("root"), group("root"), perm(0644),
       create_dirs(yes), dir_perm(0755)
  );
};
destination d_apache_error {
  file("/var/log/httpd/virtuals/${PROGRAM}/log/error.log",
       template("$MSGONLY\n"), template-escape(no),
       owner("root"), group("root"), perm(0644),
       create_dirs(yes), dir_perm(0755)
  );
};
destination d_smart_apache_error {
  file("/var/log/httpd/virtuals/${AP_ERR.VHOST}/log/error.log",
       template("${AP_ERR.MSG}\n"), template-escape(no),
       owner("root"), group("root"), perm(0644),
       create_dirs(yes), dir_perm(0755)
  );
};

# parsers for apache logs - virtualhost needs to be extracted in order to create proper directory structure
parser p_apache_access {
  csv-parser(
    columns("APACHE.VHOST",
            "APACHE.CLIENT_IP",
            "APACHE.IDENT_NAME",
            "APACHE.USER_NAME",
            "APACHE.TIMESTAMP",
            "APACHE.REQUEST_URL",
            "APACHE.REQUEST_STATUS",
            "APACHE.CONTENT_LENGTH",
            "APACHE.REFERER",
            "APACHE.USER_AGENT"),
    flags(escape-double-char, strip-whitespace),
    delimiters(" "),
    quote-pairs('""[]')
  );
};

parser p_apache_error {
  csv-parser(
    columns("AP_ERR.VHOST",
            "AP_ERR.MSG"),
    delimiters(","),
  );
};

# log directives for apache logs
log { source(s_apache_access); parser(p_apache_access); destination(d_apache_access); };
log { source(s_sys); filter(f_apache_error); parser(p_apache_error); destination(d_smart_apache_error); };

##
# destination for logging over network to the logger server
destination d_network { syslog("192.168.23.123", port("514"), transport("tcp")); };

# log directives to send logs over network to the logger server
# filters will be applied on the receiving side in order to determine where to put what
log { source(s_sys); destination(d_network); };
log { source(s_apache_access); destination(d_network); };

generovani obsazenosti hostingu a databazi

Na hosting-1 az hosting-11, es, ew, ee a imes2 je z cronu spousten script /usr/local/scripts/getsize.pl. Script z databaze mysql a mongo zjistuje zaplneni databazi a tabulek, dale z /home/www zjistuje zaplneni hostingu a ze ziskanych dat generuje JSON soubor /home/accounting/accounting.json.

Kontakty eBrana, kompetence a řízení požadavků:

Kontakty:

Servery obecně – Jan Januš, janus@ebrana.cz – správce ICT | schvalování navyšování prostředků – 777 132 228

Cokoliv – Tomáš Kavalek, kavalek@ebrana.cz – výrobní ředitel | schvalování navyšování prostředků – 777 574 422

Služby, balíčky a konfigurace (služby založené na „novém jádře“ – es1) – Jan Dvořák, dvorak@ebrana.cz – asistent vedoucího vývojového oddělení

Případné problémy s konkrétními implementacemi na h1-h11 – Vojtěch Havránek, havranek@ebrana.cz – vedoucí oddělení programátorů

Kompetence spravy serveru:

ÚVT – primárně zodpovídá za běh serveru samotného, vč. služeb – zajišťuje monitoring a případné nahazování služeb po výpadku, vč. spuštění všech kontrolních mechanismů – zejména table check pro MySQL, dále spouští a zakládá nové VPS.
eBRÁNA – řeší vše, co není definováno výše, zejména zakládání a konfigurace virtualhostů, změny v konfiguracích, opravy a řešení problémy implementací.

Rozhraní pro komunikaci a řízení požadavků

Pro účely řízení požadavků byl založen účet v systému Trello. Emaily příchází do separátní složky trello na linux mailu.

URL: https://trello.com/
Login: linux@uvt.cz
Password: keepass