Vysvetleni
[+]
AS 35236 se propaguje do sveta 4 routery, R1 a R2 (r1.2connect.cz a r2.2connect.cz) a R3 a R4. Routery 1 a 2 jsou v Sitelu v racku nad sebou, popsany, a kazdy je pripojen do switchu
Kvuli zachovani redundance pripojeni v Casablance jsou i zde 2 BGP routery (R3 a R4) a 2 switche (backbone 3 a 4). Je to udelane tak, ze ze Sitelu se propaguje cely nas prefix 109.205.72.0/21 a z casablancy pouze horni pulku prefixu 109.205.76.0/22. Horni pulka prefixu je propagovana pres sitel do nasich peeru a zaroven pres casablancu do sveta, takze v pripade vypadku propoje Sitel - Stimbuilding (Casablanca) se 109.205.76.0/22 propaguje stale ven pres Casu a je stale dostupny. Routery 1, 2 a 3 pouzivaji routovaci software Bird, router 4 quaggu.
Propagovane prefixy:
| AS35236 | 109.205.72.0/21
|
| AS35236 | 31.170.176.0/21
|
| AS35236 | 188.92.96.0/21
|
| AS35236 | 91.241.8.0/22 (algotech)
|
| AS35236 | 2a00:1238::/32
|
| AS50825 | 178.17.0.0/20
|
| AS50825 | 185.63.96.0/22
|
| AS50825 | 2a03:c20::/32 |
AS 50825 - (UVT) je propagovano mikrotikem (m1.uvt.cz a m2.uvt.cz)
Hlaseni vypadku a updatu
[+]Sprava IP adres:
[+]
Pouzivame aplikaci pro spravu IP na http://ip.2connect.cz (uvt:1:Gj85MjUsLm1uXA==)(admin:1:0MfMxMfd3NfD3Mel)
Jednoduse pouzitelne:
- Network > Subnet > Create
- Network > Subnet > Display tree
Zalohy a logy switchu a routeru
[+]
- Routery 2C se zalohuji na hostingovy backup
Zalohy konfigu switchu
Switche se zalohuji pomoci RANCIDu do SVN repozitare jednou za hodinu, takze lze zpetne prochazet zmeny atp.Pristup na SVN pres:
http://rc.2connect.cz resp.
https://rc.2connect.cz:4433, pristup pouze z domecku s heslem:
Rancid je separatni virtual a bezi na domecku. Mimo firewall na vlane (R3) ma na sobe vlastni firewall, protoze virtual obsahuje v plaintextu hesla do switchu, tak neni zahodno, aby se to nekde objevilo.
- Na switchich je nastaveno logovani na log server bezici v zabehlicich - VM: OVZ_2connect_cacti
IP adresy a pristupy
Lokace:
| sitel/U15 | stary rack 2connect na sitelu
|
| sitel/U10 | novy rack UVT na sitelu (cluster)
|
| sitel/U16 | rack trestel (mame tam jeden sw)
|
| casablanca R4/2 | rack UVT (cluster) |
| r1.2connect.cz | bgp router sitel/U15 | 109.205.72.5 | port ssh 10002
|
| r2.2connect.cz | bgp router sitel/U15 | 109.205.72.6 | port ssh 10002
|
| r3.2connect.cz | bgp/firewall casablanca R4/2 | 109.205.72.11 (109.205.76.226) | port ssh 10002
|
| r4.2connect.cz | bgp/firewall casablanca R4/2 | 109.205.72.12 (109.205.76.227) | port ssh 10002
|
| sw CORE-1 | paterni switch sitel/U15 | 10.110.0.245 - sitel | ssh port 10002
|
| sw CORE-2 | paterni switch sitel/U15 | 10.110.0.244 - sitel | ssh port 10002
|
| sw CORE-3 | paterni switch sitel/U15 | 10.110.0.240 - sitel | ssh port 10002
|
| sw CORE-4 | paterni switch Casa/R2/4 | 10.110.0.239 - casa | ssh port 10002
|
| sw CORE-5 | paterni switch Casa/strecha | 10.110.0.238 - casa | ssh port 10002
|
| sw CORE-6 | paterni switch sitel/U15 | 10.110.0.230 - sitel | ssh port 10002
|
| sw backbone3 | switch casablanca R4/2 | 10.110.0.253 - casa | telnet
|
| sw backbone4 | switch casablanca R4/2 | 10.110.0.252 - casa | telnet
|
| sw ACC-1 | access switch sitel/U15 | 10.110.0.243 - sitel | telnet
|
| sw housing trestel | access switch sitel/U16 - trestel | 10.110.0.248 -sitel | telnet
|
| Huawei SW | 109.205.72.214 - Opatov | ssh
|
| sw sitel-cluster-1 | cluster switch sitel/U10 | 10.110.0.220 | telnet
|
| sw sitel-cluster-2 | cluster switch sitel/U10 | 10.110.0.221 | telnet
|
| PDU-1 | pdu sitel/U15 | 10.102.0.250 | web
|
| PDU-2 | pdu sitel/U15 | 10.102.0.254 | web
|
| m1.uvt.cz | bgp mikrotik sitel/U15 | 109.205.72.202
|
| m2.uvt.cz | bgp mikrotik sitel/U15 | 109.205.72.203 |
Pristupy:
| R1 a R2 | root - 1:d0dWeXh2BgR0U1lWMQ==
|
| R1 a R2 bgpd a zebra | uvtirouter
|
| R3 a R4 | root - 1:VXRlaVZxeyArW1pUEw==
|
| acc1 | admin - 1:+u7m+eKws7G2gA==
|
| backbone3 | admin - 1:+u7m+eKws7G2gA==
|
| backbone4 | admin - 1:+u7m+eKws7G2gA==
|
| switche CORE-1 az CORE-6 | root : 1:S393f3AhIiAnEQ==
|
| switche CORE-1 az CORE-6 | mon : 1:7ebp2ZjymJuZkag=
|
| switche sitel-cluster-1 a 2 | admin : 1:kZiJp6vz98E=
|
| PDU-1 a PDU-2 | apc:apc
|
| M1 | admin - 1:+tbY5cLIk5Wg
|
| M2 | admin - 1:g6+hnLux6u/Z |
[+]
BGP community IN
| 35236:100 | NIX-IN
|
| 35236:150 | privatni peery na R2 IN
|
| xxx | xxx
|
| 35236:120 | ALL CUSTOMERS IN
|
| xxx | xxx
|
| 35236:200 | Trestel IN
|
| 35236:201 | ABAK IN
|
| 35236:202 | NETDATACOMM IN
|
| 35236:203 | EuroSignal IN
|
| 35236:204 | UVT IN
|
| 35236:205 | A1M IN
|
| 35236:206 | SIPCZ IN
|
| 35236:207 | AB-NET NIX IN
|
| 35236:208 | AB-NET Tranzit IN
|
| 35236:209 | LAM plus IN
|
| 35236:210 | Oslavany IN
|
| 35236:211 | NFX IN
|
| 35236:212 | SuperHosting? IN
|
| xxx | xxx
|
| 35236:600 | euroix IN
|
| 35236:601 | interoute IN
|
| 35236:602 | casablanca IN |
BGP community OUT
| 35236:1000 | CUSTOMERS smer NIX
|
| 35236:2000 | do not advertise to NIX
|
| 35236:2001 | 1x prepend to NIX
|
| 35236:2002 | 2x prepend to NIX
|
| 35236:2003 | 3x prepend to NIX
|
| xxx | xxx
|
| 35236:2050 | do not advertise to Interoute
|
| 35236:2051 | 1x prepend to Interoute
|
| 35236:2052 | 2x prepend to Interoute
|
| 35236:2052 | 3x prepend to Interoute
|
| xxx | xxx
|
| 35236:2060 | do not advertise to Casablanca
|
| 35236:2061 | 1x prepend to Casablanca
|
| 35236:2062 | 2x prepend to Casablanca
|
| 35236:2062 | 3x prepend to Casablanca
|
| xxx | xxx
|
| 35236:2070 | do not advertise to EuroIX
|
| 35236:2071 | 1x prepend to EuroIX
|
| 35236:2072 | 2x prepend to EuroIX
|
| 35236:2072 | 3x prepend to EuroIX |
IPv6 BGP community:
| 101 | NIX-IN-IPv6
|
| 130 | ALL CUSTOMERS IN
|
| 300 | ABAK-IPv6
|
| 301 | EUROSIGNAL-IPv6
|
| 302 | LAM plus
|
| 303 | A1M
|
| 304 | AB-NET
|
| 305 | UVT |
cizi BGP community:
| provider | co dela | komunita
|
| casablanca | zakaz propagace pfxu do HE | 15685:274 |
Blackholing traffic
[+]
Pokud na nejakou IP adresu utoci nejakej DDoS, da se tato adresa zablackholovat na upstreamu, takze traffic smerujici na tu IP adresu bude zahazovan uz na routrech providera a nedostane se ani do nasi pripojky. Rychle howto: http://www.he.net/adm/blackhole.html
Nastaveni nasich upstreamu:
| DialTelecom? | povolen blackholing | BGP communita 29208:9999
|
| Interoute (zahranici) | bez infa |
|
| Casablanca | BH pres community nemaji, psat na support v(e) casablanca.cz jmenem 2connectu | |
Linky
[+]
Service Details:
Order Number: TRES0/876/43716
Service ID: TRES0/IPTR/10036
Service Description: Transit Service
Handover Date: 29/09/2010
Ready for Service: 29/09/2010
A-End? Details:
Site Name: Sitel Telehouse Prague
Address: Nad Elektrarnou 411,
Post Code: 10600
City: Prague
Country: Czech Republic
A-End? Demarcation Details:
Floor: 0
Room: 141
Rack: K3
Privod netu GEM System:
Datový okruh v lokalitě Praha 4-Nusle, Na Pankráci 1062/58 je vedena přímo pod společností 2 connect, a.s..
Označení linky je PHA-PHA_ETH95506.
Routery
[+]
Routery jsou normalni Xeony (R1 ma dva CPU) s 6GiB RAM (R1 ma 12GB) a 2x10Gb ethernetem. Jednotlive sitovky jsou vzadu na case popsany aby nedoslo k zamene.
- Pro spravnou funkcionalitu IPv6 routovani je treba na sitovkach vypnout po startu generic receive offload pomoci rc.local:
/sbin/ethtool -K eth0 gro off
/sbin/ethtool -K eth1 gro off
Switche
[+]
pozn: dokumentace k huawei switchum je zde: /mnt/samba/linux/dan/BGP/HUAWEI
Vsechny switche krome 2510g (cluster) maji IP z tzv. managovaci VLANi 405 z rozsahu 10.110.0.0/24, cili dostat se na ne da z routeru nebo VM cobbler pomoci telnetu nebo ssh, viz pristupy
Zakladni schema paternich switchu switchu 2 connectu je na tomto schematu:
Dynamicke a staticke routovani
[+]
Pro propagovani naseho prefixu (109.205.72.0/24 -2 connect a 178.17.0.0/20 UVT) se pouziva BGP-4 protokol. Funguje to tak, ze se navaze spojeni s peerem a definuje se, jakej prefix se mu bude propagovat z nasi site, jakej, pripadne kolik prefixu prijmeme od nej a dalsi a dalsi moznosti.
Peerovani s NIXem funguje tak, ze jsme pripojeni do sdileneho segmentu a s kym se domluvime, s tim si sestavime peer, a to tak, ze z NIXu dostaneme vzdy jen prefix, ktery patri danemu peerovi (pripadne jeho zakaznikum za nim), nikoliv routy do sveta. Naopak od tranzitnich operatoru dostaneme plne routy (tzn asi 330.000 rout) od kazdeho, pricemz zalezi na BGP a jeho nastaveni, kterou routu uprednostni.
Vysledkem toho je nekolik cest do kazde destinace, pricemz BGP si na zaklade parametru cesty a nastavenych priorit vybere pro nej nejlepsi cestu a tu nainstaluje do routovaci tabulky. to je pro bgp tzv. nejlepsi cesta.
BGP defaultne vsem peerum oznamuje vsecky nejlepsi routy ktere zna a proto je treba dusledne nastavovat, co komu budeme propagovat, jinak se nechtic muzeme stat tranzitem pro nekoho, pro koho cesta pres nas bude lepsi, napr. prijde k nam pres R1 z nixu a odejde pres R2 do zahranici.
Pomoci bgp se teda nase sit dostala do internetu a dale je potreba tu sit naroutovat po nasem AS. V 2 connect pouzivame vyhradne staticke routy a nebo pripojene site. Je potreba zajistit konzistentni routovani po AS, tj. aby vsechny routery byly ve stejne podsiti a nebo aby byly informovani pomoci statickych rout.
Routovaci software
[+]
Na routeru R1 se pouziva quagga, na R2, R3 a R4 se pouziva bird. Rozdil mezi temito produkty je uplne ve vsem.
- Quagga se konfiguruje vyhradne online pres konzoli, bird se konfiguruje v konfiguraku a z konzole se akorat uvadi v platnost zmeneny konfigurak a zobrazuji se informace o stavu birdu.
- Quagga pouziva na kazdy ucel jednoho demona, v nasem pripaze zebru a bgpd - zebra se stara o spravu rout, bgpd o bgp spojeni, kdezto bird je jediny demon starajici se o vse
- bgpd v quazze se stara o ipv4 i ipv6, kdezto bird je rozdelen na bird a bird6
Nastavovani bgpd a zebry
Nastavovani obou hlavnich demonu se provadi pomoci telnetu na 127.0.0.1 bgpd pripadne 127.0.0.1 zebra.
Pri prihlaseni jsi v modu needitacnim, pouze show funguje. Pro nastaveni je treba se prepnout do konfigurace pomoci "configure terminal" Bezici konfigurace se zobrazi pomoci show running-config.
Pri restartu bgpd a zebra je potreba mit na pameti ze pokud je restartovana zebra, je treba potom restartovat i bgpd - cili prvni musi byt nastartovana zebra, pak bgpd.
Konfiguracni soubory jsou v /etc/quagga/*. Needitovat soubory primo ale jen pres konzoli bgpd a zebry a pak zapsat zmeny prikazem "write memory".
Nastavovani birdu
Bird se konfiguruje v /etc/bird.conf (resp. bird6.conf pro ipv6) a posleze se nacteni zmeneneho konfiguraku provadi pres konzoli birdu: birdc (resp. birdc6) prikazem configure (prip. configure soft)
95th percentile
[+]
Script je v /usr/local/scripts/monthly-billing.bash, grafuje do /usr/share/cacti/client/graphs/, zalohuje do /root/billing-archive-cacti.
Pristup (povolen jen rozsah 178.17.0.0/20)
https://stats.2connect.cz/client/clients.html
Pomocny script pro vygrafovani ze zaloh je v /usr/local/scripts/grapher.bash, potreba je nastavit promennou TIMEFRAME aby grafovala pozadovane obdobi.
Huawei hints
[+]
| display alarm active | info o aktualnich alertech
|
| display als | automatic laser shutdown
|
| display arp | prace s arp tabuli
|
| display buffer | ??
|
| display changed-configuration time |
|
| display component | verze soft. komponent
|
| display device | stav fyz. komponent
|
| display environment | teplota desky
|
| display event | eventy VRP
|
| display fan | stav vetraku
|
| display fib | routovaci tabule
|
| display icmp statistics | icmp statistiky
|
| display interface xxx | interface info
|
| display ip xxx | ip info
|
| display logbuffer | zobrzazi log switche
|
| display mac-address xxxx | zobrazi mac leckde
|
| display memory-usage | memusage
|
| display network status xxx | neco jako netstat
|
| display patch-information | info o patchich OS
|
| display power | info o spotrebe a o zdrojich
|
| display reboot-info | info o poslednim rebootu
|
| display saved-configuration | info o ulozene konfiguraci
|
| display transciever ... | info o sfp/sfp+ modules
|
| display version | verze OS atp |
firmware:
![[Zobrazit/Skrýt nabídky vlevo]](img/icons/oleftcol.png "[Zobrazit/Skrýt nabídky vlevo]"){kind=icon}
![[Zobrazit/Skrýt nabídky vpravo]](img/icons/orightcol.png "[Zobrazit/Skrýt nabídky vpravo]"){kind=icon}
![[přepni]](javascript:icntoggle('mod-Application_Menuleft1','module.png'); "[přepni]"){kind=small}