Sådan bygger du en 800G fiberring i Danmark
Hvad var udfordringen?
Vi havde flere udfordringer.
Én var, at vi dagligt ramte vores limits på 80G båndbredde mod hvert af vores backupdatacentre.
En anden var, at antallet af sorte fiberforbindelser og WDM-bølger var steget gevaldigt på tværs af vores datacentre.
For at optimere økonomien på lang sigt og for at kunne skalere med flere lokationer uden at skulle bestille 6-8 ekstra sort-fiber-forbindelser skulle vi derfor finde en anden løsning.
Hvilke muligheder havde I for at løse udfordringen?
Det vigtigste for virksomheden var at få en teknisk stærk løsning, der også var langtidsholdbar.
Og den fik vi frie hænder til at implementere.
I praksis afholdt vi møder med 3 leverandører og rådførte os hos eksterne konsulenter, der tidligere har prøvet at opbygge denne type netværk.
Selve projektet styrede vi selv. Det vil sige, at vi selv bestemte, hvornår det skulle være færdigt, hvor meget det skulle koste, og hvilke workloads, der skulle køre på fiberringen.
Hvad giver løsningen af værdi for kunder og kollegaer?
For kollegaerne betyder ringen, at vi nemmere kan flytte workloads mellem datacentre, og at vi langt hurtigere kan lave backups, restores og synkroniseringer. For kunderne betyder det, at vi har større redundans på vores internetforbindelser og på den trafik, der kører mellem vores backup- og produktionssites. Skulle vi miste en fiberforbindelse - fx ved en overgravning - er kunderne også bedre stillet.
Hvordan har I løst udfordringen?
Fiberforbindelserne mellem datacentrene har vi lavet på en Ciena Waveserver AI platform.Platformen hjælper os med at køre flere "bølger" af 400G på samme fysiske fiberforbindelser. Med platformen kan vi også bruge standard 100G-optikker, som ikke er lavet til at “skyde” mange kilometer, mellem Ciena-kasserne og routerne. Den tekniske løsning bygger på en Nokia SR-1s-platform, som giver os mulighed for at opgradere alle interfaces til 400G på et senere tidspunkt.Løsningen er baseret på SR-MPLS, som vi bl.a. kan bruge til trafikstyring. Den giver os en failover-tid på under 50 ms, hvis den ene vej i ringen bliver afbrudt.Som en del af projektet har vi også opsat streaming telemetry fra enhederne. Det har den fordel, at vi nu kan se interfaceforbrug hvert 10. sekund - frem for hvert 5. minut, som ellers er standarden med SNMP.
Fiberringen
Her kan du se en forsimplet illustration af fiberringen - uden Ciena-kasserne.
Fiberringen er faktisk ikke én ring, men to, der forbinder routere i 5 af vores datacentre.
Fejler én ring, står en anden klar til at tage over. Det giver redundans og gør, at vi nemmere kan flytte workloads på tværs af datacentre.
Med fiberringen kan vi også nemmere opdatere enhederne i dagstimerne. Her vil trafikken nemlig køre videre på én ring, mens enheder på den anden bliver opdateret.
Hvis du skulle forklare din kammerat, hvad der var fedest ved at arbejde på dette projekt, hvad ville det så være?
Så ville jeg fremhæve den tid, vi har fået til at fordybe os i projektet og til at teste opsætningen, inden vi satte den i produktion.
Vi implementerede fiberringen helt uden nedetid på vores eksisterende trafik. Det var fedt. Det var også ét af vores vigtigste mål, da vi startede på projektet.
Nu hvor fiberringen er sat op, er det også fedt at se, at den bliver brugt. Lige nu kører vi mere end 150 Gbit trafik igennem ringen hvert sekund. Det er meget, men ringen er bygget til at håndtere endnu mere.