Recent status

We will make a change in our network to avoid problems like we had last week.
We dont expect this will cause any problems for our customers.

We will make a change in our network to avoid problems like we had last week.
We dont expect this will cause any problems for our customers.

We had a network interrupt in Falkenberg.
Problem is solved. We are now investigating the root cause of this.
More detailed information about the problems yesterday and today will follow shortly, as soon as our initial analysis is complete.


-----

Sammanfattning av routingproblem under Torsdag & Fredag 15-16 Februari.
---------------------------------------------------------------

Routingproblemen vi upplevt de senaste dagarna har drabbat oss och våra kunder svårt. Under Fredagen var vårt nät i Falkenberg fullständigt nere vid 3 tillfällen i perioder om 5-10 minuter. Detta resulterade att även våra telefoner slutade att fungera. Under Torsdagen hade olika delar av nätet olika problem, och allt som allt varade då driftavbrottet totalt i ca 50 minuter, även om det inte drabbade alla tjänster samtidigt.

Bakgrunden till problemet är att vår huvudrouter (Corerouter) i Falkenberg blev överbelastad av trafik under torsdagen. Det är viktigt att poängtera att det inte rör sig om någon DDOS attack, utan vår router klarade helt enkelt inte av all den trafik som vårt nät producerade vid tidpunkten.

Detta är ett problem som vi sedan ca 9 månader vetat om, och börjat jobba oss runt. Nya routrar är på plats, och dessa ska driftsättas i samband med att vi får nya 10 Gigabits förbindelser mellan Falkenberg och Stockholm.

Dessa förbindelser är beställda under hösten, och skulle levereras 9:e Februari, men har blivit försenade. Leverantören säger nu att dessa ska levereras 28:e Februari. Fiberledningarna är helt nya, dvs vi har grävt fram ny kanalisation till vår serverhall i Falkenberg för att ytterliggare öka vår rendundans. De nya routrarna skulle av pratiska själ, introduceras när de nya 10 Gigabits anslutningarna var levererade, testade och "tända" (När man har ljus och signal genom en fiber)

Enligt våra beräkningar skulle vi klara oss fram till Juli i år med nuvarand routers & utrustning med nuvarande tillväxt. Under gårdagen slog vi dock oväntat i taket, vilket gjorde att vi snabbt tog beslutet att ta de nya routrarna i drift. Detta är inget man vill göra i panik, men vi såg inget annat alternativ. Routrarna togs i drift, och efter ca 35 minuter hade vi normal trafik i nätet igen. Hade inte de nya routrarna redan varit rackade, inkopplade och grundkonfigurerade hade detta tagit mycket längre tid.

Lösningen är inte optimal, då vi nu troligtvis kommer behöva göra ett driftavbrott när väl de nya 10 gigabits anslutningarna måste anslutas i början av Mars. (Mer information kommer självklart att skickas ut om detta)

Under Fredagen drabbades vi av nya routingproblem. Vi håller fortfarande på att utreda exakt vad detta berodde på. Att det beror på de nya routrarna och dess konfiguration är dock helt klart. Vi har läget under kontroll, vi vet vad som hände, men inte vad som utlöste det. Vi har dock stängt dörren för det som utlöste problemet så vi betraktar det som löst. Vi har dock fortfarande routingproblem på Ipv6, detta beräknas vara klart under kvällen.

Slutsats
Det står helt klart att detta är en form av växtvärk från GleSYS sida. Hade inte GleSYS växt i den takt vi gör, hade inte detta inte inträffat.
Men man bör ta med i beräkningen att det är med hjälp av vår tillväxt som gjort/gör att vi kan investera ytterliggare infrastruktur och rendundans.
Denna gången har vi av olika anledningar tyvärr inte hunnit bygga ut nätet i rätt takt.
Med vår nya konfiguration är vårt nät nästan 40 ggr starkare än tidigare, och chansen att vi ska drabbas av samma problem är inte stor i det närmsta.
Dock kommer vi med största säkerhet att stöta på andra utmaningar framöver för att klara vår starka tillväxt. Vi anser dock att vi har detta under kontroll i den mån man kan och ska förvänta sig.

Tack för uppmärksamheten
Glenn Johansson, VD

We had a minor network interrupt for some servers in Falkenberg.
It was due to a configuration error from this mornings bigger problems.

No more issues ragrding this problem is expected.

** 09:02
There is a routing problem in Falkenberg. We are working on the problem.

** 09:18
Problems partly solved

** 09:50
Most problems solved. Still some issues to some ISP:s. Currently tracking errors.

** 10:30
All problems are solved. Please contact us if you have any remaining errors

We hade a network problem to AMSIX.
Traffic to other ISPs and content providers on AMSIX was effected.

We had a problem between our data center in Falkenberg and Stockholm.
Traffic was rerouted. It was solved completely solved after 5 minutes.

Some operators in Sweden have problems reaching our servers in New York.
Servers are not offline.

We are investigating the cause of the problem.

16:50 The problem was due to a routing issue. The problem is now solved.

We are having networking issues and are working on it.

* 10:48
It currently only effecting services between our datacenter in Falkenberg and Stockholm.
* 2012-01-25 05:00
Internal traffic between Stockholm and Falkenberg is in degreeded at the moment.