sisblog

Hard beroep

De afgelopen 14 dagen heb ik mij een beetje overwerkt denk ik.

Een cumulatie van probleempjes: Een van onze uplinks die niet naar behoren werkte (zie vorige posts), fileservers die allen tegelijk besloten moeilijk te doen en voor een nachtje in LCL hebben gezorgd en de gebruikelijke ‘klanten’ die denken dat alles kan en alles mag in een shared hosting omgeving en er zo in slagen eea te overbelasten.

Het uplinkprobleem is opgelost, de backbone van de leverancier bleek gemaxed. Vreemd dat ze 14 dagen nodig hadden om dat op te lossen en nooit duidelijk geantwoord hebben op onze vragen. De tegemoetkoming van hun zijde volgens hun SLA is uiteindelijk maar een magere troost (150 euro!).

Het probleem met de fileservers is voorlopig ook van de baan. Door het probleem is duidelijk geworden hoe belangrijk het storage gedeelte is voor onze setup. Een fsck op die systemen draaien duurt al enkele uren. We hadden niet gedacht dat die uit de kluiten gewassen machines zoveel problemen zouden geven en kijken uit naar dure maar betrouwbare en schaalbare oplossing. Bij EMC hebben we ondertussen al wat op het oog, nu enkel hopen dat die storage appliances hun verwachtingen ook kunnen waarmaken.

Het moeilijkste van de job is eigenlijk het zoeken naar een snelle, betrouwbare en veilige oplossing die ideaal is voor de meeste klanten. Het vebeteren of wijzigen van één van die aspecten heeft bijna altijd een negatieve impact op de andere. Inbouwen van veiligheidsmechanismen die er voor zorgen dat iemand niet alle systeembronnen kan gebruiken zorgt voor extra rekenkracht en het kan zijn dat gebruikers die iets willen doen wat eigenlijk wel (of toch eenmalig) zou moeten kunnen ook uitgesloten worden. (bijvoorbeeld: je kan een limiet op een aanvaardbaar aantal mysql queries per uur stellen maar iemand die eenmalig een database wil importeren zit dan ook in de problemen…).

En daarnaast ben ik nog massa’s tijd verloren door doktersbezoeken nadat ik door mijn nachtje in het datacenter last heb van gebrom in mijn oren.

Al bij al een gevaarlijk beroep dus

Duur is niet altijd beter

In onze netwerkmix hebben we één internationale speler en 2 lokale partners die ons de nodige routes leveren naar de rest van het internet. Die lokale partners hebben veel peerings met andere lokale netwerken en onze ‘internationale’ partner garandeert ons ook erg korte routes naar de rest van de wereld.

Die duurdere speler heeft probleemloos gewerkt tot enkele weken terug. Routes die via hen gaan ondervinden overdag tijdens drukke momenten extra latency. (+100 ms naar Belnet). Geen loss, maar onaanvaardbaar gezien dat verkeer over enkel over een router in Brussel moet en direct gedumpt wordt op Bnix.

Dan maar een ticket geopend in hun noc paneel. Na 48 uur geen antwoord of verdere uitleg.
In hun noc kan ik normaal ook latencyststistieken opvragen op onze lijn. Deze pagina’s blijken niet meer beschikbaar.
Volgens onze eigen statistieken blijkt het euvel al langer aan de gang.

Dit had ik echt niet verwacht van een partner die 300 procent duurder is dan de anderen.

Gelukkig kunnen we nu alles omrouten over ‘goedkope’ lokale uplinks maar dit had ik niet verwacht van een provider die ‘Let’s talk’ als motto heeft en zich profileert als kwalitatieve connectivity partner. Veel talk is er niet geweest, onze Britse account manager beweert onze account manager niet te zijn en op het noc nummer kan men mij niet helpen.

Onze andere partners hebben nu ook wel nu en dan een hickup, maar die worden dan wel opgelost na melding van het probleem. Verrassend genoeg blijkt de allergoedkoopste connectivity partner degene met de minste problemen ondanks hun reputatie.

Media exposure

Ik ben benieuwd waar het nog opgepikt wordt.

Nu ja bescheiden blijven, in feite stelt die award niet veel voor, het is wel leuk natuurlijk en gewoon gratis reclame.
Hln.be bereikt dagelijks 300.000 surfers en demorgen.be 50.000.