Menu

Driftsstatus

Her kan du holde dig opdateret med den aktuelle driftsstatus på ScanNets systemer.

Vi oplever desværre i øjeblikket driftsforstyrrelser


**** LØST **** Netværksproblem på del af VMware infrstrukturen

26-06-2017 00:15:00

Der er pt. problemer med 2 switche der driver en del VMware hosts, hvilket påvirker forbindelsen afbrydes og kommer igen, kontinuerligt. Vi har gang i Cisco for hjælp med fejlretning.

Fejler opstået i forbindelse med opgraderingen og en nedgradering afhjælper ikke problemet, desværre.

Følgende hosts er påvirket;
vc10clu1n1.dk1.virtualdatacenter.nu
vc10clu1n2.dk1.virtualdatacenter.nu
vc10clu1n3.dk1.virtualdatacenter.nu
vc1clu1n3.dk1.virtualdatacenter.nu
vc1clu1n4.dk1.virtualdatacenter.nu
vc1clu1n5.dk1.virtualdatacenter.nu
vc2clu1n1.dk1.virtualdatacenter.nu
vc2clu1n2.dk1.virtualdatacenter.nu
vc2clu1n3.dk1.virtualdatacenter.nu
vc2clu1n4.dk1.virtualdatacenter.nu
vc3clu1n3.dk1.virtualdatacenter.nu
vc4clu1n3.dk1.virtualdatacenter.nu
vc5clu1n2.dk1.virtualdatacenter.nu
vc5clu1n3.dk1.virtualdatacenter.nu
vc6clu1n1.dk1.virtualdatacenter.nu
vc6clu1n2.dk1.virtualdatacenter.nu
vc6clu1n4.dk1.virtualdatacenter.nu
vc7clu1n1.dk1.virtualdatacenter.nu
vc7clu1n2.dk1.virtualdatacenter.nu
vc7clu1n3.dk1.virtualdatacenter.nu
vc8clu2n1.dk1.virtualdatacenter.nu
vc8clu2n2.dk1.virtualdatacenter.nu
vc8clu2n3.dk1.virtualdatacenter.nu
vc8clu2n4.dk1.virtualdatacenter.nu
vc8clu2n5.dk1.virtualdatacenter.nu
vc8clu2n6.dk1.virtualdatacenter.nu

Opdateringer
26-06-2017 01:27:53
Vi fejlsøger stadig på problemet og er i fuld gang med at etablere ekstra kapacitet til de clustre der er påvirket.

Følgende hosts er stadig påvirket;
vc10clu1n1.dk1.virtualdatacenter.nu
vc10clu1n2.dk1.virtualdatacenter.nu
vc10clu1n3.dk1.virtualdatacenter.nu
vc1clu1n3.dk1.virtualdatacenter.nu
vc1clu1n4.dk1.virtualdatacenter.nu
vc1clu1n5.dk1.virtualdatacenter.nu
vc2clu1n1.dk1.virtualdatacenter.nu
vc2clu1n2.dk1.virtualdatacenter.nu
vc2clu1n3.dk1.virtualdatacenter.nu
vc2clu1n4.dk1.virtualdatacenter.nu
vc6clu1n1.dk1.virtualdatacenter.nu
vc6clu1n2.dk1.virtualdatacenter.nu
vc6clu1n4.dk1.virtualdatacenter.nu
vc7clu1n1.dk1.virtualdatacenter.nu
vc7clu1n2.dk1.virtualdatacenter.nu
vc7clu1n3.dk1.virtualdatacenter.nu
vc8clu2n1.dk1.virtualdatacenter.nu
vc8clu2n2.dk1.virtualdatacenter.nu
vc8clu2n3.dk1.virtualdatacenter.nu
vc8clu2n4.dk1.virtualdatacenter.nu
vc8clu2n5.dk1.virtualdatacenter.nu
vc8clu2n6.dk1.virtualdatacenter.nu
26-06-2017 02:07:26
I samarbejde med Cisco er der nu forsøgt manuelt at installere både den nye og gamle firmware, og samme problem opstår.

Fejlretning fortsætter og vi flytter så mange hosts til andre switche vi kan for at stabilisere driften, og arbejde uden om de to defekte switche.
26-06-2017 03:36:03
Fejlen er bekræftet rettet og vi er tilbage i normal drift.

Enkelte services på servere kræver manuel behandling og fejlretning som vil foregå over de næste par timer.

Årsagen undersøges stadigvæk og firmwaren der køres på nu er midlertidig, så kræver en opdatering igen når Cisco har en root cause analysis klar til os.

Planlagte opdateringer

26-06-2017 00:01:00

**** LØST **** Opgradering af netværk på DK1

Årsag til afvikling: Opgradering af Cisco ACI netværks platformen på DK1
Vi opgraderer vores ACI platform på DK1 for at rette fejl og få nye features.

Kunder med følgende services kan blive påvirke under servicevinduet i form af manglende netværksadgang til og fra servere og services:

  • Scannet undtagen CRP
  • vc1.dk1.virtualdatacenter.nu
  • vc2.dk1.virtualdatacenter.nu
  • vc3.dk1.virtualdatacenter.nu
  • vc4.dk1.virtualdatacenter.nu
  • vc5.dk1.virtualdatacenter.nu
  • vc6.dk1.virtualdatacenter.nu
  • vc7.dk1.virtualdatacenter.nu
  • vc8.dk1.virtualdatacenter.nu
  • vc9.dk1.virtualdatacenter.nu
  • vc10.dk1.virtualdatacenter.nu
  • dk1vc11.virtualdatacenter.nu
  • dk1vc12.virtualdatacenter.nu
  • dk1vc13.virtualdatacenter.nu
  • dk1vc14.virtualdatacenter.nu
  • dk1vc15.virtualdatacenter.nu

Risiko for nedetid:
[Lav] ACI er et redundant setup, som er opdelt i 2 forskellige sider og alle systemer har forbindelse til begge sider.

Opgraderings proces:

  1. Trafik til og fra systemerne vil blive begrænset til at køre på den ene netværks side.
  2. Vi opdatere den ene switch side, og systemerne overvåges tæt under opgraderingen.
  3. Når den ene switch siden er blevet opgraderet og har kørt i 10 min vil vi opgradere den anden side.
  4. Når opdateringen er afsluttet vil clusteret automatisk benytte begge netværks sider.

Fallback-plan:
Mere end 15 minutters nedetid igangsætter følgende fallback-plan:

  1. Det nye firmware bliver fjernet og ACI genetableres med den firmware den startede ud med.

Yderligere kommentarer:
Der bliver taget backup af alle konfigurationer, inden arbejdet påbegyndes.