Статус на сервери Новости & информации

Le serveur de fichier ZFS est en défaut logique depuis ce matin. Les mails ne sont plus accessibles.
Nous tentons de re-démarrer le serveur, mais les partitions de boot ne sont plus utilisables...
Update 14h35: Il a été décidé de re-démarrer les services à partir du backup complet de la semaine dernière (06/01/2018).
Nous avons accès aux données brutes, mais elle ne peuvent pas facilement être remontées en production. Ainsi, nous injecterons les mails manquants à la demande, mais nous relançons les services mails en l'état.

Un incident sur les serveurs MySQL a causé une ereur 500 dans les scripts PHP utilisant des connexions MySQL.
L'incident sur les MySQL n'étant pas "franc", la localisation a duré 30 minutes.
Les sessions PHP/MySQL re-fonctionnent de nouveau normalement.

Un incident de disque sur un des serveurs principaux va nous obliger à effectuer un changement de disques.
Pour diverses raisons techniques, cela va nécessiter une interruption des services de quelques minutes le temps de re-démarrer les services ensuite.
Aucune perte de données n'est prévue, le backup est actuellement assuré de manière transparente par les autres disques du serveur.
Les VPS sont également impactés par ce re-démarrage.

Services impactés: mail / web / ftp / mysql / vps

Resultat d'invervention: 30 minutes de coupure, et la moitiée des disques ont été changés sans problème. Il a été fait un diagnostique également des disques SSD, et un changement anticipé sera effectué également sur quelques disques qui montrent des signes de faiblesses d'ici quelques jours.

Une migration vers de nouveaux frontaux web a été effectuée.
Elle est sans impacte sur les sites et une coupure de 10 secondes a été faite lors du basculement.
Les serveurs FTP ont été également changés.
Si vous constatez un changement ou un soucis sur votre site, merci de contacter le support.

Une désactivation des versions obsolètes de PHP (5.3, 5.4) avec un basculement vers PHP 5.6 et optionnellement vers PHP 7.0 est prévu sous quelques jours.
Cela nécessitera une migration des bases SQL utilisées sous PHP 5.3, cela aura donc un impact sur la production.

Nous avons eu une panne de routage sur une de nos infra interne vendredi.

Celle-ci était en charge du site www.wiroo.com mais également du contrôle des accès FTP et des expéditions mails des sites web.

Le prestataire en charge du routage ne nous a répondu que Lundi après-midi, et une intervention a été faite pour remettre le routage à zéro le soir même.
Cette infra interne a été de nouveau active vers minuit.

La perturbation coté client n'a été que sur 2 aspects:
- blocage des accès FTP (échec d'authentification)
- expédition des mails des sites web

Un incident a touché les pages PHP des serveurs web.

Nous avons trouvé la raison de l'incident.
Une mise à jour automatique de sécurité de cette nuit à 6h30 a mis une nouvelle version d'une librairie système critique nommée libc6 (glibc).
Or, cette nouvelle version soufre d'un bug qui était passé à travers les vérifications des équipes Ubuntu (qui gèrent les releases de version et mise à jour).
Nous avons pris contact avec les développeurs et avons trouvé un correctif temporaire le temps de fixer le problème sur la librairie libc6.

Ce bug avait pour conséquence de planter les pages PHP. Toutes les autres pages web fonctionnaient correctement.

L'incident public peut être suivi ici : https://bugs.launchpad.net/ubuntu/+source/eglibc/+bug/1352504
Le correctif temporaire est sorti à 16h30, nous l'avons appliqué à 17h15 sur les serveurs, et cela fixe le soucis.

Notre robot de sauvegarde a déclenché comme chaque semaine le backup complet de nos serveurs hier soir au milieu de la nuit. (en semaine, nous ne faisons que des incrémentales)
Toutefois, il a totalement planté les machines, en commençant par notre monitoring !
Nous avons vu l'incident en fin de matinée et avons relancé les serveurs...
Désolé de l'incident, nous allons vérifier de très près les prochaines activités du robot de backup...

Les nouvelles IP qui nous ont été attribuées ont été blacklistées il y a plusieurs mois par Hotmail, orange et Baraccuda.
La procédure de déblacklistage est en cours.
Baracuda: Résolu (23/01/2014)
Hotmail Résolu (10/02/2014)
Orange (cloudmark): Résolu  (24/01/2014 19:00)

Le soucis touche les envois de mail via les sites web et via les serveurs smtp.wiroo.com.

Nous migrons nos serveurs vers la nouvelle infrastucture hardware 2014.
La majorité des migrations seront transparentes, mis à part quelques serveurs frontaux visibles.

Les serveurs Mail / Pop / Imap qui gèrent les mails hébergés chez Wiroo seront indisponibles durant 1h le temps de la migration.

Migration terminée le 21/01/2014 à 01h30.

Nous migrons nos serveurs vers la nouvelle infrastucture hardware 2014.
La majorité des migrations seront transparentes, mis à part quelques serveurs frontaux visibles.

Les migrations visibles seront affichées dans les informations clients.

Serveurs MySQL : Migrés le 19/01/2014
Serveurs LDAP : Migrés le 19/01/2014
Serveurs Backup : Migrés le 18/01/2014
Serveurs WMaster : Migrés le 19/01/2014
Serveurs DNS : Migrés le 18/01/2014
Frontaux Web : Migrés le 20/01/2014
LoadBalancer : Migrés le 20/01/2014
Serveurs de fichiers : Migrés le 20/01/2014
Serveurs Frontaux www.wiroo.com : Migrés le 21/01/2014
Serveurs POP/IMAP : Migrés le 21/01/2014
Serveurs SMTP : Migrés le 21/01/2014
Serveurs de Mail : Migrés le 21/01/2014

Migration terminée avec succès le 21/01/2014 à 02:20.

Nous migrons nos serveurs vers la nouvelle infrastucture hardware 2014.
La majorité des migrations seront transparentes, mis à part quelques serveurs frontaux visibles.

Le serveur Web frontal du site www.wiroo.com et les services associés seront indisponibles durant 1h le temps de la migration.

Migration terminée le 21/01/2014 à 0:10

Nous migrons nos serveurs vers la nouvelle infrastucture hardware 2014.
La majorité des migrations seront transparentes, mis à part quelques serveurs frontaux visibles.

Les serveurs Web frontaux qui gèrent les sites hébergés chez Wiroo seront indisponibles durant 1h le temps de la migration.

Opération terminée avec succès à 02:13

Nous migrons les serveurs sql.wiroo.com et sql1.wiroo.com vers notre nouvelle infra technique.
Coupure estimée de 1h.