Serveur sans LOM comment faire lorqu'on est loin

[scoub_rosnoen]

Salut, j'ai hérité d'un tas de serveur OS X qui n'ont pas de LOM et parfois ils plantent lamentablement... on peut les pinger mais impossible de prendre la main dessus même en ssh...

Comme ils sont à près à de 100 bornes, cela me fait chier d'aller les rebouter physiquement... je regrette mes anciens serveurs SUN qui avaient leurs LOM croisées... En plus ces cons de serveurs OS X attendent toujours le vendredi soir pour se vautrer lamentablement...

P'tain, j'ai envie de pendre par les coucougnettes celui qui a remplacer nos vieux serveurs par ces serveurs high tech new gen d'Apple ... de merde et qui me petarde tous mes WE.

Si vous avez une soluce pour reboot à distance un serveur OS X qui répond au ping mais pas au SSH ni ARD, je suis preneur . Je pense qu'un jour, je vais les dépanner au calibre 12.

Ce message a été modifié par scoub_rosnoen - 3 Oct 2014, 23:19.

[Vyper]

Hello,
PDU manager, un peu trash mais efficace.
@+

[scoub_rosnoen]

Hello,
PDU manager, un peu trash mais efficace.
@+

Merci, en effet c'est un peu bourrin mais je crois que je n'ai pas trop le choix.

[scoub_rosnoen]

Etonnant, j'avais la flemme hier de me déplacer et ce matin, j'ai eu la possibilité de me connecter à distance au serveur "planté". Seul l'ARD et le SSH était accessible presque tous les autres services étaient KO. Mais cela m'a permis de faire un shutdown -r now et de le récupérer.

Ce serveur est un macmini server sous 10.7.5. Il y a un watchdog sur ce matériel ? ou c'est juste un coup de chance ?

[Vyper]

Etonnant, j'avais la flemme hier de me déplacer et ce matin, j'ai eu la possibilité de me connecter à distance au serveur "planté". Seul l'ARD et le SSH était accessible presque tous les autres services étaient KO. Mais cela m'a permis de faire un shutdown -r now et de le récupérer.

Ce serveur est un macmini server sous 10.7.5. Il y a un watchdog sur ce matériel ? ou c'est juste un coup de chance ?

Quelques infos ici

[scoub_rosnoen]

Etonnant, j'avais la flemme hier de me déplacer et ce matin, j'ai eu la possibilité de me connecter à distance au serveur "planté". Seul l'ARD et le SSH était accessible presque tous les autres services étaient KO. Mais cela m'a permis de faire un shutdown -r now et de le récupérer.

Ce serveur est un macmini server sous 10.7.5. Il y a un watchdog sur ce matériel ? ou c'est juste un coup de chance ?

Quelques infos ici

Merci beaucoup encore une fois Vyper .
Je vais fouiller dans la doc pour rendre ce Watchdog plus réactif

[fmereo]

Sinon un rack secteur réseau pour couper violement le serveur et le relancer…

[trouspinette]

J'ai aussi été confronté à ces services à la c‘{¶«¡Ç qqs fois : il m'est arrivé de corriger le tir en remplaçant le VNC Server embarqué par RealVNC : OK, payant, mais au moins le VNC lui tenait la route...

https://www.realvnc.com/

[Gotchi]

sinon, ce genre de prises m'a déjà dépanné un bon paquet de fois :
http://www.integration-reseaux.com/Prix/Ep...rise-19328.html

tant que tu as du réseau, tu peux à distance couper/relancer l'alimentation d'un serveur, quelque soit l'état du serveur (pour peu qu'il soit configuré pour redémarrer après une coupure de courant)

Ce n'est pas donné, mais ça évite de faire des centaines de kilomètres aller/retour un week end pour faire le travail...

[trouspinette]

sinon, ce genre de prises m'a déjà dépanné un bon paquet de fois :
http://www.integration-reseaux.com/Prix/Ep...rise-19328.html

tant que tu as du réseau, tu peux à distance couper/relancer l'alimentation d'un serveur, quelque soit l'état du serveur (pour peu qu'il soit configuré pour redémarrer après une coupure de courant)

Ce n'est pas donné, mais ça évite de faire des centaines de kilomètres aller/retour un week end pour faire le travail...

C'est un peu brutal comme méthode, mais certainement efficace... A une nuance près : fsck au reboot à craindre ou, pire, le serveur ne démarre pas tant qu'on appuie pas sur le switch ON/OFF !!!

[fmereo]

Sinon un Mac Mini (ou autre "petit ordi" comme un RPi) qui interroge une boite mel précise et qui envoie l'exécution de reboot au serveur via SSH sur le LAN (par exemple) lors de la réception d'un mel correctement formatté…

On peut aussi faire ça directement sur le serveur à condition que sa connexion internet fonctionne toujours…

[scoub_rosnoen]

En fait, lorsqu'on est coincé par un serveur bien planté, parfois on n'a pas trop le choix qu'un redémarrage sauvage ( même lorsque SSH n'est plus dispo, je ne sais pas si realvnc pourrait faire mieux lorsque tout paraît figé ). C'est pour cela que les solutions d'interrupteurs déclenchables à distance m'interessent.

sinon, ce genre de prises m'a déjà dépanné un bon paquet de fois :
http://www.integration-reseaux.com/Prix/Ep...rise-19328.html

tant que tu as du réseau, tu peux à distance couper/relancer l'alimentation d'un serveur, quelque soit l'état du serveur (pour peu qu'il soit configuré pour redémarrer après une coupure de courant)

Ce n'est pas donné, mais ça évite de faire des centaines de kilomètres aller/retour un week end pour faire le travail...

Je pense que je vais m'orienter vers ce genre de matériel qui me paraît pas mal. C'est brutal et sauvage, mais bon...

Merci à tous

Ce message a été modifié par scoub_rosnoen - 7 Oct 2014, 08:56.

[roseau]

En fait, lorsqu'on est coincé par un serveur bien planté, parfois on n'a pas trop le choix qu'un redémarrage sauvage ( même lorsque SSH n'est plus dispo, je ne sais pas si realvnc pourrait faire mieux lorsque tout paraît figé ). C'est pour cela que les solutions d'interrupteurs déclenchables à distance m'interessent.

sinon, ce genre de prises m'a déjà dépanné un bon paquet de fois :
http://www.integration-reseaux.com/Prix/Ep...rise-19328.html

tant que tu as du réseau, tu peux à distance couper/relancer l'alimentation d'un serveur, quelque soit l'état du serveur (pour peu qu'il soit configuré pour redémarrer après une coupure de courant)

Ce n'est pas donné, mais ça évite de faire des centaines de kilomètres aller/retour un week end pour faire le travail...

Je pense que je vais m'orienter vers ce genre de matériel qui me paraît pas mal. C'est brutal et sauvage, mais bon...

Merci à tous

Question stupide: quelles sont les raisons du plantage de ces serveurs?

[scoub_rosnoen]

La question n'est pas stupide , et j'aimerai bien savoir aussi pourquoi ils plantent.

J'ai fouillé les logs mais je n'ai rien trouvé.

Comme ils plantent souvent le week-end, je pense que la raison c'est juste pour me casser les pieds surtout que le week-end, ils sont moins sollicités...

Ce message a été modifié par scoub_rosnoen - 7 Oct 2014, 16:06.

[fmereo]

Le script Weekly qui foutrait la zone ?

c'est très bizarre que tu n'aies rien dans les logs système par contre…

Après tu peux peut-être programmé une extinction automatique le vendredi soir vers 23h00 et un redémarrage automatique le lundi matin vers 6h00 par exemple…

Tu n'aurais pas sinon un process qui remplit ton disque dur de fichier cache et qui seraient purgés à chaque reboot ? ça provoquerait un blocage du système si tu n'as plus d'espace dispo sur le volume de boot (as-tu activé l'avertissement de saturation des volumes ?)…

Tu as une sauvegarde particulière qui se lancerait le WE ?

Si ça t'arrive tous les WE, faire un redémarrage brutal va finir par laisser des séquelles, il faudrait trouver la cause du plantage…

Ce message a été modifié par fmereo - 8 Oct 2014, 08:54.

[scoub_rosnoen]

Le truc bizarre, c'est que ca n'arrive pas tous les week-end. Pour l'espace disque, il y a de la place pour le système et les logs.

Je viens de trouver quelque chose qu'il faut que je fouille dans les logs. Hier soir ce serveur a fait un freeze ( plus d'accès au serveur, je ne pouvais que le pinger et il est revenu tout seul au bout de 2h). Et dans le log, a peu prêt à l'heure du plantage, j'ai eu ça :

Code

Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Background: Bug: launchd_core_logic.c:3070 (26200):3
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Background: job_mig_intran() was confused by PID 71831 UID 70 EUID 70 Mach Port 0x1a07:
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Bug: launchd_core_logic.c:8621 (26200):3: j != NULL
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Background: Bug: launchd_core_logic.c:3070 (26200):3
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Background: job_mig_intran() was confused by PID 71838 UID 70 EUID 70 Mach Port 0x1a07:
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Bug: launchd_core_logic.c:8621 (26200):3: j != NULL
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Background: Bug: launchd_core_logic.c:3070 (26200):3
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Background: job_mig_intran() was confused by PID 71841 UID 70 EUID 70 Mach Port 0x1a07:
Oct  7 21:48:51  com.apple.launchd.peruser.70[71819]: Bug: launchd_core_logic.c:8621 (26200):3: j != NULL

Je vais chercher ce que cela peut vouloir dire...

[scoub_rosnoen]

Je me réponds après avoir cherché un peu, apparemment ces erreurs sont liées à Apache mais ne devraient pas "freezer" le serveur. Donc, ce n'est pas ça.

[scoub_rosnoen]

Salut,

Après plein de recherches et d'approfondissements, ce serveur là était hacké ... ca me désole parce que je croyais avoir tout fait pour éviter ça ... et je me croyais à l'abri ( ca n'arrive qu'aux autres )

Il avait ( entre autre ) un serveur Web avec un site Wordpress et des plugins pour Wordpress. Une faille d'un plugin ( wysija - plugin de newsletter ) a apparemment permis la mise en place d'une backdoor sur le serveur.

Bien sûr, rien de flagrant dans les logs, mais en enquêtant profondément, j'ai retrouvé les IP du/des hackers. On voit bien que les hackers n'en voulait pas spécialement à ce site internet mais qu'ils l'ont exploité pour envoyer du spam via cette faille. ( le serveradmin me donnait la file d'attente de mail du serveur de mail ).

J'ai fait un tar du site contaminé afin de regarder en détail toutes leurs modifs sur les fichiers. Ce qui m'a mis la puce à l'oreille ce sont les dates de modifs des fichiers du site internet et l'apparition de fichier PHP "bizarre" dans le site.

Exemple :
un fichier nommé 2af5.php mais il y en a plein d'autre avec des "chaines différentes".php
Contenant :

Code

<?php echo "!@#$%^&";

J'imagine que ce code est une injection valide dans une faille.

Et des jquery.min.js complètement modifiés, en faisant des recherches de la chaine "http://" dans ces jquery.min.js on trouve des adresses à la con ... n'ayant aucun rapport

Bon ce n'est pas OS X server qui est en cause mais juste un plugin Wordpress... et ma vigilance

La somme des spams que le serveur devait envoyer mettait à genoux le Core I7 de ce macmini ...

L'IP utilisé par ce pirate est déjà connu sur Google comme une IP malfaisante. Dommage que l'on ne puisse pas lui envoyer un bataillon de paras pour lui en foutre plein la tronche ...

Ce message a été modifié par scoub_rosnoen - 9 Oct 2014, 20:26.

[roseau]

Salut,

Après plein de recherches et d'approfondissements, ce serveur là était hacké ... ca me désole parce que je croyais avoir tout fait pour éviter ça ... et je me croyais à l'abri ( ca n'arrive qu'aux autres )

Il avait ( entre autre ) un serveur Web avec un site Wordpress et des plugins pour Wordpress. Une faille d'un plugin ( wysija - plugin de newsletter ) a apparemment permis la mise en place d'une backdoor sur le serveur.

Bien sûr, rien de flagrant dans les logs, mais en enquêtant profondément, j'ai retrouvé les IP du/des hackers. On voit bien que les hackers n'en voulait pas spécialement à ce site internet mais qu'ils l'ont exploité pour envoyer du spam via cette faille. ( le serveradmin me donnait la file d'attente de mail du serveur de mail ).

J'ai fait un tar du site contaminé afin de regarder en détail toutes leurs modifs sur les fichiers. Ce qui m'a mis la puce à l'oreille ce sont les dates de modifs des fichiers du site internet et l'apparition de fichier PHP "bizarre" dans le site.

Exemple :
un fichier nommé 2af5.php mais il y en a plein d'autre avec des "chaines différentes".php
Contenant :

Code

<?php echo "!@#$%^&";

J'imagine que ce code est une injection valide dans une faille.

Et des jquery.min.js complètement modifiés, en faisant des recherches de la chaine "http://" dans ces jquery.min.js on trouve des adresses à la con ... n'ayant aucun rapport

Bon ce n'est pas OS X server qui est en cause mais juste un plugin Wordpress... et ma vigilance

La somme des spams que le serveur devait envoyer mettait à genoux le Core I7 de ce macmini ...

L'IP utilisé par ce pirate est déjà connu sur Google comme une IP malfaisante. Dommage que l'on ne puisse pas lui envoyer un bataillon de paras pour lui en foutre plein la tronche ...

Bravo pour l'analyse et tu fais comment pour regler le problème

[fmereo]

Après plein de recherches et d'approfondissements, ce serveur là était hacké ... ca me désole parce que je croyais avoir tout fait pour éviter ça ... et je me croyais à l'abri ( ca n'arrive qu'aux autres )

Et par curiosité, tu avais mis quoi en place pour éviter d'être hacké justement ?

[Jedge]

j’utilise ce plugin sur plusieurs serveurs de prod, ça m’intéresse de savoir si cla faille est avec la dernière version à jour ou pas ?

[scoub_rosnoen]

Salut,

Après plein de recherches et d'approfondissements, ce serveur là était hacké ... ca me désole parce que je croyais avoir tout fait pour éviter ça ... et je me croyais à l'abri ( ca n'arrive qu'aux autres )

Et par curiosité, tu avais mis quoi en place pour éviter d'être hacké justement ?

La seule chose que je fais pour éviter tout problème, c'est de tenir le tout à jour des updates. Avec les serveurs derrière firewall et tout le tralala habituel.

En ce qui concerne le plugin wysija, je ne sais pas si il y a une faille dans la dernière version, mais c'est possible. Le site a été hacké à partir du 2 octobre et j'étais à jour de la dernière version. Je sais qu'il a déjà souffert d'une grosse faille au mois de juillet, il y en aurait peut-être une autre ? je ne sais pas.

Pour remédier au problème, j'ai claqué une sauvegarde saine du site ( vérifiée manuellement ) et désactivé le plugin wysija en attendant d'en savoir plus. Je pense que c'est ce plugin, parce que dans les logs d'apache, l'IP du hacker à commencé à "manoeuvrer" dans le répertoire de ce plugin.

J'ai également mis en place des "actions de dossiers" sur les répertoires du site qui ne sont pas censés être modifiés afin de recevoir un message par mail lorsqu'il y a une création de fichier... au cas où

Si cela vous intéresse, voilà l'applescript :

Code

property theName : "****"
property theAddress : "****@****.***"


on adding folder items to this_folder after receiving added_items
    set added_Items_List to {}
    repeat with oneItem in added_items
        set end of added_Items_List to name of (info for oneItem)
    end repeat
    set {TID, text item delimiters} to {text item delimiters, ", "}
    set added_Items_List to added_Items_List as text
    set text item delimiters to TID
    set dateString to (current date) as string
    set theBody to "Ces fichiers ont été ajoutés dans " & name of (info for this_folder) & ":" & return & return & "afp://********/*****/" & name of (info for this_folder) & "/" & added_Items_List
    tell application "Mail"
        set newMessage to make new outgoing message with properties {visible:true, subject:"Ajout de fichiers: " & dateString, content:theBody}
        tell newMessage
            make new to recipient at end of to recipients with properties {name:theName, address:theAddress}
        end tell
        activate
        send newMessage
    end tell
end adding folder items to

Il envoie un mail dès qu'un fichier a été ajouté avec un lien AFP pour arriver directement dans le répertoire partagé par AFP ( je me connecte à ces serveurs via un serveur dédié au VPN ).

Ce message a été modifié par scoub_rosnoen - 10 Oct 2014, 10:35.

[Jedge]

Merci pour ton retour, je vis faire le tour de mes installations chez mon hébergeur pour vérifier tout ça !

[trouspinette]

Il envoie un mail dès qu'un fichier a été ajouté avec un lien AFP pour arriver directement dans le répertoire partagé par AFP ( je me connecte à ces serveurs via un serveur dédié au VPN ).

Tiens, pour info, si vous voulez faire la même chose sur Linux, regardez du côté de Inotify : c'est intégré au kernel, ça remonte quasiment tout ce qui se passe sur un FileSystem => on peut tracer et envoyer un email/lancer un script en fonction de l'événement :-)

[fmereo]

@scoub_rosnoen et @Trouspinette : ça c'est de la bonne info, merci à vous 2 !

Manque juste la récursivité pour le script AS de Scoub et ça serait parfait…

[macinside]

il y a une solution matériel aussi : un boitier "IP Power", j'en utilise chez des clients quand il y a un crash complet du serveur

Ce message a été modifié par macinside - 14 Oct 2014, 10:40.

[scoub_rosnoen]

Salut,

Vyper et Gotchi en avaient également proposés est en effet c'est une bonne solution pour faire un reboot à distance d'un serveur complétement bloqué sans LOM. C'est à mon avis, le seul moyen de faire un reboot ( même sale ) qui permet de reprendre la main sur une machine complètement gelée à distance.

@scoub_rosnoen et @Trouspinette : ça c'est de la bonne info, merci à vous 2 !

Manque juste la récursivité pour le script AS de Scoub et ça serait parfait…

En effet, une recursivité de l'AS serait intéressante, mais j'ai du mal avec la syntaxe AppleScript et les actions de dossiers me paraissent limitées. Merci à Trouspinette, parce qu'il est probable que l'on revienne à des serveurs Web sous Linux.

Sinon pour en revenir au problème du "hackage" du site Wordpress sur ce serveur, je vous mets en PJ, un fichier PHP renommé en .txt mis en place par le pirate ( pour celles et ceux qui veulent fouiller ):

Le ficher s'appelle start.php de 49Ko et il était "caché" dans un sous-répertoire du répertoire upload de wordpress ( en PJ ). Difficile à dire quel est son role mais lorsqu'on pointe sur ce start.php, il renvoi la chaine suivante :

Code

Darwin+cfcd208495d565ef66e7dff9f98764da+01+[[]]

Le Darwin est remplacé par Linux lorsque ce fichier php est executé sur une machine Linux. Lorsqu'on recherche cette chaine "cfcd208495d565ef66e7dff9f98764da" sur google on a des résultats de hack qui remontent à quelques années .

Tous les fichiers .js du site étaient polués, absoluement tous ! si vous êtes confrontés au même problème, effacez tout et reclaquez une sauvegarde propre. Il n'existe pas d'outils de nettoyage. Le nettoyeur c'est nous . C'est long et fastidieux, mais on n'a pas le choix.

Ce message a été modifié par scoub_rosnoen - 15 Oct 2014, 12:57.

[fmereo]

Merci de partager ta trouvaille…

[bad_duck]

md5(0) -> cfcd208495d565ef66e7dff9f98764da , donc de rien d'interessant sur cette string, sinon pour ton script php ça ressemble à ça (Method 3 – Key Lookup) :
http://www.kahusecurity.com/2014/deobfuscating-php-scripts/

Tous les fichiers .js du site étaient polués, absoluement tous ! si vous êtes confrontés au même problème, effacez tout et reclaquez une sauvegarde propre. Il n'existe pas d'outils de nettoyage. Le nettoyeur c'est nous . C'est long et fastidieux, mais on n'a pas le choix.

Ou utiliser un outil de versionning genre GIT, et avoir des procédure pour déployer le site à partir de cet outil (+ eventuellement rollback etc..)

[Gotchi]

sinon, ce genre de prises m'a déjà dépanné un bon paquet de fois :
http://www.integration-reseaux.com/Prix/Ep...rise-19328.html

tant que tu as du réseau, tu peux à distance couper/relancer l'alimentation d'un serveur, quelque soit l'état du serveur (pour peu qu'il soit configuré pour redémarrer après une coupure de courant)

Ce n'est pas donné, mais ça évite de faire des centaines de kilomètres aller/retour un week end pour faire le travail...

C'est un peu brutal comme méthode, mais certainement efficace... A une nuance près : fsck au reboot à craindre ou, pire, le serveur ne démarre pas tant qu'on appuie pas sur le switch ON/OFF !!!

c'est certes brutal, mais si c'est pour un serveur planté que tu aurais du rebooter sauvagement, ça ne change pas grand chose. A part gagner le trajet aller/retour...