Aller au contenu
  • En ligne récemment   0 membre est en ligne

    • Aucun utilisateur enregistré regarde cette page.

Serveur AP


Messages recommandés

Il est évoqué aussi sur certain forum IPB que des soucis de connexion peuvent intervenir à cause de limite de php sur certains hébergeurs (car les connexions php/mysql metteraient du temps à se libérer entre autre, ...)

 

Faut que je retrouve le lien.

Lien vers le commentaire
Partager sur d’autres sites

  • Réponses 812
  • Créé
  • Dernière réponse

Classement des membres dans ce topic

Classement des membres dans ce topic

Le problème de plantage Apache de ce matin (0H et des brouettes) a été résolu.

 

(Bug de mod_ssl qui faisait planter httpd_core lors du restart.

 

Merci OSR38, ça peut aider.

 

Mais je pense que le problème vient du manque de mémoire.

 

Le maxcon de MySQL est de 300.

Le max user de Apache est de 256.

 

Noremalement, MySQL ne devrait pas atteindre sa limite (a moins que les scripts IPB soient merdiques ce qui est une bonne hypothèse :) ).

 

Je pense qu'apache / php /mysql partent en vrille lorsque la machine swappe trop. Il doit en effet y avoir des histoires de timeout dans tous les sens.

 

Je vais essayer de tracer le problème.

 

Quoi qu'il en soit, l'ajout de ram doit corriger définitivement le problème.

 

Par contre j'ai désactivé globalement la recherche tant qu'on a pas d'extension mémoire. C'est cette fonction qui accélère la conso mémoire.

 

Akta

Lien vers le commentaire
Partager sur d’autres sites

je pense que tu peux avoir plusieurs connexion à Mysql par user Apache, donc tu dois pouvoir faire sauter le nbr de connexion SQL malgré ta limite apache. Par exemple, sur un page PHP je peux faire un accès à plusieurs base en même temps. Donc une connexion apache, et 2,3 voir 4 SQL.

 

Sinon, je suis sceptique sur le besoin en RAM. 1go c'est déjà enorme pour une appli web, alors je veux bien qu'avec 3go ca fonctionne mieux, mais il faudrait déjà savoir pourquoi il en consomme 1.5go.

 

Pour ma culture, comment est programmé ce forum ? il crée une table par topic, ou il a une table pour tous les postes ? en gros quelle est la strucutre de la BDD ? Si il y a une table qui stock tous les messages, il pourrait y avoir un problème de consommation mémoire.

Lien vers le commentaire
Partager sur d’autres sites

Je suis d'accord avec toi pour le nombre de com ouvertes par process. C'est d'ailleurs ce qui se passe. Mais c'est pour moi symptomatique d'une mauvaise conception.

 

La conso mémoire n'est pas étonnante. La machine traite pour plus d'1Go de bases (rien que le forum AP = 800Mo) ce qui est énorme. MySQL réserve déjà plus de 200Mo pour les index en mémoire (pour éviter de chercher sur le disque), et l'usage fait du forum fait qu'il ya beaucoup d'écritures disque. Pour info, MySQL bouffe a lui seul plus de 500Mo de RAM. Et pourtant on a essayé d'optimiser à mort la conso mémoire.

 

Maintenant je ne suis pas un expert en DBA (je suis plus orienté Sécurité des Systèmes et des Réseaux :) ).

 

Je pense qu'on peut encore faire mieux, mais la littérature sur les optimisation à faire dans les confs MySQL pour IPB sont rares...

 

Si t'as des infos :)

 

Akta

Lien vers le commentaire
Partager sur d’autres sites

Quand j'utilise voir les nouveaux messages, voilà tout ce que j'obtiens:

 

Désolé, mais vous n'avez pas la permission d'utiliser cette fonctionnalité. Si vous n'êtes pas connecté, vous devriez le faire en utilisant le formulaire ci-dessous s'il est affiché.

 

Bug?

Lien vers le commentaire
Partager sur d’autres sites

Par contre j'ai désactivé globalement la recherche tant qu'on a pas d'extension mémoire. C'est cette fonction qui accélère la conso mémoire.

 

Akta

 

Voici,la réponse à ta question :bien:

 

Lien vers le commentaire
Partager sur d’autres sites

@Akta: moi assi, sécurité réseaux :P

et pas mal de développement par le passé :ange:

Pour moi, avoir plusieurs connexion à de BDD sur une même session Apache n'est pas un défaut de cnception, ca peut être utile. Donc de ce coté la, rien à améliorer. Par contre, monitorer le nombre de connexion mysql pour voir si ca dépasse 300 c'est indispensable :bien: (et auquel cas, augmenter le nombre)

 

Pour la BDD, j'aimerais bien que tu me communiques la structure (via MP, une copie d'écran de phpmyadmin par exemple) car si c'est ce à quoi je pense (une table pour tous les messages) le serveur mets en RAM tous les messages du forum, ce qui est bien evidement trop gros.

L'idéal c'est de faire travailler le serveur sur des tables les plus petites possibles, puisque c'est la recherche dans une table qui consomme le plus de mémoire. En scindant le forum avec une table archive (vieux messages) utilisé 5% du temps et une table courante utilisé 95% du temps on doit améliorer enormement les performances, et réduire la nécessité en RAM.

Enfin, tout ca c'est de la théorie de conception de BDD, maintenant je connais pas celle du forum, donc speculation uniquement :coucou:

Lien vers le commentaire
Partager sur d’autres sites

salut Jin-Roh,

 

je soupconne que ce soit lie a desactivation de la fonction "recherche"

 

@Akta:

d'un point de vue DBA, meme si ce n'est pas mon metier de base, il faut savoir que sur nos serveurs, le SGBDR a la possibilite d'allouer quasiment toute la RAM de la machine en shared memory. Ensuite dans la prqtique ca depend de la repartition de l'allocation memeoire que tu fais toi derriere (cache mem, network handlers, etc...) et en pratique on lui fait effectivement des allocation potentielles quasiment = a la RAM, sauf qu'apparemment il n'alloue jamais tout.

 

Peux-tu fournir le My.cnf a certains d'entre nous pour que nous regardions ?

ainsi qu'une page de stat a un moment ou ca rame (si possible).

Cela dit, je sais que la doc MySQL est assez bien foutu sur les explications pour l'optimisation, donc bon...

 

@Korbend : pour la structure de la base, suffit de telecharger IPB et d'en installer un vide sur un (L)AMP (Apache Mysql Php) ;)

 

Sinon je pense qu'un topic de 1800 pages avec + de 30 000 posts, c'est pas terrible pour les perfs car les moteurs de forums ne sont pas prevus pour ce genre de topic (je pense...)

Donc il serait bon de nettoyer un peu le "ptit topic de la nuit" voir de le re-creer a intervalle regulier pour qu'il n'y ait pas trop de posts dedans ce qui doit necessairement grever les perfs (faire des select sur 500 000 posts deja ca aide pas mais quand ensuite ton "working set" reste de 30 000 posts !!!)

 

my 2 cents pour aujd :)

Lien vers le commentaire
Partager sur d’autres sites

je veux bien le fichier de conf aussi ;)

@PP-S3: j'ai pas vraiment le temps d'installer un IPB :P

Sinon je suis d'accord avec ton raisonnement, plus tu as de message dans une table "courante" et plus tu auras des perfs pourries.

 

Pour moi, un Mysql avec un forum dessus ne doit pas bouffer 1go de RAM en tout cas :ange:

Lien vers le commentaire
Partager sur d’autres sites

@Akta: moi assi, sécurité réseaux :P

[ ... ]

Enfin, tout ca c'est de la théorie de conception de BDD, maintenant je connais pas celle du forum, donc speculation uniquement :coucou:

 

ben c bien on fait tous la meme chose ! :vert: bon moi je fais bcp plus de BDD desormais...

@Korbend : concernant ta remarque : c'est evidemment interessant mais si ca n'a pas ete prevu au depart dans la conception du moteur de forum tu peux oublie....

Imagine les modifs a faire dans le moteur pour aller taper dans la base d'archive au moment ou ce que tu cherches tombe dessus ??

 

en tout cas je me souviens que l'ancine moteur (o2php) utilisait effectivement une seule table pour tous les posts....

 

 

Lien vers le commentaire
Partager sur d’autres sites

@akta: merci pour le boulot :bien: même si j'ai l'impression que tu parles une autre langue :P

Lien vers le commentaire
Partager sur d’autres sites

Merçi de l'info, faut dire que je reviens de 2 jours de formation près de Paris et là j'ai encore un peu la tête dans le c.. donc mea culpa de ne pas l'avoir vu. :jap:

 

 

Lien vers le commentaire
Partager sur d’autres sites

Pour moi, un Mysql avec un forum dessus ne doit pas bouffer 1go de RAM en tout cas :ange:

 

ce depend essentiellement du contenu de la BDD....

pour notre produit la recommandation en RAM quadruple en passant de 5 a 50 utilisateurs (ce qui signifie essentiellement bcp plus de volume de donnees, chaque utilisateur consommant peu de ressources propres en utilsation)

 

Lien vers le commentaire
Partager sur d’autres sites

Imagine les modifs a faire dans le moteur pour aller taper dans la base d'archive au moment ou ce que tu cherches tombe dessus ??

 

en tout cas je me souviens que l'ancine moteur (o2php) utilisait effectivement une seule table pour tous les posts....

Evidement, si ce n'est pas prévu ce sont des modifs colossales :bleble:

Sinon, si il y a une seule table pour tous les posts... on est pas dans la merde. Ca signifie qu'a chaque requete des 200 utilisateurs, il parcours la totalités des X milliers de messages pour en extraire les données désirées. et pour faire ça, le plus rapide pour lui, c'est evidement de mettre la table en RAM (pour rappel, une table mysql c'est un fichier).

En fait, je pense que le nombre d'utilisateur et de requete n'a que très peu d'influence sur les perfs (memoire, pas CPU). En effet, les tailles mémoire alloués pour une requete sont très faible, le resultat est petit.

A titre de test, tu peux essayer de supprimer les 1000 premières page du topic de la nuit, et d'autres pages inutiles (quitte à les sauvegarder pour rechargement si ca ne change rien) et observer l'espace en RAM de la BDD. Je pense que ca va la reduire...

 

 

On peut peut ce poser la question suivante, est ce que Mysql est la meilleur des BDD à utiliser pour ce forum vu sont utilisations...

 

Tu as Postgresql aussi, un poil plus performant (pas flagrant, donc ca sert à rien), mais après tu es coincé, il faut passer sur de l'Oracle, et la, il faut BANQUER !!!

Car, je le rappel, Mysql est gratuit :ange:

Lien vers le commentaire
Partager sur d’autres sites

c'est sur que mysql est gratuit, mais est il concu pour soutenir un tel forum, on ne peut pas comparé ce forum avec celui de la Dacia logan qui a 3 sujets :P

on arrive peut etre tout simplement au limite de mysql...

Lien vers le commentaire
Partager sur d’autres sites

Je ne pense pas qu'au niveau "performances" mysql est à rougir ... (je ne parle evidemment pas de sécurité des données / rollback etc ...)

 

J'ai en gestion un forum (phpbb) ayant un peu plus de fréquentation qu'AP ... Il tourne avec 1GB de RAM et un pro. de 3Ghz (dualcore). Le forum est réputé comme "pas super rapide" mais ne plante jamais ...

 

Je ne sais pas si on peut comparer phpbb et ipb ... mais l'ensemble des posts sous phpbb sont dans une seule table, de plus phpbb est super réputé pour sa lourdeur ...

 

Lien vers le commentaire
Partager sur d’autres sites

je ne pense pas, c'est plus la limite inhérente à la conception de ce forum qui est atteinte je pense.

Mysql est plutôt limité en nombre d'utilisateurs simultanés qu'en taille pure. Mais de toute manière, les limites sont avant tout définis par le serveur (c'est le maillon faible pour l'instant :P )

 

Franchement, la conception d'une table pour l'ensemble des posts est délirante... Cela prouve que ces forums ne sont pas conçus pour être trop gros

Lien vers le commentaire
Partager sur d’autres sites

boarf si les index sont bien placés ... quand on voit que le forum de clubic (plus rien de comparable avec les forums dont on parle) est (passé récement) sous IPB ... on se dit que c'est pas forcément le pire des choix ...

 

après oui, ils doivent avoir bien plus qu'un seul serveur ... mais pour le coup le modèle de données reste le même ...

Lien vers le commentaire
Partager sur d’autres sites

C'est bien! On est tous d'accord qu'un forum n'est pas un chat "stateless".

 

Il est clair que certaines tables sont trop difficiles à gérer pour MySQL/IPB.

 

Pour ceux qui m'ont demandé la conf mysql, envoyez moi un mp avec votre adresse de courriel.

 

Je n'ai pas mis de stats de connexions à la base. La hard-limit est 300 connexions. Il n'est pas envisageable de monter cette valeur sous peine d'explosion du système.

 

Il est vrai qu'il peut être utile de faire plusieurs connexions dans une même instance. Maintenant, dans mon soucis de l'éternelle optimisation :P j'évite tant que possible.

 

De toutes façons, ça explose avant :P

 

En résumé : il faut nettoyer le forum et supprimer les trops vieux posts sans intérêt. Les modérateurs ont déjà été avertis de cette nécessité et ont commencé à faire le ménage (enfin j'espère).

 

On va y arriver!

 

A+

 

Akta

 

Lien vers le commentaire
Partager sur d’autres sites

Je n'ai pas mis de stats de connexions à la base. La hard-limit est 300 connexions. Il n'est pas envisageable de monter cette valeur sous peine d'explosion du système.

 

Ce n'est pas un problème, le record de connexions simultanées est à 250 je crois (dispo en page d'acceuil du forum).

 

Lien vers le commentaire
Partager sur d’autres sites

Bon, bah on a la solution ;)

Supprimer les vieux posts pour alléger la Table. Le problème que l'on rencontre est, pour moi, du à la conception de IPB.

L'optimisation de la conf ne devrait pas résoudre grand chose :(

Sinon, c'est quoi comme système dessus ? un Linux ? si oui, quel version ? mode graphique ou pure texte ?(l'utilisation d'un linux pure texte améliore énormement les performances :ange: )

@OSR: il ne faut pas confondre le nombre de connexion d'utilisateurs, et le nombre de requêtes simultannées à la BDD. m'enfin c'est vrai qu'on ne devrait pas dépasser les 300...

Lien vers le commentaire
Partager sur d’autres sites

Perso, j'ai un soucis là... :(

 

La fonction "Voir les nouveaux messages" ne fonctionne pas ce soir :( pourtant je suis bien connecté. AP ne me reconnait plus ? :blink:

 

C'est juste pour informé que je lance ce message... ;)

 

EDIT :

Ok vu après coup pourquoi :unsure: :unsure: Désolé. Du coup je supprime l'image, ça surchargera un peu moins... (y'a que la foi qui sauve :( )

Lien vers le commentaire
Partager sur d’autres sites

T'inquiètes pas Korbend :)

 

Chez moi la seule IHM viable c'est le shell. Le système est un Linux hardened (SlackWare).

 

Akta

Lien vers le commentaire
Partager sur d’autres sites

@tony : tu debarques la vieux... :vert:

 

@korbend : IPB et PHPbb sont les 2 (ou 2 des 3) moteurs de forums les plus performants !!!

apres il y a celui de PC-inpact je crois mais il est "home made" et pas donne de memoire

 

@akta : le topic de la nuit n'est pas "stateless" c pour ca que personne ne veut le supprimer definitivement... ;) Par contre pas la peine d'avoir 1800 pages d'historique....

l'adresse mail arrive par MP (t'es sur que tu peux pas avoir une page de stats de MySQL ?)

Lien vers le commentaire
Partager sur d’autres sites

Et oui,nous sommes sur le bon chemin,Akta et les autres vont nous faire une bonne Pizza de IPB et PHPbb et de MySQL :bigsmile: :bigsmile: :bigsmile: :bigsmile: :bien:

La Pizza AP :bien: :bigsmile:

Lien vers le commentaire
Partager sur d’autres sites

phpBB, IPB même combat mais IPB est réputé plus sécure. J'ai eu de gros gros soucis de hacking avec un forum phpBB il y a deux ans et je suis passé sous IPB depuis plus de problème de sécurité. IPB est également bien plsu performant dans les procédures de MAJ.

Comme l'a dit Akta les posts sont sur une même table qui représente plus de 2/3 de la taille de la base. C'est en partie dû aux index fulltext utilisés. Le problème c'est que depuis mysql 4 (je sais plsu combien) l'utilistaion de la recherche fulltext n'est possible que sur les mots de plus de 3 caractères ce qui est très pénalisnat pour nous avec l'appellation de nos voitures sur deux caractères. Donc on utilise pas cette recherche fulltext (mais une recherche classique) mais on se trimbale quand même les index :bigthumbup: et ils sont lourdingues les bougres, pour faire simple imaginez que dans un post tous les mots de trois caractères sont doublés.

On va regarder si on ne peut pas les supprimer, certains l'ont déjà fait c'est à étudier de plus près.

Lien vers le commentaire
Partager sur d’autres sites

Courage les mecs :)

 

Bon sinon je suis aussi d'accord que 1.5Go de RAM pour le Forum c'est délirant........

 

Pour trainer sur pas mal de Forum PhpBB et IPB sont bien les meilleurs gratuits.

 

Linux j'y connais pas grand chose mais il n'y aurait pas moyen de jouer sur des clusters pour lisser la charge des requetes ?

 

@+ :coucou:

Modifié par Fred_79
Lien vers le commentaire
Partager sur d’autres sites

Le cluster est un peu bourrin pour notre problème (quoique, surtout qu'un cluster MySQL actif/actif c'est easy :P). Mais bon, ça coute 2x plus cher (1 serveur en plus + 1U d'hébergement).

 

Vu qu'au niveau CPU, la machine pourrait largement encoder tous nos films de vacances, je ne pense pas qu'il soit nécessaire d'en arriver là. 3Go de RAM suffiront largement pour répondre à notre "incompétence / détournement de l'usage normal d'un forum IPB" :P .

 

Pour PCINPACT, je crois qu'ils ont un IPB (c'est marqué en bas de page). Si vous connaissez un de leur sysadmin, ça peut valloir le coup de demander leur conf HARDWARE/BDD... Mais vu leur budget, je pense connaître la réponse.

 

Autrement si l'une de nos entreprises respective balance à la benne des serveurs 1U de type bi-P3 Xeon, c'est le moment de faire de la récup!

Perso, dans ma boîte, on va bientôt renouveler notre parc de serveur WEB (serveurs DELL PE1650) par des blades. Ces machines sont unitairement aussi balaises que le serveur d'AP (mais plus rapides au niveau I/O).

 

Après, il va falloir négocier avec notre hébergeur favori!

 

Akta

Lien vers le commentaire
Partager sur d’autres sites

@ akta : en effet PCInpact utilisent un IPB mais pas mal customisé à leur sauce depuis le temps ... si tu veux tjrs leur config je peux me renseigner j'ai de la Team PCI dans mon msn ... de meme pour clubic ....

Dans le genre forum qui marchent bien (j'oublie de suite phpbb ;) ) y a les forums mesdiscussions.net voire aussi vbulletin (mais celui là je le connais peu à l'usage) mais là ceux sont des forums avec licences payantes ... qui sont plus dev pour des gros forums actifs maintenant. IPB peut tenir le coup mais necessite pas mal d'optimisation maison.

Modifié par bora-lasa
Lien vers le commentaire
Partager sur d’autres sites

Autrement si l'une de nos entreprises respective balance à la benne des serveurs 1U de type bi-P3 Xeon, c'est le moment de faire de la récup!

Perso, dans ma boîte, on va bientôt renouveler notre parc de serveur WEB (serveurs DELL PE1650) par des blades. Ces machines sont unitairement aussi balaises que le serveur d'AP (mais plus rapides au niveau I/O).

Akta

 

:coucou: Akta,

 

Ma société met au rebut régulièrement des ordinateurs et serveurs. Comme je connais bien les personnes de notre service informatique (60 personnes environ), peux-tu me dire exactement ce que tu rechercherais ?

 

Je transmettrai ta demande au responsable. Les machines ont environ 3 ans d'existence. Si ça peut servir, je veux bien essayer de vous trouver quelque chose... :)

Lien vers le commentaire
Partager sur d’autres sites

l'utilistaion de la recherche fulltext n'est possible que sur les mots de plus de 3 caractères ce qui est très pénalisnat pour nous avec l'appellation de nos voitures sur deux caractères. Donc on utilise pas cette recherche fulltext (mais une recherche classique) mais on se trimbale quand même les index :bigthumbup: et ils sont lourdingues les bougres, pour faire simple imaginez que dans un post tous les mots de trois caractères sont doublés.

On va regarder si on ne peut pas les supprimer, certains l'ont déjà fait c'est à étudier de plus près.

 

 

Cette ligne (my.cf) permet de ne pas avoir cette limite sur le fulltext :

set-variable =ft_min_word_len=1

 

Par contre il faut savoir que les recherches fulltext ecroule les performances ...

Effectivement si le fulltext n'est pas utilisé c'est bête de le conserver ...

Car ca doit sérieusement plomber les performances d'écriture.

 

Lien vers le commentaire
Partager sur d’autres sites

Bonjour,

 

Pour info sur notre serveur actuel :

 

P4 3GHz HyperThreadé, 1Go de RAM, RAID 1 Matériel SATA. Format 1U.

 

ça peut être intéressant de récupérer une (des) machine(s) 1U ou 2U max (avec les rails de rack) multiprocesseurs de préférence avec au moins 2 voir 4Go de RAM (4Go est le std de ma boîte). Des machines du mêmes type pour le spare sont appréciées.

 

Si c'est du P3, il faut au moins du P3 (Xeon) 1,4GHz. si c'est du PIV, il faut au moins du (Xeon) 2,4GHz.

 

Me contacter si vous avez ça dans vos poubelles... on verra après ce qu'on peut en faire.

 

Je suis preneur de la config mysql et matérielle du serveur hébergeant le forum PCI (ou d'un autre GROS forum).

 

Akta

Lien vers le commentaire
Partager sur d’autres sites

Juste pour dire que :

 

- 800Mo, même pour un mysql, c'est que dalle

- les index sont parfois plus gros que les données, par exemple le site photoways, hébergé chez nous, la base de données doit faire 40Go en data, et presque 100Go en index ! c'est de l'oracle, mais le principe est le même, éviter les I/O disques et les recherches full scan.

- je ne pense pas que les gros topics soient en cause, ça plante à des heures où il y a casiment personne, et au rythme de post d'un forum, même s'il y a 10 gus qui postent en même temps, la base peut largement encaisser

 

:coucou:

Lien vers le commentaire
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant
×
×
  • Créer...