L'optimisation de sites Internet pour les moteurs de recherche d'aujourd'hui exige que l’architecture de ces sites soit optimisée et qu’ils soient faciles dans leur navigation entre les différentes pages du site. Dans une grande mesure, l'optimisation organique pour les moteurs de recherche est simplement une prolongation des meilleures pratiques dans la conception de pages Web. La relation entre l’optimisation de sites web et leur conception est naturelle. En rendant les sites web simples et facilement accessible, vous fournissez le chemin le plus facile pour les robots des moteurs de recherche pour leur indexation rapide, pendant que vous rendez la navigation optimum pour vos visiteurs humains.

Cette approche ne peut être qu’efficace sur la longue durée, même si elle n’est pas aisée à mettre en place. Il est fortement conseillé de construire des pages avec un contenu riche et un système de liens efficace.

Les robots de moteurs de recherche sont des programmes automatisés qui se « promènent » sur le World Wide Web et visitent des pages Web. Ils passent par des liens afin de voyager de page en page. Ils "lisent" ou rassemblent l'information du code source de chaque page. Selon le moteur de recherche, les logiciels d'indexation regardent surtout le titre et la description de méta tags. Les logiciels continuent ensuite en « lisant » le texte du corps de la page dans le code source. Ils prêtent également attention à certaines étiquettes telles que les titres et le texte d'alt. Les robots de moteurs de recherche ont des capacités comme les navigateurs de première génération au mieux : ni script, ni cadre, ni Flash (même si certains types de fichiers Flash commencent à être lu).

Les obstacles pour des robots de moteurs de recherche : Les robots ne peuvent pas parcourir des menus déroulants, cliquer sur un bouton de soumission, ou suivre des liens en Javascript comme un visiteur humain. En outre, le code supplémentaire nécessaire au scripts qui remplissent le haut des pages constituent un obstacle pour que le robot arrive au contenu réel de votre page. Quelques robots de moteurs de recherche ont des difficultés avec les pages dynamiques, particulièrement ceux avec des URLs qui contiennent de longs querystrings. Quelques moteurs de recherche, tels que Google, classent une partie des pages dynamiquement produites, jusqu’à un certain degré de complexité de l’URL. Les pages de cadres posent également des problèmes d'indexation et nécessitent des manipulations particulières pour que le moteur de recherche arrive à les lire correctement. Les pages Web construites entièrement en Flash peuvent présenter un autre ensemble de problèmes pour l'indexation.

La profondeur des répertoires : constitue une autre difficulté pour la lecture des pages par les moteurs de recherche. Visez à ne garder vos pages plus importantes pas plus d'un ou deux "clics" éloignés de votre page accueil. Gardez vos pages plus près de la racine du site au lieu de les mettre dans des sous-répertoires.

Rappels des conseils pratiques :
L'utilisation des pages statiques est la voie la plus facile pour vous assurer que votre site sera bien lu par les robots des moteurs de recherche. Si vous devez utiliser les pages dynamiques, il y a des techniques que vous pouvez employer pour améliorer les chances de leur indexation. Employez les capacités de réécriture de votre serveur web pour générer des URLs simples. Utilisez les pages fixes d' "atterrissage" comprenant le vrai contenu, qui à leur tour énuméreront les liens vers vos pages dynamiques. Si vous devez utiliser des querystrings dans votre page adresse, rendez les aussi courts que possible, et évitez l'utilisation des valeurs "d'identification de session".

En utilisant le format Flash évitez de construire les pages entières en utilisant cette technologie. Assurez-vous que les robots de moteurs de recherche peuvent regarder tout le contenu important des textes sur vos pages.

Si vous devez utiliser des pages de cadres, soyez sûr d'optimiser la section "no frames" de vos pages. Les robots ne peuvent pas classer les pages de cadres, ainsi ils se fondent sur le texte se trouvant dans la partie « no frames » pour comprendre le contenu de votre site.

Si vous utilisez des scripts pour la navigation, veillez à introduire vos liens également de façon simple en texte.

Employez une carte du site pour présenter toutes vos pages Web aux robots de moteurs de recherche, particulièrement vos pages les plus profondes. Assurez-vous d’avoir des liens hypertexte simples sur votre page, et une phrase ou deux décrivant chaque page énumérée, en utilisant quelques unes de vos expressions et mot-clé dans le texte.

Importance d'une page 404 personnalisée

La page 404 correspond à un statut HTTP renvoyé par le serveur pour indiquer que la page cherchée ne se trouve pas sur le serveur. Cette situation est fréquente lorsque vous décidez de renommer vos pages ou de les déplacer dans un autre dossier, alors que les moteurs de recherche les avaient indexées à leur emplacement initial. Pour éviter de perdre les visiteurs de telles pages il est recommandé de construire une page 404 personnalisée à partir de laquelle vous pouvez renvoyer soit sur votre page accueil, soit sur votre page déplacée ou encore sur une page avec la carte du site.

Pour la construction d'une page 404 personnalisée nous vous conseillons le tutoriel suivant : http://tutoriaux.lautre.net/article.php3?id_article=39