Comment supprimer le fichier Robots.txt de WordPress ?

Donc, avant de nous lancer dans le processus de suppression, vous devez avoir une compréhension plus claire du fichier robots.txt et des raisons pour lesquelles vous devrez peut-être le supprimer.

Qu’est-ce que Robots.txt ?

Le fichier robots.txt de votre site WordPress contient les instructions destinées aux robots des moteurs de recherche concernant les zones ou pages de votre site à indexer et à explorer . Il informe également les moteurs de recherche, à l’aide de règles et d’instructions spécifiques, sur l’indexation des pages et sections de votre site.

Prenons un exemple concret : les robots d’indexation de Google, également appelés Googlebot, analysent régulièrement les sites web pour maintenir leur index à jour. Ils suivent les instructions du fichier robots.txt lors de l’analyse du site. Ils indexent et explorent ensuite les pages et les sections de votre site web conformément aux directives mentionnées dans le fichier robots.txt.

De la même manière, les robots des moteurs de recherche de tous les autres robots d’indexation connus indexent et explorent votre site web à l’aide du fichier robots.txt. Ce fichier est pratique pour empêcher les robots d’accéder à certaines zones, pages ou répertoires du site. Cependant, il peut être judicieux de supprimer ou de désactiver le fichier robots.txt de votre site WordPress dans certains cas.

Pourquoi devriez-vous supprimer Robots.txt de WordPress ?

Il existe de nombreuses raisons d’envisager de supprimer ou de désactiver le fichier robots.txt de votre site WordPress. En voici quelques-unes :

• Restrictions involontaires : Le fichier robots.txt peut parfois contenir des règles empêchant involontairement les robots d’exploration des moteurs de recherche d’accéder à des pages ou sections essentielles de votre site web. Cela peut nuire à la visibilité de votre site dans les résultats de recherche et affecter son classement.
• Sites de développement ou de test : Si vous disposez d’un site de développement ou de test à des fins de test, vous ne souhaitez peut-être pas que les moteurs de recherche l’indexent. En supprimant le fichier robots.txt, vous vous assurez que les robots d’indexation des moteurs de recherche n’indexeront ni n’afficheront ces sites dans les résultats de recherche. Vous pourrez ainsi vous concentrer sur les tests et l’amélioration de votre site dès les premières phases de développement et de test, sans risquer qu’il soit visible publiquement.
• Indexation améliorée : les robots d’indexation des moteurs de recherche peuvent accéder librement aux pages et au contenu de votre site web et les indexer lorsque vous supprimez le fichier robots.txt. Ils peuvent ainsi découvrir et inclure un plus large éventail de contenus de votre site dans leur index. Cela peut être utile pour garantir une visibilité et une facilité de découverte maximales du contenu de votre site web.
• Conflits de plugins : Des conflits entre des plugins spécifiques de votre site WordPress et le fichier robots.txt peuvent parfois entraîner des problèmes ou des erreurs inattendus. La suppression du fichier robots.txt peut donc contribuer à résoudre ces conflits et à garantir le bon fonctionnement de votre site WordPress.

Il est toutefois important de noter que la suppression du fichier robots.txt n’est pas une décision à prendre à la légère et n’est généralement pas recommandée. En cas de doute sur son impact sur les performances SEO de votre site web, réfléchissez aux implications et consultez un expert avant de poursuivre.

Comment supprimer le fichier Robots.txt de WordPress

Vous pouvez supprimer ou désactiver le fichier robots.txt de WordPress de 2 manières principales :

1. Utilisation du client FTP
2. cPanel

Nous détaillerons ces méthodes avec un guide étape par étape pour supprimer le fichier robots.txt de WordPress. Les deux méthodes sont similaires. Cependant, vous devez d’abord accéder au FTP ou au cPanel de votre site web.

Remarque : Avant de supprimer le fichier robots.txt de votre site web, assurez-vous d’en faire une copie. Vous pourrez ensuite réimporter le fichier original sur votre site web si vous apportez des modifications involontaires pendant la procédure, ce qui pourrait entraîner des erreurs ou des bugs.

1. Supprimer Robots.txt à l’aide du client FTP

Utiliser un client FTP pour supprimer le fichier robots.txt de votre site WordPress est simple. Vous pouvez accéder au FTP pour WordPress avec un client FTP comme FileZilla ou Cyberduck. Vous pouvez ensuite commencer à modifier les fichiers de votre site web.

Pour ce tutoriel , nous utiliserons le client FTP FileZilla  , que vous pouvez télécharger et installer sur votre ordinateur depuis leur site web. Vous êtes libre d’utiliser le client FTP de votre choix. Les étapes sont quasiment identiques.

Après avoir installé le client FTP, vous devez connecter votre site web au client FTP. Ouvrez l’application FileZilla sur votre ordinateur et accédez à Fichier > Gestionnaire de sites en haut à gauche de la barre de menus. Vous pouvez également utiliser le raccourci clavier Ctrl+S pour accéder au gestionnaire de sites.

Ensuite, cliquez sur Nouveau site et entrez le nom de votre site Web sous Mes sites .

Ouvrez maintenant l’ onglet « Général » à droite de votre écran. Vous y devrez saisir les identifiants pour connecter votre site au client FTP. Si vous ne disposez pas des identifiants nécessaires, vous pouvez les demander à votre hébergeur.

Après avoir saisi les informations d’identification, cliquez sur Connecter .

Vous avez maintenant accès au répertoire de fichiers de votre site web, d’où vous pouvez supprimer le fichier robust.txt de votre site WordPress. Le fichier robots.txt se trouve dans le répertoire racine de votre site web, également appelé dossier « public_html ». Vous pouvez y accéder via Filezilla Explorer.

Once you find the robots.txt file, right-click on the file and select Delete.

That’s it! You have successfully removed the robots.txt file from your WordPress website.

2. Remove Robots.txt from cPanel

If you want a more direct approach to manually removing the robots.txt file from your WordPress website, you can use the cPanel. All you have to do is log in to your cPanel account using the link provided by your hosting provider. Again, you can contact your hosting provider if you don’t have the necessary credentials and details.

After logging in to the cPanel, scroll to the Files section and click on File Manager. You can now access all the files of your WordPress website.

Then, navigate to the root directory or “public_html” folder since the robots.txt file is here. Now, select the robots.txt file and click Delete on the file manager’s menu bar.

Great! Your robots.txt file is now removed from your WordPress website.

How to Disable Robots.txt in WordPress?

The above-mentioned approaches can help you remove the robots.txt file from your WordPress website. But it isn’t usually recommended as the file is very important for your SEO. So if you want a safer option, you can disable the robots.txt file in your WordPress website.

As a result, the robots.txt file will be present in your website file directory even if there won’t be any restrictions for the search engine bots to crawl and index your website. There are several ways to disable the robots.txt file in WordPress. You can do so directly from the WordPress dashboard or edit the file manually using a plugin, FTP, or cPanel.

1. Disable Robots.txt from WordPress Dashboard

It’s straightforward to disable the robots.txt file from your WordPress dashboard. All you have to do is go to Settings > Reading from your WordPress dashboard, uncheck the Search Engine Visibility option, and save the changes.

 This will remove all the contents of the robots.txt file in your WordPress website and change it to:

User-agent: *
Disallow:

Therefore, this will prevent the search engines from indexing your website. But the decision to honor this request lies with search engines.

2. Disable Robots.txt Using a Plugin

You can also edit and disable the robots.txt file using a plugin if you already use an SEO plugin from your WordPress website. This can save a lot of time if you don’t want the search engine bots to index your site using the robots.txt file.

Several WordPress SEO plugins allow you to edit and disable the robots.txt file. But we will be using the Rank Math SEO plugin for this demonstration.

It has a very straightforward interface for editing the robots.txt file. This will make it very easy to edit and remove the contents of the robots.txt file of your WordPress website to deactivate it.

If you want to use any other SEO plugin, you can do so. The steps are very similar to each plugin. So you have to install and activate the plugin before you start using it.

2.1. Install and Activate the Plugin

To install the plugin, go to Plugins > Add New from your WordPress dashboard and search for the keywords of the plugin. As soon as it is displayed on the search results, click Install Now.

The installation will be completed in just a few seconds. Then, click on Activate to activate the plugin.

You can also manually upload and install the plugin if you want to use any premium SEO plugins. Please look at our guide on manually installing a WordPress plugin if you need help.

2.2. Edit and Disable Robots.txt File

After you activate the plugin, go to Rank Math > General Settings from your WordPress dashboard and open the Edit robots.txt file tab. This will allow you to edit the codes and instructions you want to include in your robots.txt file. The plugin has even provided a text editor here to add or remove the codes and instructions on your robots.txt file.

If you have edited this file before, you may see several instructions here depending on the pages you don’t want the search engine bots to crawl and index. On the other hand, if this is the default robots.txt file that WordPress created, you will see the following details:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Here, all you have to do is remove all the additional codes in the robots.txt file and leave the file with the following instructions:

User-agent: *
Disallow:

After you add the above instruction, click on Save Changes.

That’s it! You have successfully disabled the robots.txt file using a plugin.

3. Disable Robots.txt Using FTP Client or cPanel

The robots.txt file can also be disabled using an FTP client or cPanel. For this approach, you don’t have to remove any contents of the robots.txt file from your WordPress website. However, you need to create a new robots.txt file using any text editor and include just the following instructions:

User-agent: *
Disallow:

Make sure that you save the file as “robots.txt.”

Now all you have to do is upload and replace the newly created robots.txt file with the older one using an FTP client or cPanel.

Si vous souhaitez utiliser FTP , vous pouvez d’abord connecter votre site web au client FTP en suivant les étapes décrites dans ce guide. Ensuite, téléchargez le nouveau fichier robots.txt dans le répertoire racine ou dans le dossier « public_html ».

De même, si vous souhaitez utiliser cPanel pour désactiver le fichier robots.txt, connectez-vous à votre compte cPanel et ouvrez le répertoire correspondant . Suivez les étapes de la section « Supprimer le fichier robots.txt de cPanel » de ce guide. Accédez ensuite au dossier « public_html » et importez le fichier robots.txt nouvellement créé.

Si vous avez besoin d’aide pour modifier ce fichier, consultez notre guide détaillé sur la modification de robots.txt dans WordPress.

Conclusion

Voici les différentes méthodes permettant de désactiver ou de supprimer le fichier robots.txt de votre site WordPress . Cela peut s’avérer utile si des problèmes surviennent sur votre site web à cause du fichier robots.txt. Sa suppression peut également être utile si votre site est en développement ou si vous souhaitez une indexation avancée.

Mais pour résumer, vous pouvez supprimer complètement le fichier robots.txt de votre site Web WordPress en utilisant deux méthodes principales :

• Utilisation du client FTP
• cPanel

Ces deux méthodes sont très efficaces pour supprimer le fichier robots.txt de votre site web. Cependant, comme cela n’est généralement pas recommandé, vous pouvez également le désactiver pour plus de sécurité. Vous pouvez le désactiver via le tableau de bord WordPress ou le modifier via une extension, FTP ou cPanel.

Pouvez-vous supprimer ou désactiver le fichier robots.txt maintenant ? N’hésitez pas à nous faire savoir si vous avez déjà essayé.

En attendant, voici quelques guides supplémentaires qui peuvent vous aider à personnaliser ou à améliorer votre site Web WordPress :

• Comment configurer Rank Math SEO ? La bonne méthode !
• Supprimer Yoast SEO de la base de données dans WordPress
• Comment améliorer le référencement de WordPress