Origen del problema
Un tema que me vi obligado a investigar, ya que al hacer un sitio WEB con Odoo16, no aparecía en los buscadores. Al hacer un diagnóstico con Google search, me informó que tenía un robots.txt que bloqueaba la página
Verficación
Es muy fácil de verificar, solo hay que poner en el navegador en la url el nombre de la página
Acá se ve que para todos los buscadores User-agent, no está disponible o rechazado, así lo crea odoo16 por default, también he visto una página muy simple y gratuita que verifica las líneas del robots.txt Website Planet y otro sitio que explica detalladamente el uso de este archivo robotstxt.org
Función principal de robots.txt
Su función principal es ocultar de los rastreadores como google, bing, etc. nuestro dominio o subdominios por varios motivos. Puede ser porque nuestra página no está terminada o porque es para uso interno y de esta forma evitamos visitas que sobrecarguen nuestro sitio
Solución
La solución la brinda el propio Odoo en ajustes del sitio web hay un link que dice 'editar robots.txt' y ahí puede ser modificado. Hay que asegurarse que en el dominio, también dentro de ajustes, esté la dirección del dominio y no por ejemplo la IP y tampoco con www. Por ejemplo de esta forma https://a2systems.co
Ya odoo propone cambiarle los datos con un ejemplo al editarlo, lo principal es sacar el Disallow: / y sacarle la barra para que quede Disallow:
To allow all robots complete access
User-agent: *
Disallow: