Also die robots.txt ist nur dafür da um den Suchmaschinen zu sagen was sie lesen dürfen und was nicht.
Das Problem an der Sache ist, das nicht alle sich daran halten
Google und co. schon

Hier mal eine kleine Erklärung wie sie aussehen sollte
https://wiki.selfhtml.org/wiki/Grundlagen/Robots
Hoffe das verstehst du ansonsten nachfragen