User-agent: * 
Crawl-delay: 10 # задает таймаут в х секунд для всех поисковых роботов
Disallow: */feed/
Disallow: /category/news/

User-agent: MJ12bot
Disallow: /

User-agent: VelenPublicWebCrawler
Disallow: /