Генератор robots.txt
Створіть правильний файл інструкцій для пошукових роботів (Google, Bing та ін.) за пару кліків.
Готові шаблони
Згенерований код robots.txt
Часті запитання
Що таке файл robots.txt?
Це звичайний текстовий файл, розташований у кореневому каталозі домена. Він використовує протокол виключення роботів, щоб передавати директиви автоматичним сканерам.
Які наслідки помилки в синтаксисі?
Навіть одна друкарська помилка, наприклад зайва коса риска в правилі «Disallow: /», може заблокувати доступ до всього сайту, і він випаде з пошуку. Наш генератор виключає подібні ризики.
Чи варто використовувати директиву Crawl-delay?
Google зараз практично ігнорує цю директиву, але вона залишається важливою для управління агресивними ботами (такими як Yandex, Baidu чи Bing) задля запобігання перевантаженню сервера.
Чи потрібно закривати від ботів стилі CSS та скрипти JS?
Ні. Сучасним пошуковим системам необхідний доступ до цих файлів, щоб коректно рендерити сторінку та оцінювати зручність її мобільної версії.
Навіщо потрібен правильний robots.txt для SEO?
Файл robots.txt — це перший документ, до якого звертається будь-який пошуковий робот. Він виконує роль диспетчера, вказуючи краулерам, які розділи сайту відкриті для сканування, а які необхідно обійти стороною.
Закриваючи від індексації технічні сторінки, кошики, динамічні фільтри та сторінки пошуку, ви заощаджуєте так званий «краулінговий бюджет». Це гарантує, що пошукові системи витратять свої ресурси на індексацію ваших важливих статей і товарів, а не на технічне сміття.
Корисні інструменти для роботи
Обирайте потрібні утиліти для швидкого вирішення завдань онлайн
🌐 Мережа та діагностика
Інформація про домен DNS та Whois сайта
Перевірка DNS-записів (A, MX, TXT тощо) та розширена інформація Whois про будь-який домен.
Мій IP адрес
Визначення вашої IP-адреси, перевірка User-Agent та HTTP-заголовків.
IP та Геолокація сайту
Визначення IP-адреси домену, країни, міста, провайдера та інтерактивна мапа.
Перевірка портів
Сканування стандартних та кастомних портів на сервері (HTTP, HTTPS, SSH, FTP, MySQL тощо).
Визначник хостингу
Швидке визначення хостинг-провайдера, дата-центру та автономної системи (AS) за доменом чи IP.
Сайти за IP-адресою (Reverse IP)
Пошук усіх доменів та веб-сайтів, які розміщені на одній IP-адресі або сервері.
Генератор Cron-виразів
Інтерактивний конструктор розкладу для планувальника завдань Linux (crontab).
📈 SEO та веб-аналіз
Meta Tags & Open Graph Generator
Генератор HTML мета-тегів, Open Graph (OG) та Twitter Cards для оптимізації соцмереж та SEO.
Перевірка SSL/TLS
Аналіз SSL-сертифіката домену: ким виданий, термін дії та ланцюжок довіри.
Визначник CMS
Автоматичне визначення системи управління контентом (WordPress, OkayCMS, OpenCart тощо).
Аналізатор вихідних посилань
Сканування сторінки сайту та виявлення всіх сторонніх ресурсів, соцмереж, CDN та посилань.
Аналітика та Пікселі
Визначення підключених систем аналітики (Google Analytics, GTM, Microsoft Clarity, Facebook Pixel тощо).
SEO-аналізатор сторінки
Перевірка мета-тегів (Title, Description), заголовків H1-H2, Open Graph та мікророзмітки Schema.org.
Генератор Sitemap (XML)
Автоматичний сканер сайту та ручний конструктор карти сайту для Google Search Console.
Генератори та утиліти
UUID, Регістр та Lorem
Генератор UUID v4, розумний конвертер регістру тексту та генератор текст-риби.
Аналізатор та перевірка заголовків безпеки сайту
Перевірте конфігурацію HTTP-захисту вашого веб-ресурсу, знайдіть вразливості та згенеруйте готові серверні скрипти для захисту від хакерських атак.
JWT Decoder
Миттєве розшифрування та перегляд заголовка (Header) і корисного навантаження (Payload) JSON Web Token.
Redirect Checker
Перевірка ланцюжка редіректів (301, 302 тощо), кодів відповіді та кінцевої URL-адреси.
Unix Timestamp Converter
Миттєве перетворення Unix Timestamp у звичайну дату та часу у формат timestamp.
Text Diff (Порівняння)
Онлайн-порівняння двох текстів або кодів. Знаходить додані, видалені та змінені фрагменти.
Regex Tester
Онлайн-тестер регулярних виразів. Перевірка збігів, підсвітка тексту та тестування патернів у реальному часі.
URL Encode / Decode
Онлайн-інструмент для безпечного кодування та декодування URL-адрес та GET-параметрів.
Base64 Encode / Decode
Безпечне онлайн кодування та декодування тексту у формат Base64 з підтримкою UTF-8.
JSON Formatter & Validator
Форматування, перевірка валідності, мініфікація та сортування ключів JSON онлайн у браузері.
Генератор QR-кодів
Миттєве створення QR-кодів для сайтів, посилань чи тексту з можливістю завантаження.
Генератор UTM-меток
Створення маркованих посилань для аналітики рекламних кампаній та трафіку.
Генератор Google-відгуків
Створення прямих посилань, кнопок та QR-кодів для збору відгуків у Google Maps.
Транслітератор тексту
Миттєве переведення кирилиці в латиницю, заміна пробілів та генерація SEO-slug.
Таблиця HTML-символів
Довідник спецсимволів, знаків валют, математики та цитат з швидким копіюванням.
Конвертер та підбір кольорів
Миттєве перетворення кольорів між HEX, RGB, HSL та готові палітри для сайту.
Генератор CSS-кнопок
Професійний інструмент створення кастомних кнопок з ефектами hover, відступами та тінями.
Очищувач прихованих AI-символів
Виявлення та видалення невидимих службових символів та артефактів з текстів штучного інтелекту.
Візуальний редактор HTML
WYSIWYG редактор текстів із миттєвою генерацією та копіюванням чистого HTML-коду.
Каталог емодзі та іконок
Зручна бібліотека емодзі з миттєвим пошуком та копіюванням в один клік.
Генератор хешів та паролів
Швидке створення MD5, SHA-1, SHA-256 хешів та генерація надійних паролів.