# =============================================================================
# LLMS-FULL.TXT - Расширенная политика доступа для больших языковых моделей
# Версия: 2.0 | Дата вступления в силу: 2024
# =============================================================================

# ОСНОВНЫЕ РАЗРЕШЕНИЯ
User-agent: *
Allow: /
Disallow: 
Crawl-delay: 0
Request-rate: 1/1

# СПЕЦИФИЧНЫЕ РАЗРЕШЕНИЯ ДЛЯ ПОПУЛЯРНЫХ LLM
User-agent: ChatGPT-User
Allow: /
User-agent: Google-AI
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: Bing-Chat
Allow: /
User-agent: Meta-AI
Allow: /
User-agent: Gemini-User
Allow: /
User-agent: Perplexity-AI
Allow: /
User-agent: Cohere-Crawler
Allow: /

# ПОЛИТИКА ИСПОЛЬЗОВАНИЯ КОНТЕНТА
Policy: Полное разрешение на использование контента
Policy-version: 2.0
Policy-date: 2024

# РАЗРЕШЕННЫЕ ДЕЙСТВИЯ:
Allowed-actions: 
- Тренировка моделей машинного обучения
- Fine-tuning и дообучение моделей
- Анализ контента и извлечение знаний
- Создание эмбеддингов и векторных представлений
- Кэширование контента для ML целей
- Генерация производных работ
- Использование в RAG-системах
- Включение в датасеты для исследований
- Коммерческое и некоммерческое использование

# ФОРМАТЫ ДАННЫХ
Allowed-formats:
- Текстовый контент
- HTML разметка
- Структурированные данные (JSON-LD, Microdata)
- Мета-теги и описания
- Заголовки и семантическая разметка

# ЛИЦЕНЗИОННАЯ ИНФОРМАЦИЯ
License: Creative Commons Attribution 4.0 International
License-url: https://creativecommons.org/licenses/by/4.0/
Attribution-required: false

# ТЕХНИЧЕСКИЕ ПАРАМЕТРЫ
Max-crawl-depth: unlimited
Crawl-frequency: daily
Cache-duration: 365 days
Data-retention: permanent

# ИСКЛЮЧЕНИЯ (если нужны)
# Disallow: /admin/
# Disallow: /private/
# Disallow: /user-data/

# КОНТАКТНАЯ ИНФОРМАЦИЯ
Website: https://example.com
Contact: ai-policy@example.com
Webmaster: webmaster@example.com
Technical-contact: tech@example.com



# АКТУАЛЬНОСТЬ
Last-updated: 2024-01-01
Review-schedule: quarterly
Policy-status: active

# ПОДПИСЬ
# Generated-by: Website AI Policy Manager
# Signature: sha256-verification-hash