negodiy/hotels
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
309de51744ccef9cdfbd7232b22d9748082b9d91
hotels/FINAL_STATUS.md
Фёдор 684fada337 🚀 Full project sync: Hotels RAG & Audit System 
✨ Major Features:
- Complete RAG system for hotel website analysis
- Hybrid audit with BGE-M3 embeddings + Natasha NER
- Universal horizontal Excel reports with dashboards
- Multi-region processing (SPb, Orel, Chukotka, Kamchatka)

📊 Completed Regions:
- Орловская область: 100% (36/36)
- Чукотский АО: 100% (4/4)
- г. Санкт-Петербург: 93% (893/960)
- Камчатский край: 87% (89/102)

🔧 Infrastructure:
- PostgreSQL with pgvector extension
- BGE-M3 embeddings API
- Browserless for web scraping
- N8N workflows for automation
- S3/Nextcloud file storage

📝 Documentation:
- Complete DB schemas
- API documentation
- Setup guides
- Status reports
2025-10-27 22:49:42 +03:00

3.0 KiB
Raw Blame History

🎯 ФИНАЛЬНЫЙ СТАТУС РАБОТЫ

✅ ЧТО ЗАВЕРШЕНО

1️⃣ Excel Отчёты

  • ✅ Создан экспериментальный отчёт create_report_experimental.py
  • ✅ Добавлены ВСЕ колонки реестра (10 штук)
  • ✅ Добавлена колонка registry_url в БД
  • ✅ Реализовано авто-подгон ширины колонок
  • ✅ Реализован перенос текста

2️⃣ База Данных

  • ✅ Структура БД изучена и документирована
  • ✅ Добавлена колонка registry_url в hotel_main
  • ✅ Исправлены дубликаты в hotel_website_processed и hotel_website_chunks

3️⃣ Краулинг

  • ✅ Всего отелей: 33,773
  • ✅ С сайтами: 18,595 (55%)
  • ✅ Спарсено: 16,549 (89% от сайтов)
  • ✅ Failed: 2,045

🔄 ЧТО В ПРОЦЕССЕ

4️⃣ Browserless Краулер

  • Статус: Работает в фоне
  • Процесс: python3 browserless_crawler_parallel.py
  • Потоков: 3 (снижено с 5 чтобы не завалить сервис)
  • Задача: Перекраулинг 2,045 failed отелей
  • Лог: browserless_parallel_3threads.log
  • Время: ~2-3 часа

📊 СТАТИСТИКА ПИТЕРА

  • Всего: 1,646 отелей
  • С сайтами: 960 (58.3%)
  • Спарсено: 896 (93.3%)
  • Failed: 64
  • Чанкинизировано: 3 (остановлено)
  • Проаудировано: 1,646 (версия v1.0)

🔧 КАК ПРОВЕРИТЬ

# Browserless краулер
tail -f browserless_parallel_3threads.log

# Промежуточная статистика
grep "ПРОМЕЖУТОЧНАЯ СТАТИСТИКА" browserless_parallel_3threads.log | tail -1

# Успешные
grep "✅ Найден:" browserless_parallel_3threads.log | wc -l

# Процесс жив?
ps aux | grep browserless_crawler_parallel | grep -v grep

📂 ВАЖНЫЕ ФАЙЛЫ

Скрипты:

  • create_report_experimental.py - Excel отчёты с реестром
  • browserless_crawler_parallel.py - многопоточный краулер
  • retry_failed_hotels.py - анализ failed отелей

Логи:

  • browserless_parallel_3threads.log - текущий краулинг
  • BROWSERLESS_PARALLEL_STATUS.md - документация

Данные:

  • failed_hotels_all_20251018_141545.txt - список 2,045 failed отелей

🎉 ИТОГИ

  1. Краулинг: 89% отелей с сайтами спарсено
  2. Отчёты: Готовы с полными данными реестра
  3. Browserless: Работает стабильно (3 потока)
  4. Структура БД: Полностью изучена и документирована

Создано: 2025-10-18 14:42
Автор: AI Assistant + User