aiform_prod/SESSION_LOG_2025-11-26_DOCUMENTS_FIX.md

# Лог сессии: Исправление загрузки документов и SQL запросов

**Дата:** 2025-11-26  
**Тема:** Исправление потери документов, дубликатов и правильного определения field_name

---

## Проблемы, которые были решены

### 1. Потеря документов при обновлении черновика
**Проблема:** При обработке нового документа через SQL `claimsave_final` существующие документы терялись.

**Причина:**
- SQL перезаписывал `documents_meta` вместо объединения
- `documents_uploaded` мог быть перезаписан пустым массивом, если `jsonb_agg` возвращал NULL

**Решение:**
- Исправлен SQL `SQL_CLAIMSAVE_FINAL_FIXED_NEW_FLOW_WITH_UPLOADED.sql`:
  - `documents_meta` теперь объединяется с существующими
  - `documents_uploaded` всегда начинается с существующих документов
  - Добавлена проверка на пустой массив перед перезаписью

### 2. Дубликаты документов в documents_meta
**Проблема:** В `documents_meta` были дубликаты (один и тот же `file_id` встречался несколько раз).

**Решение:**
- Создан скрипт `fix_documents_meta_duplicates.py` для удаления дубликатов
- Исправлена логика объединения в SQL

### 3. Неправильное определение типа документа
**Проблема:** Чек определялся как `contract` вместо `payment`.

**Причина:**
- SQL проверял `field_name` раньше, чем `field_label`
- `field_name` был `uploads[0][0]` для всех документов

**Решение:**
- Изменён порядок проверки в SQL: сначала `field_label`, потом `field_name`
- Исправлен файл `SQL_CLAIMSAVE_FINAL_FIXED_NEW_FLOW_WITH_UPLOADED.sql`

### 4. Все документы имели одинаковый field_name
**Проблема:** В таблице `clpr_claim_documents` все документы имели `field_name: uploads[0][0]`, из-за чего второй документ перезаписывал первый.

**Причина:**
- `group_index` (индекс документа в `documents_required`) не передавался с фронтенда
- Код n8n использовал `group_index_num` из OCR, который всегда был `0`

**Решение:**
- Фронтенд (`StepWizardPlan.tsx`): добавлена передача `group_index` в запрос
- Бэкенд (`documents.py`): добавлено получение `group_index` из Form и передача в n8n
- Код n8n (`N8N_CODE_PROCESS_UPLOADED_FILES_FIXED.js`): приоритет `group_index` из body над `group_index_num` из OCR
- Создан скрипт `fix_claim_documents_field_names.py` для исправления существующих документов

### 5. SQL для claimsave перезаписывал documents_meta
**Проблема:** SQL `claimsave` перезаписывал `documents_meta` вместо объединения.

**Решение:**
- Исправлен файл `SQL_CLAIMSAVE_FIXED_NEW_FLOW.sql`:
  - `documents_meta` объединяется с существующими
  - Критичные поля удаляются из нового payload перед объединением
  - Затем устанавливаются отдельно через `jsonb_set`

### 6. Дубликаты в списке загруженных документов на фронтенде
**Проблема:** React ошибка "Encountered two children with the same key, `contract`".

**Решение:**
- Исправлен `StepWizardPlan.tsx`:
  - Убраны дубликаты при инициализации `uploadedDocs`
  - Проверка на дубликаты при добавлении нового документа
  - Использование `Array.from(new Set())` при рендеринге

---

## Созданные файлы

### SQL запросы
- `docs/SQL_CLAIMSAVE_FINAL_FIXED_NEW_FLOW_WITH_UPLOADED.sql` - SQL для сохранения документов с автоматическим созданием `documents_uploaded`
- `docs/SQL_CLAIMSAVE_FIXED_NEW_FLOW.sql` - Исправленный SQL для `claimsave` с объединением `documents_meta`
- `docs/SQL_FIX_DRAFT_BDDB6815.sql` - SQL для исправления конкретного черновика
- `docs/SQL_FIX_CLAIM_DOCUMENTS_FIELD_NAMES.sql` - SQL для исправления `field_name` в таблице

### Код n8n
- `docs/N8N_CODE_PROCESS_UPLOADED_FILES_FIXED.js` - Исправленный код для обработки загруженных файлов с поддержкой `group_index`

### Скрипты для исправления данных
- `fix_draft_bddb6815_with_contract.py` - Скрипт для исправления черновика с учётом загруженных документов
- `fix_documents_meta_duplicates.py` - Скрипт для удаления дубликатов из `documents_meta`
- `fix_claim_documents_field_names.py` - Скрипт для исправления `field_name` в таблице `clpr_claim_documents`
- `check_documents_detailed.py` - Скрипт для детальной проверки документов
- `check_documents_mismatch.py` - Скрипт для проверки несоответствий между `documents_uploaded` и таблицей

---

## Изменённые файлы

### Backend
- `backend/app/api/documents.py` - Добавлена передача `group_index` в n8n
- `backend/app/api/claims.py` - Обновлена логика загрузки черновиков, добавлена поддержка `documents_required`
- `backend/app/api/events.py` - Исправлены синтаксические ошибки (удалены дубликаты кода)
- `backend/app/api/models.py` - Добавлены поля `unified_id` и `contact_id`

### Frontend
- `frontend/src/pages/ClaimForm.tsx` - Обновлена логика загрузки черновиков, добавлена поддержка нового флоу
- `frontend/src/components/form/StepWizardPlan.tsx` - Добавлена передача `group_index`, исправлены дубликаты в списке документов
- `frontend/src/components/form/StepDraftSelection.tsx` - Обновлена логика определения legacy черновиков
- `frontend/src/components/form/StepDescription.tsx` - Добавлена передача `unified_id` и `contact_id`

---

## Результаты

### Исправлено для черновика `bddb6815-8e17-4d54-a721-5e94382942c7`:
- ✅ Удалены дубликаты из `documents_meta` (было 4, стало 3)
- ✅ Исправлены типы документов в `documents_uploaded` (чек теперь `payment`, а не `contract`)
- ✅ Исправлены `field_name` в таблице `clpr_claim_documents`:
  - `uploads[0][0]` - contract (договор)
  - `uploads[1][0]` - payment (чек)
  - `uploads[3][0]` - evidence_photo (фото доказательства)

### Текущее состояние:
- `documents_required`: 4 документа
- `documents_uploaded`: 2 документа (contract, payment)
- `documents_meta`: 3 документа (без дубликатов)
- `current_doc_index`: 2 (следующий документ - correspondence)
- `status_code`: `draft_docs_progress`

---

## Что нужно сделать дальше

1. **Обновить код n8n:**
   - Заменить код в узле "Process Uploaded Files" на версию из `N8N_CODE_PROCESS_UPLOADED_FILES_FIXED.js`
   - Убедиться, что `group_index` передаётся из body

2. **Обновить SQL в n8n:**
   - Заменить SQL в узле "claimsave" на версию из `SQL_CLAIMSAVE_FIXED_NEW_FLOW.sql`
   - Заменить SQL в узле "claimsave_final" на версию из `SQL_CLAIMSAVE_FINAL_FIXED_NEW_FLOW_WITH_UPLOADED.sql`

3. **Проверить работу:**
   - Загрузить новый документ через интерфейс
   - Убедиться, что он получает правильный `field_name` (например, `uploads[2][0]` для третьего документа)
   - Проверить, что документы не теряются при обновлении черновика

---

## Важные моменты

1. **Приоритет определения типа документа:**
   - Сначала проверяется `field_label` (более точный)
   - Потом проверяется `field_name` (fallback)

2. **Объединение документов:**
   - `documents_meta` всегда объединяется с существующими
   - `documents_uploaded` всегда начинается с существующих документов
   - Новые документы добавляются только если их нет в существующих

3. **field_name:**
   - Формат: `uploads[{group_index}][0]`
   - `group_index` = индекс документа в `documents_required` (0-based)
   - Передаётся с фронтенда через параметр `group_index`

---

## Команды для проверки

```bash
# Проверить документы в черновике
docker exec ticket_form_backend python3 /app/check_documents_detailed.py

# Проверить документы в таблице
docker exec ticket_form_backend python3 /app/check_claim_documents_table.py

# Исправить field_name для существующих документов
docker exec ticket_form_backend python3 /app/fix_claim_documents_field_names.py
```