fix(aihit-sync): Оптимизация GetDeltaAsync и атомарность сохранения

- GetDeltaAsync: фильтрация по relevantParentNames вместо выгрузки всех связей из БД
- SyncAsync: атомарность через ChangeTracker + CommitAsync без явной транзакции

PARR.AIHITRelationshipsSyncer/Services/Implementations/RelationshipsSyncService.cs

@@ -1,4 +1,4 @@
-using Microsoft.EntityFrameworkCore;
+using Microsoft.EntityFrameworkCore;
 using Microsoft.Extensions.Logging;
 using PARR.AIHITRelationshipsSyncer.Models;
 using PARR.AIHITRelationshipsSyncer.Services.Interfaces;
@@ -6,263 +6,256 @@ using PARR.Core.Repositories.Interfaces.Unit;
 using PARR.Domain.Entities.Unit;
 using PARR.Domain.Settings;
 
-namespace PARR.AIHITRelationshipsSyncer.Services.Implementations
+namespace PARR.AIHITRelationshipsSyncer.Services.Implementations;
+
+internal class RelationshipsSyncService : IRelationshipsSyncService
 {
-    internal class RelationshipsSyncService : IRelationshipsSyncService
+    private readonly ILogger<RelationshipsSyncService> _logger;
+    private readonly IUnitRepository _unitRepository;
+    private readonly SettingsFromDb _settingsFromDb;
+
+    public RelationshipsSyncService(
+        ILogger<RelationshipsSyncService> logger,
+        IUnitRepository unitRepository,
+        SettingsFromDb settingsFromDb)
     {
-        private readonly ILogger<RelationshipsSyncService> logger;
+        _logger = logger;
-        private readonly IUnitRepository unitService;
+        _unitRepository = unitRepository;
-        private readonly SettingsFromDb _settingsFromDb;
+        _settingsFromDb = settingsFromDb;
+    }
 
-        public RelationshipsSyncService(
+    public async Task SyncAsync(List<AihitData> aihitData)
-            ILogger<RelationshipsSyncService> logger,
+    {
-            IUnitRepository unitService,
+        var validPairs = ValidateInput(aihitData);
-            SettingsFromDb settingsFromDb
+
-            )
+        if (validPairs.Count == 0)
+            return;
+
+        if (!await PassSafeguardCheckAsync(validPairs.Count))
+            return;
+
+        var unitNames = ExtractUnitNames(validPairs);
+        var unitsByName = await GetOrCreateUnitsAsync(unitNames);
+
+        var (toRemove, toAdd) = await GetDeltaAsync(validPairs);
+
+        // Удаление и добавление накапливаются в одном ChangeTracker.
+        // CommitAsync сохраняет всё атомарно через SaveChangesAsync.
+        await RemoveRelationshipsAsync(toRemove);
+        await AddRelationshipsAsync(toAdd, unitsByName);
+        await CommitChangesAsync(toRemove.Count, toAdd.Count);
+    }
+
+    private List<(string ParentName, string ChildName)> ValidateInput(List<AihitData> data)
+    {
+        if (data == null || data.Count == 0)
         {
-            this.logger = logger;
+            _logger.LogWarning("Получены пустые данные из АИХ ИТ. Синхронизация пропущена");
-            this.unitService = unitService;
+            return new List<(string, string)>();
-            _settingsFromDb = settingsFromDb;
         }
 
+        var validPairs = data
+            .Where(item => !string.IsNullOrWhiteSpace(item.ParentName) && !string.IsNullOrWhiteSpace(item.ChildName))
+            .Where(item => item.ParentName != item.ChildName)
+            .Select(item => (
+                ParentName: item.ParentName!.Trim().ToUpperInvariant(),
+                ChildName: item.ChildName!.Trim().ToUpperInvariant()
+            ))
+            .Distinct()
+            .ToList();
 
-        public async Task SyncAsync(List<AihitData> aihitdata)
+        if (validPairs.Count == 0)
         {
-            // 1. Сначала фильтруем и нормализуем входящий мусор
+            _logger.LogWarning("После нормализации не осталось валидных связей. Синхронизация пропущена");
-            var validPairs = ValidateInput(aihitdata);
+            return new List<(string, string)>();
+        }
 
-            // Если пришел пустой список, то и проверять порог нет смысла (лог уже записан внутри)
+        _logger.LogInformation("Получено {Count} валидных связей", validPairs.Count);
-            if (!validPairs.Any()) return;
+        return validPairs;
+    }
 
-            // 2. FAIL-FAST: Быстро узнаем общее число связей в БД без выкачивания самих данных
+    private async Task<bool> PassSafeguardCheckAsync(int incomingCount)
-            int previousCount = await unitService.Get()
+    {
-                                    .SelectMany(u => u.ChildUnits)
+        var previousCount = await _unitRepository.Get()
-                                    .CountAsync();
+            .SelectMany(u => u.ChildUnits)
+            .CountAsync();
 
-            // 3. SAFEGUARD COMPLIANCE: Проверяем защитный порог падения данных
+        if (previousCount == 0)
-            if (previousCount > 0)
+            return true;
+
+        var currentPercentage = Math.Round((decimal)incomingCount / previousCount * 100, 1, MidpointRounding.AwayFromZero);
+
+        if (currentPercentage < _settingsFromDb.MinRelationshipsThresholdPct)
+        {
+            _logger.LogWarning(
+                "Синхронизация отменена: количество полученных связей ниже порогового значения. " +
+                "Получено: {CurrentCount} ({CurrentPercentage:F1}%), порог: {Threshold}% от прошлого объема ({PreviousCount})",
+                incomingCount, currentPercentage, _settingsFromDb.MinRelationshipsThresholdPct, previousCount);
+            return false;
+        }
+
+        return true;
+    }
+
+    private static List<string> ExtractUnitNames(List<(string ParentName, string ChildName)> pairs)
+    {
+        return pairs
+            .SelectMany(pair => new[] { pair.ParentName, pair.ChildName })
+            .Distinct()
+            .ToList();
+    }
+
+    private async Task<Dictionary<string, Unit>> GetOrCreateUnitsAsync(List<string> names)
+    {
+        var existingUnits = await _unitRepository.Get()
+            .AsNoTracking()
+            .ToDictionaryAsync(u => u.Name, StringComparer.Ordinal);
+
+        var missingNames = names.Except(existingUnits.Keys).ToList();
+
+        if (missingNames.Count == 0)
+            return existingUnits;
+
+        _logger.LogInformation("Создание отсутствующих юнитов: {Count}", missingNames.Count);
+
+        foreach (var name in missingNames)
+        {
+            var unit = new Unit
             {
-                // 1. Считаем в decimal с абсолютной точностью
+                Id = Guid.NewGuid(),
-                decimal exactPercentage = ((decimal)validPairs.Count / previousCount) * 100;
+                Name = name,
+                DateCreated = DateTimeOffset.UtcNow
+            };
 
-                // 2. Округляем до 1 знака после запятой (например, 96.98% -> 97.0%)
+            if (!await _unitRepository.CreateAsync(unit))
-                // Это защитит от ложных срабатываний из-за пары недостающих связей на больших объемах
+            {
-                decimal currentPercentage = Math.Round(exactPercentage, 1, MidpointRounding.AwayFromZero);
+                _logger.LogError("Не удалось создать юнит: {Name}", name);
-
+                continue;
-                // 3. Строгое сравнение (<) гарантирует пропуск при ровно 97% и работу "0" как выключателя
-                if (currentPercentage < _settingsFromDb.MinRelationshipsThresholdPct)
-                {
-                    logger.LogWarning(
-                        "Синхронизация отменена: количество полученных связей ниже порогового значения! " +
-                        "Получено: {CurrentCount} ({CurrentPercentage:F1}%), ожидалось >= {Threshold}% от прошлого объема ({PreviousCount}).",
-                        validPairs.Count, currentPercentage, _settingsFromDb.MinRelationshipsThresholdPct, previousCount);
-
-                    return;
-                }
             }
 
-            // 4. HAPPY PATH: Если проверка пройдена, выполняем тяжелую работу
+            existingUnits[name] = unit;
-            var sourceUnitNames = ExtractUnitNames(validPairs);
+            _logger.LogDebug("Создан юнит: {Name}", name);
-            var existingUnits = await GetOrCreateUnitsAsync(sourceUnitNames);
-
-            var (toRemove, toAdd) = await GetDeltaAsync(validPairs);
-
-            await RemoveRelationshipsAsync(toRemove);
-            await AddRelationshipsAsync(toAdd, existingUnits);
-
-            await FinalCommitAsync(toRemove.Count, toAdd.Count);
         }
 
+        await _unitRepository.CommitAsync();
+        return existingUnits;
+    }
 
-        private List<(string Parent, string Child)> ValidateInput(List<AihitData> data)
+    private async Task<(List<ExistingRelationship> ToRemove, List<(string ParentName, string ChildName)> ToAdd)> GetDeltaAsync(
-        {
+        List<(string ParentName, string ChildName)> sourcePairs)
-            if (data == null || data.Count == 0)
+    {
+        var relevantParentNames = sourcePairs.Select(p => p.ParentName).Distinct().ToList();
+    
+        var existingForParents = await _unitRepository.Get()
+            .AsNoTracking()
+            .Include(u => u.ChildUnits).ThenInclude(r => r.ChildUnit)
+            .Where(u => relevantParentNames.Contains(u.Name))
+            .SelectMany(u => u.ChildUnits, (parent, relationship) => new ExistingRelationship
             {
-                logger.LogWarning("Получены пустые или null данные из АИХ ИТ. Пропускаю синхронизацию");
+                ParentName = parent.Name,
-                return null!;
+                ChildName = relationship.ChildUnit!.Name,
+                Relationship = relationship
+            })
+            .ToListAsync();
+    
+        var sourceSet = new HashSet<(string, string)>(sourcePairs);
+        var existingSet = new HashSet<(string, string)>(
+            existingForParents.Select(x => (x.ParentName, x.ChildName)));
+    
+        var toRemove = existingForParents
+            .Where(r => !sourceSet.Contains((r.ParentName, r.ChildName)))
+            .ToList();
+    
+        var toAdd = sourcePairs
+            .Where(p => !existingSet.Contains(p))
+            .ToList();
+    
+        _logger.LogInformation("Дельта: удаление {ToRemove}, добавление {ToAdd}", toRemove.Count, toAdd.Count);
+        return (toRemove, toAdd);
+    }
+
+    private async Task RemoveRelationshipsAsync(List<ExistingRelationship> toRemove)
+    {
+        if (toRemove.Count == 0)
+            return;
+
+        var parentNames = toRemove.Select(r => r.ParentName).Distinct().ToList();
+
+        var parents = await _unitRepository.Get()
+            .Include(u => u.ChildUnits)
+            .Where(u => parentNames.Contains(u.Name))
+            .ToDictionaryAsync(u => u.Name, StringComparer.Ordinal);
+
+        foreach (var relationship in toRemove)
+        {
+            if (!parents.TryGetValue(relationship.ParentName, out var parent))
+            {
+                _logger.LogWarning("Родитель '{Parent}' не найден при удалении связи с '{Child}'",
+                    relationship.ParentName, relationship.ChildName);
+                continue;
             }
 
-            var validPairs = data
+            var entityToRemove = parent.ChildUnits
-                            .Where(t => !string.IsNullOrWhiteSpace(t.ParentName) && !string.IsNullOrWhiteSpace(t.ChildName))
+                .FirstOrDefault(r => r.ChildUnitId == relationship.Relationship.ChildUnitId);
-                            .Where(t => t.ParentName != t.ChildName)
+
-                            .Select(t => (
+            if (entityToRemove != null)
-                                Parent: t.ParentName!.Trim().ToUpperInvariant(),
+                parent.ChildUnits.Remove(entityToRemove);
-                                Child: t.ChildName!.Trim().ToUpperInvariant()
+        }
-                            ))
+    }
-                            .Distinct()
+
-                            .ToList();
+    private async Task AddRelationshipsAsync(
-            if (validPairs.Count == 0)
+        List<(string ParentName, string ChildName)> toAdd,
+        Dictionary<string, Unit> unitsByName)
+    {
+        if (toAdd.Count == 0)
+            return;
+
+        var parentNames = toAdd.Select(x => x.ParentName).Distinct().ToList();
+
+        var parents = await _unitRepository.Get()
+            .Include(u => u.ChildUnits)
+            .Where(u => parentNames.Contains(u.Name))
+            .ToDictionaryAsync(u => u.Name, StringComparer.Ordinal);
+
+        foreach (var (parentName, childName) in toAdd)
+        {
+            if (!parents.TryGetValue(parentName, out var parent) ||
+                !unitsByName.TryGetValue(childName, out var child))
             {
-                logger.LogWarning("После нормализации не осталось валидных связей. Пропускаю синхронизацию");
+                _logger.LogWarning("Пропущена связь '{Parent}' - '{Child}': юнит не найден", parentName, childName);
-                return new();
+                continue;
             }
 
-            logger.LogInformation("Получено {Count} валидных связей", validPairs.Count);
+            if (parent.ChildUnits.Any(r => r.ChildUnitId == child.Id))
-            return validPairs;
+                continue;
-        }
 
-
+            parent.ChildUnits.Add(new UnitInUnit
-        private static List<string> ExtractUnitNames(List<(string Parent, string Child)> pairs)
-        {
-            return pairs
-                    .SelectMany(x => new[] { x.Parent, x.Child })
-                    .Distinct()
-                    .ToList();
-        }
-
-
-        private async Task<Dictionary<string, Unit>> GetOrCreateUnitsAsync(List<string> names)
-        {
-            var existing = await unitService.Get()
-                                    .AsNoTracking()
-                                    .ToDictionaryAsync(u => u.Name, StringComparer.Ordinal);
-
-            var missing = names.Except(existing.Keys).ToList();
-            if (!missing.Any()) return existing;
-
-            logger.LogInformation("Создание отсутствующих Unit:{Count}", missing.Count);
-            foreach (var name in missing)
             {
-                var unit = new Unit
+                ParentUnitId = parent.Id,
-                {
+                ChildUnitId = child.Id,
-                    Id = Guid.NewGuid(),
+                DateCreated = DateTimeOffset.UtcNow
-                    Name = name,
+            });
-                    DateCreated = DateTimeOffset.UtcNow
-                };
-
-                if (await unitService.CreateAsync(unit))
-                {
-                    logger.LogInformation("Создан Unit: {Name}", name);
-                    existing[name] = unit;
-                }
-                else
-                    logger.LogError("Не удалось создать Unit: {Name}", name);
-            }
-
-            await unitService.CommitAsync();
-            return existing;
         }
+    }
 
-
+    private async Task CommitChangesAsync(int removedCount, int addedCount)
-        private async Task<(List<ExistingRelationship> ToRemove, List<(string, string)> ToAdd)> GetDeltaAsync(List<(string Parent, string Child)> sourcePairs)
+    {
+        if (removedCount == 0 && addedCount == 0)
         {
-            var allExistings = await unitService.Get()
+            _logger.LogInformation("Изменений не обнаружено");
-                                    .AsNoTracking()
+            return;
-                                    .Include(u => u.ChildUnits).ThenInclude(r => r.ChildUnit)
-                                    .Where(u => u.ChildUnits.Any())
-                                    .SelectMany(u => u.ChildUnits, (parent, relationship) => new ExistingRelationship
-                                    {
-                                        ParentName = parent.Name,
-                                        ChildName = relationship.ChildUnit!.Name,
-                                        Relationship = relationship
-                                    }
-                                    )
-                                    .ToListAsync();
-
-            var sourceSet = new HashSet<(string, string)>(sourcePairs);
-            var existingSet = new HashSet<(string, string)>(allExistings.Select(x => (x.ParentName, x.ChildName)));
-
-            var toRemove = allExistings.Where(r => !sourceSet.Contains((r.ParentName, r.ChildName))).ToList();
-            var toAdd = sourcePairs.Where(p => !existingSet.Contains(p)).ToList();
-
-            logger.LogInformation("Связей для удаления: {ToRemove}, для добавления: {ToAdd}", toRemove.Count, toAdd.Count);
-            return (toRemove, toAdd);
         }
 
+        if (!await _unitRepository.CommitAsync())
+            throw new InvalidOperationException("Не удалось сохранить изменения связей в БД");
 
-        private async Task RemoveRelationshipsAsync(List<ExistingRelationship> toRemove)
+        _logger.LogInformation("Синхронизация завершена. Удалено: {Removed}, добавлено: {Added}", removedCount, addedCount);
-        {
+    }
-            if (!toRemove.Any()) return;
-
-            var parentNames = toRemove.Select(r => r.ParentName).Distinct().ToList();
-
-            var parents = await unitService.Get()
-                                .Include(u => u.ChildUnits)
-                                .Where(u => parentNames.Contains(u.Name))
-                                .ToDictionaryAsync(u => u.Name, StringComparer.Ordinal);
-
-            foreach (var rel in toRemove)
-            {
-                if (!parents.TryGetValue(rel.ParentName, out var parent))
-                {
-                    logger.LogWarning("Родитель '{Parent}' не найден при попытке удаления связи - '{Child}'", rel.ParentName, rel.ChildName);
-                    continue;
-                }
-
-                var relationshipToRemove = parent.ChildUnits
-                                                .FirstOrDefault(r => r.ChildUnitId == rel.Relationship.ChildUnitId);
-
-                if (relationshipToRemove != null)
-                {
-                    logger.LogInformation("Удаление связи: '{Parent}' - '{Child}'", rel.ParentName, rel.ChildName);
-                    parent.ChildUnits.Remove(relationshipToRemove);
-                }
-                else
-                {
-                    logger.LogWarning("Связь '{Parent}'-'{Child}' не найдена в коллекции ChildUnits для удаления", rel.ParentName, rel.ChildName);
-                }
-            }
-        }
-
-        private async Task AddRelationshipsAsync(List<(string Parent, string Child)> toAdd, Dictionary<string, Unit> allUnits)
-        {
-            if (!toAdd.Any()) return;
-
-            var parentNames = toAdd.Select(x => x.Parent).Distinct().ToList();
-            var parents = await unitService.Get()
-                                    .Include(u => u.ChildUnits)
-                                    .Where(u => parentNames.Contains(u.Name))
-                                    .ToDictionaryAsync(u => u.Name, StringComparer.Ordinal);
-
-            foreach (var (Parent, Child) in toAdd)
-            {
-                if (!parents.TryGetValue(Parent, out var parent) ||
-                    !allUnits.TryGetValue(Child, out var child))
-                {
-                    logger.LogWarning("Пропущена связь '{Parent}' - '{Child}': Unit не найден", Parent, Child);
-                    continue;
-                }
-
-                if (parent!.ChildUnits.Any(r => r.ChildUnitId == child.Id))
-                {
-                    logger.LogWarning("Связь уже существует: '{Parent}' - '{Child}'", Parent, Child);
-                    continue;
-                }
-
-                parent.ChildUnits.Add(new UnitInUnit
-                {
-                    ParentUnitId = parent.Id,
-                    ChildUnitId = child.Id,
-                    DateCreated = DateTimeOffset.UtcNow
-                });
-
-                logger.LogInformation("Добавлена связь: '{Parent}' - '{Child}'", Parent, Child);
-            }
-        }
-
-
-        private async Task FinalCommitAsync(int removedCount, int addedCount)
-        {
-            if (removedCount > 0 || addedCount > 0)
-            {
-                if (await unitService.CommitAsync())
-                {
-                    logger.LogInformation("Синхронизация завершена. Удалено: {Removed}, добавлено: {Added}", removedCount, addedCount);
-                }
-                else
-                    logger.LogError("Не удалось сохранить изменения в БД");
-            }
-            else
-                logger.LogInformation("Изменений не обнаружено");
-        }
-
-        private sealed class ExistingRelationship
-        {
-            public string ParentName { get; init; }
-            public string ChildName { get; init; }
-            public UnitInUnit Relationship { get; init; }
-        }
 
+    private sealed class ExistingRelationship
+    {
+        public string ParentName { get; init; } = null!;
+        public string ChildName { get; init; } = null!;
+        public UnitInUnit Relationship { get; init; } = null!;
     }
 }
-