mikhail/parr_api
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(dal, templateMatcher): изменена логика работы Shortcodes сервиса в сторону самостоятельной дозагрузки данных из БД, в Template сервис добавлен метод атомарного резервирования шаблона для TemplateMatcher

Browse Source
This commit is contained in:
Mikhail Kuznetsov
2026-01-16 18:26:06 +10:00
parent 99a491ede8
commit d91877453a
25 changed files with 822 additions and 509 deletions
Download Patch File Download Diff File Expand all files Collapse all files

109
PARR.TemplateMatcher/Services/Implemetaions/GroupedTemplateSynchronizer.cs
View File

@@ -21,7 +21,7 @@ namespace PARR.TemplateMatcher.Services.Implementations;
internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
{
#if DEBUG
private readonly Guid targetUnitId = Guid.Parse("d4322a08-246b-4380-8953-8ce4a8446235");
private readonly Guid targetUnitId = Guid.Parse("87fc4c36-1ea8-4163-983f-1605fee1de99");
#endif
private const bool DefaultUsedTemplateState = false;
@@ -163,7 +163,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
else
{
logger.LogDebug("Юнит {TargetUnitId} НЕ найден в expectedUnitIds.", targetUnitId);
//return; // ❌ юнит отсеялся на этом этапе
}
#endif
@@ -179,7 +178,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
// Загрузить UnitValues для юнитов из expectedUnitIds, чтобы проверить GroupingUnitFieldId
var expectedUnitsWithGroupingField = await unitService.Get()
.AsNoTracking()
.AsSplitQuery() // Для Unit -> UnitValues
.Include(u => u.UnitValues)
.ThenInclude(uv => uv.Value)
.Where(u => expectedUnitIds.Contains(u.Id))
@@ -199,7 +197,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
else
{
logger.LogDebug("Юнит {TargetUnitId} НЕ найден в unitIdsWithValidGroupingFieldSet.", targetUnitId);
//return; // ❌ юнит отсеялся на этом этапе
}
#endif
@@ -212,15 +209,12 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
}
// --- Дополнительная фильтрация по "РАБОЧАЯ_ГР_ОТВ_ЗА_ЭК" ---
var unitIdsWithValidWorkGroupFieldSet = expectedUnitsWithGroupingField
.Where(u => unitIdsWithValidGroupingFieldSet.Contains(u.Id) && // Убедимся, что юнит уже прошёл фильтр по GroupingFieldId
u.UnitValues.Any(uv =>
uv.FieldId == workGroupFieldId && // Поле "РАБОЧАЯ_ГР_ОТВ_ЗА_ЭК"
uv.Value != null && // Значение существует
regionalGroupValueIds.Contains(uv.Value.Id) // Значение в списке разрешённых
))
.Select(u => u.Id) // Выбираем Id юнита
.ToHashSet(); // И снова в HashSet
var unitIdsWithValidWorkGroupFieldSet = await FilterByWorkGroupFieldAsync(
expectedUnitsWithGroupingField,
unitIdsWithValidGroupingFieldSet,
workGroupFieldId,
regionalGroupValueIds
);
#if DEBUG
// Отладка: проверить, есть ли юнит в unitIdsWithValidWorkGroupFieldSet
@@ -231,7 +225,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
else
{
logger.LogDebug("Юнит {TargetUnitId} НЕ найден в unitIdsWithValidWorkGroupFieldSet.", targetUnitId);
//return; // ❌ юнит отсеялся на этом этапе
}
#endif
@@ -266,7 +259,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
else
{
logger.LogDebug("Юнит {TargetUnitId} НЕ участвует в потенциальных связях UnitInUnit.", targetUnitId);
// ❌ юнит отсеялся на этом этапе, если связи не требовались
}
#endif
@@ -343,7 +335,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
else
{
logger.LogDebug("Юнит {TargetUnitId} НЕ участвует в отфильтрованных связях UnitInUnit.", targetUnitId);
// ❌ юнит отсеялся на этом этапе, если связи требовались
}
#endif
@@ -386,7 +377,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
else
{
logger.LogDebug("Юнит {TargetUnitId} НЕ найден в groupedRelationships.Values до разрешения конфликтов.", targetUnitId);
// ❌ юнит отсеялся на этапе группировки
}
logger.LogDebug("Содержимое groupedRelationships до разрешения конфликтов: [{Groups}]", string.Join(", ", groupedRelationships.Select(kvp => $"Key: {kvp.Key}, Values: [{string.Join(", ", kvp.Value)}]")));
@@ -477,7 +467,6 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
else
{
logger.LogDebug("Юнит {TargetUnitId} НЕ найден в groupedRelationships.Values после разрешения конфликтов.", targetUnitId);
// юнит отсеялся на этапе разрешения конфликтов
}
#endif
@@ -504,11 +493,18 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
continue;
#if DEBUG
// Отладка: проверить, есть ли ВРТ-AOS-05-ДВС в childUnitIds
var childUnitNamesForDebug = childUnitIds.Select(id => unitService.Get().AsNoTracking().Where(u => u.Id == id).Select(u => u.Name).FirstOrDefaultAsync().GetAwaiter().GetResult() ?? id.ToString()).ToList();
// === Безопасная асинхронная загрузка имён для отладки ===
var debugUnitIds = childUnitIds.Concat(new[] { relationshipUnitId }).Distinct().ToList();
var debugUnits = await unitService.Get()
.AsNoTracking()
.Where(u => debugUnitIds.Contains(u.Id))
.ToDictionaryAsync(u => u.Id, u => u.Name);
var childUnitNamesForDebug = childUnitIds.Select(id => debugUnits.GetValueOrDefault(id, id.ToString())).ToList();
var relationshipUnitName = debugUnits.GetValueOrDefault(relationshipUnitId, relationshipUnitId.ToString());
if (childUnitNamesForDebug.Contains("ВРТ-AOS-05-ДВС"))
{
var relationshipUnitName = await unitService.Get().AsNoTracking().Where(u => u.Id == relationshipUnitId).Select(u => u.Name).FirstOrDefaultAsync();
logger.LogDebug("Группа с ключом {Key} (название: {Name}) содержит юнит 'ВРТ-AOS-05-ДВС' в childUnitIds: [{ChildUnitNames}]", relationshipUnitId, relationshipUnitName, string.Join(", ", childUnitNamesForDebug));
}
#endif
@@ -553,6 +549,12 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
// 9. Загрузить существующие шаблоны для targetJob, связанные с relationshipUnitId
var existingTemplatesForRelationship = await templateService.Get()
.Include(t => t.Unit)
.Include(t => t.Job)
.ThenInclude(t => t!.Tnk)
.Include(t => t.Job)
.ThenInclude(t => t.Group)
.ThenInclude(t => t.GroupType)
.AsNoTracking()
.Include(t => t.UnitsInTemplate)
.Where(t => t.JobId == targetJob.Id && t.UnitId == relationshipUnitId && t.Index == i && t.StatusTypeId == TemplateStatusTypeEnum.Used)
@@ -570,8 +572,8 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
{
logger.LogDebug("Шаблон {TemplateId} (Job {JobId}, Relationship {RelationshipId}, Index {Index}) актуален по юнитам.", existingTemplateForSubGroup.Id, targetJob.Id, relationshipUnitId, i);
// Проверить, изменилось ли имя шаблона (например, из-за %МАКС:...% или %ТНК-КРАТКО%)
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(targetJob, relationshipUnitId, i, subGroup);
// Проверить, изменилось ли имя шаблона
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(existingTemplateForSubGroup);
if (!string.Equals(existingTemplateForSubGroup.Name, expectedName, StringComparison.OrdinalIgnoreCase))
{
logger.LogDebug("Шаблон {TemplateId} требует обновления имени: старое = '{OldName}', новое = '{NewName}'", existingTemplateForSubGroup.Id, existingTemplateForSubGroup.Name, expectedName);
@@ -625,7 +627,20 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
{
logger.LogInformation("Переиспользован шаблон {TemplateId} для Job {JobId}, связанного юнита {RelationshipId}, Index {Index}.", reusableTemplate.Id, targetJob.Id, relationshipUnitId, i);
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(targetJob, relationshipUnitId, i, subGroup);
// === Создаём временный Template для нормализации имени ===
var tempTemplateForName = new Template
{
Id = reusableTemplate.Id,
Name = reusableTemplate.Name,
JobId = targetJob.Id,
UnitId = relationshipUnitId,
Index = i,
Job = targetJob,
Unit = reusableTemplate.Unit,
UnitsInTemplate = subGroup.Select(id => new UnitsInTemplate { UnitId = id }).ToList()
};
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(tempTemplateForName);
var nextRun = await GetNextRunAsync(targetJob);
var updateRequest = new TemplateUpdaterMq
@@ -719,13 +734,28 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
// --- Вспомогательные методы ---
/// <summary>
/// Фильтрует юниты по полю "РАБОЧАЯ_ГР_ОТВ_ЗА_ЭК"
/// </summary>
private async Task<HashSet<Guid>> FilterByWorkGroupFieldAsync(
List<Unit> units,
HashSet<Guid> candidateUnitIds,
Guid workGroupFieldId,
List<Guid> regionalGroupValueIds)
{
return units
.Where(u => candidateUnitIds.Contains(u.Id) &&
u.UnitValues.Any(uv =>
uv.FieldId == workGroupFieldId &&
uv.Value != null &&
regionalGroupValueIds.Contains(uv.Value.Id)))
.Select(u => u.Id)
.ToHashSet();
}
/// <summary>
/// Выбирает Job, соответствующий размеру подгруппы
/// </summary>
/// <param name="jobsInGroup">Список Job'ов в группе</param>
/// <param name="subGroupSize">Размер подгруппы</param>
/// <param name="maxJob">Job с максимальным MaxValueRelationships</param>
/// <returns>Найденный Job или maxJob, если не найден подходящий</returns>
private Job SelectTargetJob(List<Job> jobsInGroup, int subGroupSize, Job maxJob)
{
Job? targetJob = jobsInGroup
@@ -742,7 +772,7 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
if (targetJob == null)
{
targetJob = maxJob; // maxJob уже проверен на null ранее
targetJob = maxJob;
logger.LogDebug("Для подгруппы размером {Size} не найден подходящий Job, используем maxJob {MaxJobId}.", subGroupSize, maxJob.Id);
}
else
@@ -764,7 +794,20 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
return;
}
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(targetJob, template.UnitId, template.Index, newUnitIds);
// === Создаём временный Template для нормализации имени ===
var tempTemplateForName = new Template
{
Id = template.Id,
Name = template.Name,
JobId = targetJob.Id,
UnitId = template.UnitId,
Index = template.Index,
Job = targetJob,
Unit = template.Unit,
UnitsInTemplate = newUnitIds.Select(id => new UnitsInTemplate { UnitId = id }).ToList()
};
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(tempTemplateForName);
var nextRun = await GetNextRunAsync(targetJob, template.NextRun);
var updateRequest = new TemplateUpdaterMq
@@ -793,9 +836,9 @@ internal class GroupedTemplateSynchronizer : ITemplateSynchronizer
var mqRequest = new TemplateGeneratorMq
{
JobId = jobId,
UnitId = relationshipUnitId, // UnitId шаблона
UnitsInTemplate = unitIds, // Юниты для UnitsInTemplate
Index = index, // Индекс шаблона
UnitId = relationshipUnitId,
UnitsInTemplate = unitIds,
Index = index,
HistoryInitiator = initiator
};

33
PARR.TemplateMatcher/Services/Implemetaions/SimpleTemplateSynchronizer.cs
View File

@@ -6,6 +6,7 @@ using PARR.Common.Domain;
using PARR.Constants;
using PARR.DAL.DomainServices.Interfaces;
using PARR.DAL.DomainServices.Shortcodes;
using PARR.DAL.Models;
using PARR.DAL.Models.Job;
using PARR.DAL.Services.Interfaces;
using PARR.DAL.Services.Interfaces.Job;
@@ -127,6 +128,12 @@ internal class SimpleTemplateSynchronizer : ITemplateSynchronizer
var existingTemplates = await templateService.Get()
.Include(t => t.UnitsInTemplate)
.Include(t => t.Job)
.ThenInclude(t => t!.Group)
.ThenInclude(t => t.GroupType)
.Include(t => t.Job)
.ThenInclude(t => t!.Tnk)
.Include(t => t.Unit)
.Where(t => t.JobId == jobId)
.ToListAsync();
@@ -147,12 +154,24 @@ internal class SimpleTemplateSynchronizer : ITemplateSynchronizer
foreach (var unitId in newUnitIds)
{
var reusableTemplate = await templateReuser.TryReuseOneUnusedTemplateAsync(jobId, unitId, initiator);
if (reusableTemplate != null)
{
logger.LogInformation("Переиспользован шаблон {TemplateId} для Job {JobId}, UnitId {UnitId}.", reusableTemplate.Id, jobId, unitId);
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(job, unitId);
// === Создаём временный Template для нормализации имени ===
var tempTemplateForName = new Template
{
Id = reusableTemplate.Id,
Name = reusableTemplate.Name,
JobId = jobId,
UnitId = unitId,
Index = reusableTemplate.Index,
Job = job, // загруженный job
Unit = reusableTemplate.Unit, // может быть null — нормально
UnitsInTemplate = new List<UnitsInTemplate>() // для простого шаблона
};
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(tempTemplateForName);
var nextRun = await GetNextRunAsync(job);
var updateRequest = new TemplateUpdaterMq
@@ -183,7 +202,7 @@ internal class SimpleTemplateSynchronizer : ITemplateSynchronizer
{
if (unitIds.Contains(template.UnitId))
{
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(job, template.UnitId);
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(template);
if (!string.Equals(template.Name, expectedName, StringComparison.OrdinalIgnoreCase))
{
logger.LogDebug("Шаблон {TemplateId} требует обновления имени: старое = '{OldName}', новое = '{NewName}'", template.Id, template.Name, expectedName);
@@ -267,7 +286,13 @@ internal class SimpleTemplateSynchronizer : ITemplateSynchronizer
var existingTemplates = await templateService.Get()
.AsNoTracking()
.Include(t => t.Unit)
.Include(t => t.UnitsInTemplate)
.Include(t => t.Job)
.ThenInclude(t => t!.Group)
.ThenInclude(t => t!.GroupType)
.Include(t => t.Job)
.ThenInclude(t => t!.Tnk)
.Where(t => t.JobId == jobId && t.StatusTypeId == TemplateStatusTypeEnum.Used)
.ToListAsync();
@@ -275,7 +300,7 @@ internal class SimpleTemplateSynchronizer : ITemplateSynchronizer
{
if (unitIds.Contains(template.UnitId))
{
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(job, template.UnitId);
var expectedName = await templateNameNormalizer.GetNormalizedTemplateNameAsync(template);
if (!string.Equals(template.Name, expectedName, StringComparison.OrdinalIgnoreCase))
{
logger.LogDebug("Шаблон {TemplateId} требует обновления имени: старое = '{OldName}', новое = '{NewName}'", template.Id, template.Name, expectedName);

16
PARR.TemplateMatcher/Services/Implemetaions/TemplateDeactivator.cs
View File

@@ -76,8 +76,20 @@ internal class TemplateDeactivator : ITemplateDeactivator
return false;
}
// Вычисляем имя шаблона с новым Job
var expectedName = await namenormalizer.GetNormalizedTemplateNameAsync(unusedJob, template.UnitId);
// === Создаём временный Template для нормализации имени ===
var tempTemplateForName = new Template
{
Id = template.Id,
Name = template.Name,
JobId = unusedJob.Id,
UnitId = template.UnitId,
Index = template.Index,
Job = unusedJob,
Unit = template.Unit,
UnitsInTemplate = new List<UnitsInTemplate>()
};
var expectedName = await namenormalizer.GetNormalizedTemplateNameAsync(tempTemplateForName);
var updateRequest = new TemplateUpdaterMq
{

41
PARR.TemplateMatcher/Services/Implemetaions/TemplateNameNormalizer.cs
View File

@@ -1,7 +1,7 @@
using PARR.DAL.DomainServices.Shortcodes;
using PARR.DAL.DomainServices.Shortcodes.Models;
using PARR.DAL.Models.Job;
using PARR.DAL.Models;
using PARR.TemplateMatcher.Services.Interfaces;
using System.Runtime.CompilerServices;
namespace PARR.TemplateMatcher.Services.Implementations;
@@ -14,38 +14,15 @@ internal class TemplateNameNormalizer : ITemplateNameNormalizer
this.shortcodesService = shortcodesService;
}
public async Task<string> GetNormalizedTemplateNameAsync(Job job, Guid unitId, int? index = null, List<Guid>? templateUnitIds = null)
public async Task<string> GetNormalizedTemplateNameAsync(Template template, [CallerMemberName] string? caller = null)
{
var templateForShortcodes = new TemplateForShortcodes
{
Id = Guid.Empty,
Index = (index != null) ? index + 1 : index,
JobId = job.Id,
UnitId = unitId,
Job = new JobForShortcodes
{
Group = job.Group != null ? new JobGroupForShortcodes
{
Id = job.Group.Id,
GroupingUnitFieldId = job.Group.GroupingUnitFieldId,
GroupType = job.Group.GroupType != null ? new JobGroupTypeForShortcodes
{
Code = job.Group.GroupType.Code
} : null,
GroupName = job.Group.GroupName
} : null,
Tnk = job.Tnk != null ? new TnkForShortcodes
{
Name = job.Tnk.Name,
ShortName = job.Tnk.ShortName ?? ""
} : null,
WorkName = job.WorkName,
Name = job.Name
},
UnitsInTemplate = templateUnitIds?.Select(id => new UnitInTemplateForShortcodes { UnitId = id }).ToList() ?? new List<UnitInTemplateForShortcodes>()
};
var callerName = caller ?? "Unknown";
if (template.Job == null)
throw new ArgumentNullException(nameof(template.Job));
var rawName = await shortcodesService.ApplyShortcodesAsync(template.Job.TemplateNameMask, template, callerName);
var rawName = await shortcodesService.ApplyShortcodesAsync(job.TemplateNameMask, templateForShortcodes);
return rawName.ToUpper();
}
}

75
PARR.TemplateMatcher/Services/Implemetaions/TemplateReuser.cs
View File

@@ -1,7 +1,6 @@
using Microsoft.EntityFrameworkCore;
using Microsoft.Extensions.Logging;
using PARR.Common.Domain;
using PARR.Constants;
using PARR.DAL.Models;
using PARR.DAL.Services.Interfaces;
using PARR.TemplateMatcher.Services.Interfaces;
@@ -10,8 +9,6 @@ namespace PARR.TemplateMatcher.Services.Implementations;
internal class TemplateReuser : ITemplateReuser
{
private const int UnusedCandidateBatchSize = 10;
private readonly ILogger<TemplateReuser> logger;
private readonly ITemplateService templateService;
@@ -25,7 +22,7 @@ internal class TemplateReuser : ITemplateReuser
public async Task<Template?> TryReuseOneUnusedTemplateAsync(
Guid jobId,
Guid unitId,
Guid unitId,
HistoryInitiator initiator,
int maxAttempts = 3)
{
@@ -33,57 +30,47 @@ internal class TemplateReuser : ITemplateReuser
{
try
{
var unusedCandidates = await templateService.Get()
.Where(t => t.StatusTypeId == TemplateStatusTypeEnum.Unused)
.OrderBy(t => t.DateModified ?? t.DateCreated)
.Take(UnusedCandidateBatchSize)
.ToListAsync();
// Атомарно резервируем один шаблон через DAL
var templateId = await templateService.ReserveUnusedTemplateAsync(unitId, initiator);
if (!unusedCandidates.Any())
if (templateId == null)
{
logger.LogDebug("Нет Unused-шаблонов (попытка {Attempt}).", attempt);
logger.LogDebug("Нет доступных Unused-шаблонов для переиспользования (попытка {Attempt}).", attempt);
return null;
}
foreach (var candidate in unusedCandidates)
// Загружаем зарезервированный шаблон
var template = await templateService.Get()
.AsNoTracking()
.Include(t=>t.Unit)
.Include(t=>t.Job)
.ThenInclude(t=>t!.Tnk)
.Include(t => t.Job)
.ThenInclude(t => t!.Group)
.ThenInclude(t=>t!.GroupType)
.FirstOrDefaultAsync(t => t.Id == templateId);
if (template == null)
{
var originalStatus = candidate.StatusTypeId;
var originalModified = candidate.DateModified;
try
{
candidate.StatusTypeId = TemplateStatusTypeEnum.Updating;
candidate.DateModified = DateTimeOffset.UtcNow;
if (await templateService.CommitAsync(initiator))
{
logger.LogInformation("Успешно захвачен шаблон {TemplateId} для переиспользования (попытка {Attempt}).",
candidate.Id, attempt);
return candidate; // Возвращаем захваченный шаблон
}
// Откат при неудаче
candidate.StatusTypeId = originalStatus;
candidate.DateModified = originalModified;
}
catch (Exception ex) when (
ex is DbUpdateException ||
ex.InnerException?.Message.Contains("deadlock", StringComparison.OrdinalIgnoreCase) == true ||
ex.InnerException?.Message.Contains("timeout", StringComparison.OrdinalIgnoreCase) == true)
{
logger.LogWarning(ex, "Конфликт при захвате шаблона {TemplateId} (попытка {Attempt}).", candidate.Id, attempt);
candidate.StatusTypeId = originalStatus;
candidate.DateModified = originalModified;
}
logger.LogWarning("Зарезервированный шаблон {TemplateId} не найден при загрузке.", templateId);
continue;
}
if (attempt < maxAttempts)
await Task.Delay(Random.Shared.Next(5, 15) * attempt);
logger.LogInformation(
"Успешно захвачен шаблон {TemplateId} (старый Job {OldJobId}) для нового Job {NewJobId}, Unit {UnitId} (попытка {Attempt}).",
template.Id, template.JobId, jobId, unitId, attempt);
return template;
}
catch (Exception ex)
{
logger.LogError(ex, "Ошибка в попытке захвата (попытка {Attempt}).", attempt);
if (attempt == maxAttempts) throw;
logger.LogError(ex, "Ошибка при попытке захвата шаблона (попытка {Attempt}).", attempt);
if (attempt == maxAttempts)
throw;
// Небольшая задержка перед повтором
await Task.Delay(Random.Shared.Next(10, 50));
}
}