Hindre out of memory ved brevgenerering ved å begrense antallet samtidige håndteringer (flyttet semafor mer sentralt) (#148)

Author: tendestad

formidling/src/main/java/no/nav/ung/sak/formidling/BrevGenerererTjeneste.java

@@ -1,13 +1,7 @@
 package no.nav.ung.sak.formidling;
 
 
-import java.time.Duration;
-import java.time.Instant;
-import java.util.Objects;
-
-import org.slf4j.Logger;
-import org.slf4j.LoggerFactory;
-
+import io.opentelemetry.instrumentation.annotations.WithSpan;
 import jakarta.enterprise.context.ApplicationScoped;
 import jakarta.inject.Inject;
 import no.nav.fpsak.tidsserie.LocalDateTimeline;
@@ -27,6 +21,10 @@
 import no.nav.ung.sak.typer.AktørId;
 import no.nav.ung.sak.ytelse.DagsatsOgUtbetalingsgrad;
 import no.nav.ung.sak.ytelse.beregning.TilkjentYtelseUtleder;
+import org.slf4j.Logger;
+import org.slf4j.LoggerFactory;
+
+import java.util.Objects;
 
 @ApplicationScoped
 public class BrevGenerererTjeneste {
@@ -60,38 +58,32 @@ public BrevGenerererTjeneste(
     public BrevGenerererTjeneste() {
     }
 
+    @WithSpan
     public GenerertBrev genererVedtaksbrev(Long behandlingId) {
-        Instant metodeStart = Instant.now();
+        return BrevGenereringSemafor.begrensetParallellitet( () -> doGenererVedtaksbrev(behandlingId));
+    }
 
+    @WithSpan //WithSpan her for å kunne skille ventetid på semafor i opentelemetry
+    private GenerertBrev doGenererVedtaksbrev(Long behandlingId) {
         var behandling = behandlingRepository.hentBehandling(behandlingId);
         if (!behandling.erAvsluttet()) {
             throw new IllegalStateException("Behandling må være avsluttet for å kunne bestille vedtaksbrev");
         }
 
-        LocalDateTimeline<DagsatsOgUtbetalingsgrad> tilkjentYtelseTidslinje =
-            tilkjentYtelseUtleder.utledTilkjentYtelseTidslinje(behandlingId);
+        LocalDateTimeline<DagsatsOgUtbetalingsgrad> tilkjentYtelseTidslinje = tilkjentYtelseUtleder.utledTilkjentYtelseTidslinje(behandlingId);
         if (tilkjentYtelseTidslinje.isEmpty()) {
             LOG.warn("Behandling har ingen tilkjent ytelse. Støtter ikke vedtaksbrev for avslag foreløpig. BehandlingResultat={}", behandling.getBehandlingResultatType());
             return null;
         }
-
         var pdlMottaker = hentMottaker(behandling);
-
-        var innholdTid = Instant.now();
         var resultat = innvilgelseInnholdBygger.bygg(behandling);
-        LOG.info("Tid bygger: {} ms", Duration.between(innholdTid, Instant.now()).toMillis());
-
-
         var input = new TemplateInput(resultat.templateType(),
             new TemplateDto(
                 FellesDto.automatisk(new MottakerDto(pdlMottaker.navn(), pdlMottaker.fnr())),
                 resultat.templateInnholdDto()
             )
         );
-
         PdfGenDokument dokument = pdfGen.lagDokument(input);
-
-        LOG.info("Tid vedtaksbrev: {} ms", Duration.between(metodeStart, Instant.now()).toMillis());
         return new GenerertBrev(
             dokument,
             pdlMottaker,

formidling/src/main/java/no/nav/ung/sak/formidling/BrevGenereringSemafor.java

@@ -0,0 +1,40 @@
+package no.nav.ung.sak.formidling;
+
+import no.nav.k9.felles.konfigurasjon.env.Environment;
+import org.slf4j.Logger;
+import org.slf4j.LoggerFactory;
+
+import java.util.concurrent.Semaphore;
+import java.util.function.Supplier;
+
+public class BrevGenereringSemafor {
+
+    private static final Logger LOG = LoggerFactory.getLogger(BrevGenereringSemafor.class);
+
+    private static final Integer MAX_SAMTIDIGE = Environment.current().getProperty("BREVGENERERING_MAX_ANTALL_SAMTIDIGE", Integer.class, 2);
+    private static final Semaphore SEMAFOR = new Semaphore(MAX_SAMTIDIGE);
+
+    private BrevGenereringSemafor() {
+    }
+
+    public static <T> T begrensetParallellitet(Supplier<T> supplier) {
+        try {
+            long t0 = System.nanoTime();
+            SEMAFOR.acquire();
+            long t1 = System.nanoTime();
+            long ventetidMillis = (t1 - t0) / 1_000_000;
+            if (ventetidMillis > 2000) {
+                LOG.warn("Ventet i {} ms på å få semafor for brevbestilling, skjer dette ofte bør semaforens antall og nodens minne økes for bedre ytelse", ventetidMillis);
+            }
+        } catch (InterruptedException e) {
+            throw new RuntimeException(e);
+        }
+        try {
+            return supplier.get();
+        } finally {
+            SEMAFOR.release();
+        }
+
+    }
+
+}

web/src/main/java/no/nav/ung/sak/web/app/tjenester/formidling/FormidlingRestTjeneste.java

@@ -4,9 +4,7 @@
 import static no.nav.ung.abac.BeskyttetRessursKoder.FAGSAK;
 
 import java.util.Objects;
-import java.util.concurrent.Semaphore;
 
-import io.opentelemetry.instrumentation.annotations.WithSpan;
 import org.slf4j.Logger;
 import org.slf4j.LoggerFactory;
 
@@ -56,9 +54,6 @@ public class FormidlingRestTjeneste {
     private static final String PDF_MEDIA_STRING = "application/pdf";
     private static final MediaType PDF_MEDIA_TYPE = MediaType.valueOf(PDF_MEDIA_STRING);
 
-    private static final int MAX_ANTALL_SAMTIDIGE_FORHÅNDSVISNINGER = 2; //kan justeres sammen med minne for applikasjonen
-    private static final Semaphore SEMAFOR_SAMTIDIGE_FORHÅNDSVISNINGER = new Semaphore(MAX_ANTALL_SAMTIDIGE_FORHÅNDSVISNINGER);
-
     @Inject
     public FormidlingRestTjeneste(
         BrevGenerererTjeneste brevGenerererTjeneste,
@@ -114,20 +109,8 @@ public VedtaksbrevOperasjonerDto tilgjengeligeVedtaksbrev(
     public Response forhåndsvisVedtaksbrev(
         @NotNull @Parameter(description = "") @Valid @TilpassetAbacAttributt(supplierClass = AbacAttributtSupplier.class) VedtaksbrevForhåndsvisDto dto,
         @Context HttpServletRequest request
-    ) throws InterruptedException {
-        // Semafor her for å begrense hvor mange samtidige forhåndsvisninger som kjøres for å unngå OutOfMemoryError.
-        // Operasjonen både bruker noe tid, og mye minne, så uten begrensning er det er fullt mulig å knele applikasjonen
-        // ved å forhåndsvise flere ganger på kort tid.
-        SEMAFOR_SAMTIDIGE_FORHÅNDSVISNINGER.acquire();
-        try {
-            return doForhåndsvisVedtaksbrev(dto, request);
-        } finally {
-            SEMAFOR_SAMTIDIGE_FORHÅNDSVISNINGER.release();
-        }
-    }
+    ) {
 
-    @WithSpan //span her for å kunne skille venting på semafor fra resten
-    private Response doForhåndsvisVedtaksbrev(VedtaksbrevForhåndsvisDto dto, HttpServletRequest request) {
         GenerertBrev generertBrev = brevGenerererTjeneste.genererVedtaksbrev(dto.behandlingId());
 
         var mediaTypeReq = Objects.requireNonNullElse(request.getHeader(HttpHeaders.ACCEPT), MediaType.APPLICATION_OCTET_STREAM);
@@ -142,6 +125,5 @@ public VedtaksbrevOperasjonerDto tilgjengeligeVedtaksbrev(
         };
     }
 
-
 }