Fjernet forhåndsgodkjenning fra CSV

Author: naviktthomas

.github/workflows/arbeidssoekere-synk-jobb.yaml

@@ -7,14 +7,7 @@ on:
       - dev/*
     paths:
       - 'jobs/arbeidssoekere-synk-jobb/**'
-      - 'lib/**'
-      - 'domain/**'
       - 'arbeidssoekere-synk-jobb.yaml'
-      - 'gradle/**'
-      - 'settings.gradle.kts'
-      - 'gradle.properties'
-      - 'gradlew'
-      - 'gradlew.bat'
 
 env:
   MODULE: arbeidssoekere-synk-jobb

jobs/arbeidssoekere-synk-jobb/README.md

@@ -13,7 +13,7 @@ konfig-filen.
 Informasjon om secrets fra [NAIS docs](https://docs.nais.io/services/secrets/).
 
 ```shell
-kubectl create secret generic paw-arbeidssoekere-synk-jobb-csv --from-file=v1.csv=/tmp/paw-arbeidssoekere-synk-jobb-csv-v1.csv
+kubectl create secret generic paw-arbeidssoekere-synk-jobb-csv --from-file=v1.csv=/tmp/paw-arbeidssoekere-synk-jobb-csv/v1.csv
 ```
 
 For å endre secret må den slettes og skapes på nytt.

jobs/arbeidssoekere-synk-jobb/src/main/kotlin/no/nav/paw/arbeidssoeker/synk/Job.kt

@@ -36,7 +36,7 @@ fun main() {
     val inngangHttpConsumer = InngangHttpConsumer(jobConfig.apiInngangBaseUrl) {
         azureAdM2MTokenClient.createMachineToMachineToken(jobConfig.apiInngangScope)
     }
-    val arbeidssoekerSynkService = ArbeidssoekerSynkService(arbeidssoekerSynkRepository, inngangHttpConsumer)
+    val arbeidssoekerSynkService = ArbeidssoekerSynkService(jobConfig, arbeidssoekerSynkRepository, inngangHttpConsumer)
 
     try {
         logger.info("Starter $name")

jobs/arbeidssoekere-synk-jobb/src/main/kotlin/no/nav/paw/arbeidssoeker/synk/config/JobConfig.kt

@@ -7,6 +7,7 @@ const val JOB_CONFIG = "job_config.toml"
 
 data class JobConfig(
     val syncFilePath: String,
+    val markerForhaandsgodkjentAvAnsatt: Boolean,
     val apiInngangBaseUrl: String,
     val apiInngangScope: String,
     val runtimeEnvironment: RuntimeEnvironment = currentRuntimeEnvironment

jobs/arbeidssoekere-synk-jobb/src/main/kotlin/no/nav/paw/arbeidssoeker/synk/model/Arbeidssoeker.kt

@@ -4,8 +4,7 @@ import java.time.Instant
 
 data class Arbeidssoeker(
     val identitetsnummer: String,
-    val originalStartTidspunkt: Instant,
-    val forhaandsgodkjentAvAnsatt: Boolean = false,
+    val originalStartTidspunkt: Instant
 )
 
 data class VersjonertArbeidssoeker(

jobs/arbeidssoekere-synk-jobb/src/main/kotlin/no/nav/paw/arbeidssoeker/synk/model/Converters.kt

@@ -6,7 +6,10 @@ import org.jetbrains.exposed.sql.ResultRow
 import java.time.Duration
 import java.time.Instant
 
-fun Arbeidssoeker.asVersioned(version: String): VersjonertArbeidssoeker = VersjonertArbeidssoeker(
+fun Arbeidssoeker.asVersioned(
+    version: String,
+    forhaandsgodkjentAvAnsatt: Boolean = false
+): VersjonertArbeidssoeker = VersjonertArbeidssoeker(
     version = version,
     identitetsnummer = identitetsnummer,
     originalStartTidspunkt = originalStartTidspunkt,

jobs/arbeidssoekere-synk-jobb/src/main/kotlin/no/nav/paw/arbeidssoeker/synk/service/ArbeidssoekerSynkService.kt

@@ -1,6 +1,7 @@
 package no.nav.paw.arbeidssoeker.synk.service
 
 import io.opentelemetry.instrumentation.annotations.WithSpan
+import no.nav.paw.arbeidssoeker.synk.config.JobConfig
 import no.nav.paw.arbeidssoeker.synk.consumer.InngangHttpConsumer
 import no.nav.paw.arbeidssoeker.synk.model.VersjonertArbeidssoeker
 import no.nav.paw.arbeidssoeker.synk.model.asOpprettPeriodeRequest
@@ -17,6 +18,7 @@ import java.time.Instant
 import kotlin.io.path.name
 
 class ArbeidssoekerSynkService(
+    private val jobConfig: JobConfig,
     private val arbeidssoekerSynkRepository: ArbeidssoekerSynkRepository,
     private val inngangHttpConsumer: InngangHttpConsumer
 ) {
@@ -36,7 +38,8 @@ class ArbeidssoekerSynkService(
                 logger.info("Prosessert {} linjer CSV-data på {} ms", totalCount, timestamp.millisSince())
             }
             val arbeidssoeker = values.nextValue()
-            prosesserArbeidssoeker(arbeidssoeker.asVersioned(path.name))
+                .asVersioned(path.name, jobConfig.markerForhaandsgodkjentAvAnsatt)
+            prosesserArbeidssoeker(arbeidssoeker)
         }
         logger.info("Fullførte prosessering av {} linjer CSV-data på {} ms", totalCount, timestamp.millisSince())
     }

jobs/arbeidssoekere-synk-jobb/src/main/resources/local/job_config.toml

@@ -1,3 +1,4 @@
 syncFilePath = "/tmp/v1.csv"
+markerForhaandsgodkjentAvAnsatt = false
 apiInngangBaseUrl = "http://localhost:8090"
-apiInngangScope = "api://localhost.paw.paw-arbeidssokerregisteret-api-inngang/.default"
+apiInngangScope = "api://test.paw.paw-arbeidssokerregisteret-api-inngang/.default"

jobs/arbeidssoekere-synk-jobb/src/main/resources/logback.xml

@@ -36,18 +36,18 @@
             <root level="INFO">
                 <appender-ref ref="STDOUT_JSON"/>
             </root>
-            <logger name="no.nav" level="DEBUG"/>
             <logger name="no.nav.paw.logger.secure" level="INFO" additivity="false">
                 <appender-ref ref="SECURE_LOG_JSON"/>
             </logger>
+            <logger name="no.nav.paw" level="DEBUG"/>
         </then>
     </if>
     <if condition='"${NAIS_CLUSTER_NAME}" == "NAIS_CLUSTER_NAME_IS_UNDEFINED"'>
         <then>
             <root level="INFO">
                 <appender-ref ref="STDOUT"/>
             </root>
-            <logger name="no.nav" level="DEBUG"/>
+            <logger name="no.nav.paw" level="DEBUG"/>
         </then>
     </if>
 </configuration>

jobs/arbeidssoekere-synk-jobb/src/main/resources/nais/job_config.toml

@@ -1,3 +1,4 @@
 syncFilePath = "/var/run/secrets/paw-arbeidssoekere-synk-jobb-csv/v1.csv"
-apiInngangBaseUrl = "http://paw-arbeidssokerregisteret-api-inngang:8080"
+markerForhaandsgodkjentAvAnsatt = false
+apiInngangBaseUrl = "http://paw-arbeidssokerregisteret-api-inngang"
 apiInngangScope = "api://${NAIS_CLUSTER_NAME}.paw.paw-arbeidssokerregisteret-api-inngang/.default"

jobs/arbeidssoekere-synk-jobb/src/test/kotlin/no/nav/paw/arbeidssoeker/synk/test/MockArbeidssoekerSynkService.kt

@@ -1,19 +1,27 @@
 package no.nav.paw.arbeidssoeker.synk.test
 
 import io.ktor.http.*
+import no.nav.paw.arbeidssoeker.synk.config.JOB_CONFIG
+import no.nav.paw.arbeidssoeker.synk.config.JobConfig
 import no.nav.paw.arbeidssoeker.synk.consumer.InngangHttpConsumer
 import no.nav.paw.arbeidssoeker.synk.repository.ArbeidssoekerSynkRepository
 import no.nav.paw.arbeidssoeker.synk.service.ArbeidssoekerSynkService
+import no.nav.paw.config.hoplite.loadNaisOrLocalConfiguration
 import java.nio.file.Path
 
 class MockArbeidssoekerSynkService(
     private val arbeidssoekerSynkRepository: ArbeidssoekerSynkRepository,
+    private val jobConfig: JobConfig = loadNaisOrLocalConfiguration<JobConfig>(JOB_CONFIG),
     var responseMapping: Map<String, Pair<HttpStatusCode, String>> = emptyMap(),
 ) {
     fun synkArbeidssoekere(path: Path) {
         val mockHttpClient = buildMockHttpClient(responseMapping)
         val inngangHttpConsumer = InngangHttpConsumer("http://whatever", mockHttpClient) { "dummy token" }
-        val arbeidssoekerSynkService = ArbeidssoekerSynkService(arbeidssoekerSynkRepository, inngangHttpConsumer)
+        val arbeidssoekerSynkService = ArbeidssoekerSynkService(
+            jobConfig = jobConfig,
+            arbeidssoekerSynkRepository = arbeidssoekerSynkRepository,
+            inngangHttpConsumer = inngangHttpConsumer
+        )
         arbeidssoekerSynkService.synkArbeidssoekere(path)
     }
 }

jobs/arbeidssoekere-synk-jobb/src/test/resources/v1.csv

@@ -1,11 +1,11 @@
-identitetsnummer,originalStartTidspunkt,forhaandsgodkjentAvAnsatt
-01017012345,1970-01-01T12:00:00.000Z,false
-02017012345,1970-01-02T12:00:00.000Z,false
-03017012345,1970-01-03T12:00:00.000Z,false
-04017012345,1970-01-04T12:00:00.000Z,false
-05017012345,1970-01-05T12:00:00.000Z,false
-06017012345,1970-01-06T12:00:00.000Z,false
-07017012345,1970-01-07T12:00:00.000Z,false
-08017012345,1970-01-08T12:00:00.000Z,false
-09017012345,1970-01-09T12:00:00.000Z,true
-10017012345,1970-01-10T12:00:00.000Z,true
+identitetsnummer,originalStartTidspunkt
+01017012345,1970-01-01T12:00:00.000Z
+02017012345,1970-01-02T12:00:00.000Z
+03017012345,1970-01-03T12:00:00.000Z
+04017012345,1970-01-04T12:00:00.000Z
+05017012345,1970-01-05T12:00:00.000Z
+06017012345,1970-01-06T12:00:00.000Z
+07017012345,1970-01-07T12:00:00.000Z
+08017012345,1970-01-08T12:00:00.000Z
+09017012345,1970-01-09T12:00:00.000Z
+10017012345,1970-01-10T12:00:00.000Z