TryggTekst integrasjon

nais/dev-ekstern.yaml

@@ -58,6 +58,12 @@ spec:
         - host: navtestb2c.b2clogin.com
         - host: veilarbmalverk.dev-fss-pub.nais.io
         - host: veilarbveileder.dev-fss-pub.nais.io
+        - ipv4: 34.32.235.130 # VM uten gpu
+          ports:
+            - port: 8007
+        - ipv4: 34.34.85.30 # VM gpu
+          ports:
+            - port: 8007
   gcp:
     buckets:
       - name: aktivitetsplan-dev

package.json

@@ -34,6 +34,7 @@
     "@reduxjs/toolkit": "^2.5.0",
     "@sentry/react": "^8.47.0",
     "@vitejs/plugin-react-swc": "^3.7.2",
+    "axios": "^1.7.9",
     "classnames": "^2.5.1",
     "date-fns": "^4.1.0",
     "prop-types": "^15.8.1",
@@ -84,9 +85,9 @@
   "devDependencies": {
     "@swc/cli": "^0.5.2",
     "@swc/core": "^1.10.4",
+    "@testing-library/jest-dom": "^6.6.3",
     "@testing-library/react": "^16.1.0",
     "@testing-library/user-event": "^14.5.2",
-    "@testing-library/jest-dom": "^6.6.3",
     "@types/moment-duration-format": "^2.2.6",
     "@types/node": "^22.10.5",
     "@types/react": "^18.3.11",

src/moduler/aktivitet/visning/referat/OppdaterReferatForm.tsx

@@ -18,6 +18,7 @@ import Feilmelding from '../../../feilmelding/Feilmelding';
 import { oppdaterReferat, utenHistorikk } from '../../aktivitet-actions';
 import { useReferatStartTekst } from '../../aktivitet-forms/samtalereferat/useReferatStartTekst';
 import { selectAktivitetStatus } from '../../aktivitet-selector';
+import checkSensitive from './SjekkSensitiv';
 
 const schema = z.object({
     referat: z.string().min(0).max(5000),
@@ -33,6 +34,7 @@ interface Props {
 const OppdaterReferatForm = (props: Props) => {
     const { aktivitet, onFerdig } = props;
     const [open, setOpen] = useState(true);
+    const [kategorier, setKategorier] = useState<string | null>(null);
     const startTekst = useReferatStartTekst();
     const dispatch = useAppDispatch();
     const aktivitetsStatus = useSelector(selectAktivitetStatus);
@@ -91,6 +93,18 @@ const OppdaterReferatForm = (props: Props) => {
 
     const referatValue = watch('referat');
 
+    async function sjekktekst(verdi) {
+        console.log('checkar sensitive')
+        const isSensitive = await checkSensitive(verdi)
+        console.log('isSensitive', isSensitive)
+        if (isSensitive.sensitiv) {
+            console.log(isSensitive.feilmedling)
+            setKategorier(isSensitive.kategorier);
+        } else {
+            setKategorier(null);
+        }
+    }
+
     return (
         <form
             onSubmit={handleSubmit((values) => updateReferat(values))}
@@ -104,6 +118,18 @@ const OppdaterReferatForm = (props: Props) => {
                 {...register('referat')}
                 value={referatValue}
             />
+            <Button type="button" variant="secondary" onClick={() => sjekktekst(referatValue)}>
+                Språkmodell
+            </Button>
+            { kategorier && (
+                <ul>
+                    {kategorier.map((item, index) => (
+                        <li key={index}>
+                            {item.kategori}: {item.grunn}
+                        </li>
+                    ))}
+                </ul>
+            )}
             <>
                 <Switch
                     checked={open}

src/moduler/aktivitet/visning/referat/SjekkSensitiv.ts

@@ -0,0 +1,157 @@
+import {Dispatch, SetStateAction, useState} from 'react';
+import axios from 'axios';
+
+type UseSensitive = (
+    verdi: string | null | undefined,
+    feilmelding?: string
+) => [string | undefined, Dispatch<SetStateAction<string | undefined>>, () => boolean];
+
+type LLMResponse = {
+    content: string;
+};
+
+interface LLMContent {
+    grunn: string;
+    kategori: string;
+}
+
+interface IsSensitive {
+    kategori: string;
+    sensitiv: boolean;
+    feilmedling: string | null;
+}
+
+const api = axios.create({
+    // baseURL: 'http://0.0.0.0:8007',
+    baseURL: 'http://34.34.85.30:8007',
+    withCredentials: false,
+    headers: {Pragma: 'no-cache', 'Cache-Control': 'no-cache', 'Content-Type': 'application/json'}
+});
+
+async function postRequest(inp: string): Promise<LLMResponse> {
+    const data = {
+        stream: false,
+        n_predict: 2048,
+        temperature: 0,
+        dry_allowed_length: 10,
+        dry_base: 3,
+        dry_multiplier: 5,
+        dry_penalty_last_n: 50,
+        stop: [
+            '</s>',
+            'user:',
+            'assistant:'
+        ],
+        penalize_nl: false,
+        repeat_last_n: 256,
+        repeat_penalty: 1,
+        top_k: 1,
+        top_p: 1,
+        min_p: 0,
+        tfs_z: 1,
+        min_keep: 0,
+        typical_p: 1,
+        presence_penalty: 0,
+        frequency_penalty: 0,
+        mirostat: 0,
+        mirostat_tau: 5,
+        mirostat_eta: 0.1,
+        grammar:
+            'root ::= "{" space kategori-kv space "}" space nl\n' +
+            '\n' +
+            'kategori-kv ::= "\\"kategorier\\"" space ":" space "[" space kategori-list space "]" space\n' +
+            '\n' +
+            'kategori-list ::= kategori-multiple\n' +
+            '\n' +
+            'kategori-ingen ::= "\\"ingen\\"" space\n' +
+            '\n' +
+            'kategori-multiple ::= kategori-obj ("," space kategori-obj)*\n' +
+            '\n' +
+            'kategori-obj ::= "{" space "\\"kategori\\"" space ":" space kategori-gyldig space "," space "\\"grunn\\"" space ":" space json-string space "}" space\n' +
+            '\n' +
+            'kategori-gyldig ::= ("\\"etnisk opprinnelse\\""\n' +
+            '                     | "\\"politisk oppfatning\\""\n' +
+            '                     | "\\"religion\\""\n' +
+            '                     | "\\"filosofisk overbevisning\\""\n' +
+            '                     | "\\"fagforeningsmedlemskap\\""\n' +
+            '                     | "\\"genetiske opplysninger\\""\n' +
+            '                     | "\\"biometriske opplysninger\\""\n' +
+            '                     | "\\"helseopplysninger\\""\n' +
+            '                     | "\\"seksuelle forhold\\""\n' +
+            '                     | "\\"seksuell legning\\"") space\n' +
+            '\n' +
+            'json-string ::= "\\"" str-characters "\\"" space\n' +
+            'str-characters ::= | str-character str-characters\n' +
+            'str-character ::= [^"\\\\] | "\\\\" escape\n' +
+            'escape ::= ["\\\\/bfnrt] | "u" hex hex hex hex\n' +
+            '\n' +
+            'hex ::= [0-9A-Fa-f]\n' +
+            '\n' +
+            'space ::= | " " {0,1}\n' +
+            'nl ::= | "\\n" [ \\t]{0,1}\n',
+        n_probs: 9,
+        image_data: [],
+        cache_prompt: false,
+        api_key: '',
+        slot_id: 0,
+        prompt: `<|start_header_id|>system<|end_header_id|>\\n\\nDu er en klassifiseringsbot. Du skal vurdere om teksten inneholder særlige kategorier av personopplysninger, og hvis ja hvilke opplysningstype som best beskriver innholdet i teksten. Velg blant følgende 11 kategorier av opplysninger:
+* politisk oppfatning
+* religion
+* etnisk opprinnelse
+* filosofisk overbevisning
+* fagforeningsmedlemskap
+* genetiske opplysninger
+* biometriske opplysninger
+* helseopplysninger
+* seksuelle forhold
+* seksuell legning
+* ingen særlige kategorier av personopplysninger
+kan innholde flere kategorier eller ingen. Returnere med kategori og settningen som triggret kategorien uten å endre den eller sammenfatte den.<|start_header_id|>user<|end_header_id|>
+${inp}\\n<|eot_id|>assistant`
+    };
+    return await api
+        .post('/completion', data)
+        .then(r => {
+            console.log(r.data);
+            return r.data;
+        })
+        .catch(e => {
+            console.log(e);
+            return e;
+        });
+}
+
+const checkSensitive = async (verdi: string) => {
+    let feil = '';
+    let sensitiv = false;
+    let kategorier = [];
+    console.log('useSensitive', verdi);
+
+    if (!verdi) {
+        console.log('ingen verdi', verdi);
+        return {kategorier: [], sensitiv: sensitiv, feilmedling: feil};
+    } else {
+        console.log('verdi som ska til llm', verdi);
+        const b = await postRequest(verdi).then(async (c: LLMResponse) => {
+            console.log(c);
+            const containsSensitive = JSON.parse(c.content);
+            console.log('containsSensitive', containsSensitive);
+
+            if (containsSensitive.kategorier && containsSensitive.kategorier.length > 0) {
+                kategorier = containsSensitive.kategorier.map((item: LLMContent) => ({
+                    kategori: item.kategori,
+                    grunn: item.grunn
+                }));
+                feil = `⚠️ Det ser ut som du har skrevet inn personopplysninger om ${kategorier.map(k => k.kategori).join(', ')} i skjemaet.`;
+                sensitiv = true;
+            } else {
+                feil = '👌✅';
+                sensitiv = false;
+            }
+            return {kategorier: kategorier, sensitiv: sensitiv, feilmedling: feil};
+        });
+    }
+    return {kategorier: kategorier, sensitiv: sensitiv, feilmedling: feil};
+};
+
+export default checkSensitive;

src/tryggtekst/config.json

@@ -0,0 +1,4 @@
+{
+  "system" : "Du er en klassifiseringsbot. Du skal vurdere om teksten inneholder særlige kategorier av personopplysninger, og hvis ja hvilken opplysningstype som best beskriver innholdet i teksten. Velg blant følgende 11 kategorier: \n* opplysninger om etnisk opprinnelse \n* opplysninger om politisk oppfatning \n* opplysninger om religion \n* opplysninger om filosofisk overbevisning \n* opplysninger om fagforeningsmedlemskap \n* genetiske opplysninger \n* biometriske opplysninger med det formål å entydig identifisere noen \n* helseopplysninger \n* opplysninger om seksuelle forhold \n* opplysnigner om seksuell legning \n* ingen særlige kategorier av personopplysninger. Svar kun med kategori, ingen forklaring.",
+  "grammar": "root ::= \"{\" space kategori-kv space \"}\" space nl\nkategori ::= (\"\\\"opplysninger om etnisk opprinnelse\\\"\" | \"\\\"opplysninger om politisk oppfatning\\\"\" | \"\\\"opplysninger om religion\\\"\" | \"\\\"opplysninger om filosofisk overbevisning\\\"\" | \"\\\"opplysninger om fagforeningsmedlemskap\\\"\" | \"\\\"genetiske opplysninger\\\"\" | \"\\\"biometriske opplysninger med det formål å entydig identifisere noen\\\"\" | \"\\\"helseopplysninger\\\"\" | \"\\\"opplysninger om seksuelle forhold\\\"\" | \"\\\"opplysnigner om seksuell legning\\\"\" |  \"\\\"ingen særlige kategorier av personopplysninger\\\"\") space\nkategori-kv ::= \"\\\"kategori\\\"\" space \":\" space kategori\nspace ::= | \" \" {0,1}\nnl ::= | \"\\n\" [ \\t]{0,1}"
+}