TryggTekst integrasjon

[Majjki]

Outbound policy for IP og port til TryggTekst

Endepunkt

ipv4:port/completion

Request

    api_url = 'http://0.0.0.0:8007/completion'
    json_body = {
        "stream":False,
        "n_predict":512,
        "temperature":0,
        "stop":["</s>","TryggTekst","User:",
            "<|end|>",
            "<|eot_id|>",
            "<|end_of_text|>",
            "<|im_end|>",
            "<|EOT|>",
            "<|END_OF_TURN_TOKEN|>",
            "<|end_of_turn|>",
            "<|endoftext|>",
            "Assistant",
            "User",
            "Response",
            "Instruction"
            "Llama",
            "Llama:",
            "TryggTekst:"
            "assistant",
            "assistant:",
        ],
        "penalize_nl":True,
        "repeat_last_n":256,
        "repeat_penalty":1.18,
        "top_k":40,
        "top_p":0.95,
        "min_p":0.05,
        "tfs_z":1,
        "typical_p":1,
        "presence_penalty":0,
        "frequency_penalty":0,
        "mirostat":0,
        "mirostat_tau":5,
        "mirostat_eta":0.1,
        "grammar": grammar,
        "n_probs":0,
        "image_data":[],
        "cache_prompt":False,
        "api_key":"",
        "slot_id":0,
        "prompt": prompt_formatter(userprompt)
    }

Mye av argumenten till request body kan sikkert fjernes etterhvert siden det har mange defaultverdier

Response

en json

{ "kategori": kategori }

der kategori er et av følgende:

* politisk oppfatning
* religion
* etnisk opprinnelse
* filosofisk oppfatning
* fagforeningsmedlemskap
* genetiske opplysninger
* biometriske opplysninger
* helseopplysninger
* seksuelle forhold
* seksuell legning
* ingen

Formatteringer

    formatted_prompt = f"<|start_header_id|>system<|end_header_id|>\n\n{system}<|start_header_id|>user<|end_header_id|>\n\n{input}<|eot_id|>assistant"

[sonarqubecloud]

Quality Gate passed

Issues
0 New issues
0 Accepted issues

Measures
0 Security Hotspots
0.0% Coverage on New Code
0.0% Duplication on New Code

See analysis details on SonarCloud

[Majjki]

vet ikke helt hvor denne ska være i filstrukturen, men for tilfellet så er det lagt som en egen configfil, men tror vi ska endre så den ligger i backend senere

[Majjki]

ip til gcp

[sonarqubecloud]

Quality Gate failed

Failed conditions
1 Security Hotspot

See analysis details on SonarQube Cloud