AI DevOps profil

Der søges en erfaren DevOps-/platformingeniør, som kan gøre LibreChat, LiteLLM og Langfuse kørbare, sikre og vedligeholdelige i et driftsmiljø. Løsningen skal understøtte filupload og gøre det muligt for brugere at chatte med egne filer.

Responsibilities

• Opsætte og konfigurere LibreChat, LiteLLM og Langfuse i et driftsmiljø med afsat plads til skalering.
• Aktivere og konfigurere RAG API med pgvector.
• Konfigurere filupload, så brugere kan chatte med egne filer.
• Konfigurere LiteLLM med modeller fra Azure AI Foundry og Alexandra Instituttet.
• Konfigurere budgetter pr. enhed og bruger i LiteLLM.
• Sikre brugeridentitet hele vejen fra LibreChat til LiteLLM.
• Konfigurere Langfuse med fastlagt retention og adgangskontrol.
• Udarbejde installations- og driftsdokumentation.
• Overdrage løsningen til driftsteam.
• Levere infrastructure as code og en gentagelig udrulning.