Lokale KI Hands-On

Zielgruppe

IT-Personal, das lokale KI-Systeme selbst betreiben und Entwickeln will

Lernziele

• Aufbau einer lokalen KI-Infrastruktur
• Hands-on beim Bau eigener Agenten
• Diskussion konkreter Use Cases

Themen

Hardware & Modell Auswahl

LLMs lokal laufen zu lassen erlaubt bedenkenfreies Entwickeln eigener Systeme ohne immense Kosten zu verursachen. Außerdem erlaubt es problemloses Verarbeiten geschützter Daten.

• Was brauche ich, um LLMs lokal zu betreiben?
• Welche Hardware brauche ich bzw. welche Optimierungsmöglichkeiten gibt es bei begrenzter Hardware?
• Welche Auswirkungen haben Größen-optimierte Modelle auf Qualität und Performance?

Ziel ist, einen eigenen Server aufzusetzen und beispielhafte Anfragen an das System erfolgreich abzusetzen. Gleichzeitig soll ein Versändnis für die Auswirkungen von Optimierungen vermittelt werden.

Keywords: administration, LLM-Server, GPU parallelization, model formats, quantization, LLM-protocols, hardware limitations, performance, perplexity, KV-Cache

Use Cases

Agentische Systeme sind weit mehr als Coding Assistants. Es werden ein paar custom Use-Cases für agentische Systeme am lebenden Beispiel vorgestellt und besprochen.

• Wie ist die interne Architektur des Harness/Scaffolding?
• Welche Fallstricke wurden beobachtet?
• Wo liegen die Grenzen der jeweiligen Systeme?
• Welche Techniken gibt es, agentische Systeme robust zu gestalten?

Das Ziel ist, ein Verständnis zu entwickeln, wie eigene Systeme auf- bzw. umgesetzt werden können und und wo es sinnvoll ist, d.h., für welche Szenarien im eigenen Betrieb ein agentisches System neue Möglichkeiten eröffnen kann.

Keywords: development, agentic systems, pitfalls, use cases, best practices

Custom Agentischer Harness - Hands on Session

LLMs sind keine intelligenten Systeme sondern Interpreter nicht-deterministischer Programmiersprachen. Der Prompt ist das Programm. Das klingt kompliziert, ist am Beispiel aber einfach zu verstehen. Diesen gedanklichen Paradigmenwechsel wollen wir hier vermitteln, um den Blickwinkel von "magischen Blackboxen" hin zu "vorhersagbaren Maschinen" zu machen. Gleichzeitig wird klar, welche Methoden notwendig sind, um solche Systeme auch nachhaltig aufzusetzen, zu testen und zu warten.

Dazu entwickeln wir live ein minimales Beispiel für ein agentisches System und vertiefen damit das Verständnis vorher gelernter Eigenschaften am entstehenden Beispiel.

Keywords: Prompt, Bias, Priming, Emotion, Non-deterministic Logic, Reasoning, KV-Cache

Verschiedenes & Interaktive Diskussion

Der Workshop umfasst nur zwei Tage und kann daher nur ansatzweise das Verständnis für die Funktionalität, Grenzen und Möglichkeiten agentischer Systeme umfassen. In dieser Session wird nochmal Raum für spezifische Themen und konkrete Fragen gegeben, die während des Workshops aufgetaucht sind.

Der Raum kann bei Bedarf auch für ein gemeinsames Brainstorming möglicher Use-Cases genutzt werden. Hier gibt es keine konkreten Themen oder Einschränkungen der Inhalte. Wir definieren diese vor Ort und nach Bedarf.

Keywords: brainstorming, questions, discussion, understanding, future and vision

Format

Dieser Workshop wird in der Regel vor Ort als Ganztagsveranstaltung durchgeführt.