IA — Chispa y VON

Chispa clasifica. VON genera.

Chispa: microsegundos, sin daemon

Un modelo lineal de ~1 MB para decisiones que no merecen un LLM: clasificar un evento, enrutar una petición.

kling ai chispa train -data train.jsonl -valid valid.jsonl -o events.chispa
kling ai chispa predict -model events.chispa -text "panic in the parser" -fields '{"service":"api"}'

Salida (una línea JSON)

{"label":"fix","index":5,"prob":0.393,"threshold":0.517,"confident":false,"decision":"escalate", …}

Cada respuesta dice confident o escalate. Contesta en 1,5–6 µs, sin reservas de memoria, igual bit a bit en amd64 y arm64.

VON: modelos pequeños que escalan a cero

SmolLM2-360M, Qwen2.5 0.5B y 1.5B, servidos con llama-server desde un dorado con el modelo ya cargado.

kling ai model add von-smol -model smollm2-360m-instruct
kling run -from von-smol -name smol-1
kling ai model ask smol-1 "What is a microVM?"

461 MiBPSS de 4 réplicas de SmolLM2 (sus RSS suman 1715)

~0,8 sprimer token desde el dorado en un Mac (vz)

~140 tok/sSmolLM2 en un invitado vz con 2 vCPU

El gateway de IA

kling ai serve
kling ai test commit-type "fix crash when the cache is cold"
kling ai eval commit-type -data test.jsonl -von qwen

API compatible con OpenAI. La cascada (VON contesta lo que Chispa duda) solo se activa si kling ai eval demuestra que gana.

En el repo: docs/chispa.md · docs/von.md · docs/ai-gateway.md