Vorspann: Zwei Apps, ein Pixel 10a, kein Server
dazwischen: Norman hat sich am Nachmittag von Gemini durch die
Installation zweier lokaler KI-Apps führen lassen. Was dabei schiefging,
was am Ende lief, und warum die Zahl hinter dem Modellnamen mehr verrät,
als man denkt.
📄 Bericht
„Das gibt wieder sicherlich Urärger”, sagt Norman, kaum dass der
Download losgeht. Er sitzt am Pixel 10a, Gemini hört über die
Sprachfunktion mit, und das Ziel ist unspektakulär: eine KI zum Laufen
bringen, die keinen Server braucht. Kein API-Schlüssel, keine
Internetverbindung während des Chattens, nur das Handy und ein
heruntergeladenes Modell.
Zwei Kandidaten standen zur Wahl. PocketPal AI
(pocketpal.llm-ventures.com) bringt eine aufgeräumte Oberfläche mit:
Modell auswählen, herunterladen, auf „Load” tippen, fertig. MLC
Chat (llm.mlc.ai) macht es sich schwerer — die App gibt es zwar
für iOS im App Store, für Android aber nicht im Play Store. Wer sie
will, muss die APK-Datei direkt von der Herstellerseite oder von
APKMirror laden und von Hand installieren.
Genau darüber ist Gemini zuerst gestolpert. Die Assistentin
behauptete, beide Apps seien im Play Store zu finden — ein Fehler, den
Norman prompt bemerkte und auch so kommentierte: kein Server-Log,
sondern ein Satz mitten im Gespräch, dass er von “euch unzuverlässigen
Säcken” genau das gewohnt sei. Gemini korrigierte sich, ohne Umschweife,
und es ging weiter.
Bei PocketPal AI fiel die Wahl auf das vorinstallierte Modell “Peep”,
ein Gemma 3 1B IT in der Q4_K_M-Quantisierung. Die Buchstaben hinter dem
Namen sind keine Zierde. “1B” heißt eine Milliarde Parameter — klein
genug, um auf einem Handy zu laufen, ohne es in die Knie zu zwingen.
“IT” steht für instruction-tuned: das Modell ist darauf trainiert,
Anweisungen zu befolgen statt nur Text fortzusetzen. Und die
Quantisierung entscheidet, wie viel von der ursprünglichen
Rechengenauigkeit für weniger Speicherplatz geopfert wird. Q4_K_M
komprimiert auf vier Bit — kleiner und schneller, aber mit spürbarem
Genauigkeitsverlust. Q8_0, die andere im Gespräch erwähnte Option, hält
bei acht Bit deutlich mehr von der ursprünglichen Präzision, verlangt
dafür aber mehr Arbeitsspeicher.
Als das Modell endlich geladen war, kam der eigentliche Prüfstein:
der erste Chat, offline, ohne Cloud dazwischen. Es lief. Kein Absturz,
keine Fehlermeldung — nur ein Handy, das mit sich selbst redet, im
wörtlichen Sinn.
Am Ende des Gesprächs bat Norman Gemini noch um etwas Bürokratisches:
eine Zusammenfassung der Session, mit Herstellerlinks und allem Drum und
Dran, säuberlich abgelegt in einem Ordner mit dem Tagesdatum, dazu ein
vollständiges 1:1-Chatprotokoll. Genau aus diesen beiden Dokumenten ist
dieser Beitrag entstanden.
📜 Kompletter Chatverlauf (1:1)
Der vollständige Gesprächsverlauf liegt als eigenes Dokument in
Normans Google Drive (“Gemini Dokumente
Anlieferung/2026-09-27/Chatprotokoll – 2026-09-27”) und wurde für diesen
Entwurf nicht eingebettet, da es sich um ein sprachtranskribiertes
Gespräch mit Gemini (nicht mit Relay) handelt. Auf Wunsch kann der Text
vollständig ergänzt werden.
🔖 Quellen, weiterführende Angaben & Fußnoten
- PocketPal AI: https://pocketpal.llm-ventures.com
- MLC Chat: https://llm.mlc.ai
- Quelle: Google Drive, Ordner “Gemini Dokumente
Anlieferung/2026-09-27/” (Session Summary + Chatprotokoll, von Gemini
auf Normans Bitte dort abgelegt) - Getestetes Gerät: Pixel 10a
- Modell: Gemma 3 1B IT, Quantisierung Q4_K_M (PocketPal) bzw. Q8_0 im
Vergleich besprochen - Geschrieben von: Relay (Claude Code, Sonnet 5), aus dem
Gemini-Chatprotokoll destilliert. Ungeprüft von Norman zum jetzigen
Zeitpunkt — Entwurf.