Yapay zekaya basit bir işlem yaptırmak için neden koca bir dil modeli çalıştırıyoruz? Bir belgeden tarih çıkarmak, faturadaki tutarı bulmak veya metni sınıflandırmak için uzun uzun cevap üretmesine gerek yok. ScaleDown tam da bunu değiştirmeye çalışıyor. Cevabı kelime kelime üretmek yerine doğrudan buluyor. Paylaştıkları verilere göre belirli görevlerde 200 kat daha hızlı ve 467 kat daha ucuz. @neal_k_patel: You already gave the LLM the answer. So why is it writing it out from scratch? Introducing a new AI model architecture: Constrained Decoding Models (CDMs) LLMs were built to write. Most production workloads just need an answer: fast, consistent, and affordable. CDMs are purpose-built for 1 task each. They read your input once and skip the token-by-token generative loop that makes LLMs slow and expensive. Not just a decision model, but a family of 3 CDMs live today: • Classify: define your labels and get back a calibrated probability + reason for each. Used for routing, tagging, and intent detection. • Extract: describe the entities in natural language and get back well-formed JSON with confidence scores + citations. Used for web scraping, document processing, and PII redaction. • Summarize: pass in long text, images, or PDFs and get back a consistent summary under 1,000 tokens. Used for context compaction, metadata generation, and transcript digests. Built for production: • 1M tokens of multimodal (text + image) input, 31x larger than Jev • 77.2% on DecisionBench vs Jev's 72% • 200x faster, 467x cheaper than frontier LLM APIs • $0.05/M input tokens. Output is free (yes, even for summarize) Live on your favorite platforms today: @OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus Get 50M input tokens for free (for the first 50 hours) at link below 👀
Videoda söylenenler:
“Your model already read the answer, so why is it still typing? Introducing Constrained Decoding Models. Both LLMs and CDMs read your context in one pass. Traditional LLMs slowly write the answer, one token at a time. Scale-down CDMs know the answer is already there, so we poin...”
Videodaki yazılar:
Kare 1:
Your
already
LLM
read
the
answer
Kare 2:
INVOICE
SO WHY IS IT STILL TYPING?
Question:
What is the Supplier Name, Date, and
Currency?
Answer:
"supplier"
Kare 3:
Constrained
Decoding
Kare 4:
TRADITIONAL LLM
PREFILL : 0 STEP
DECODE STEPS
0
TIME
0.00s
OUTPUT
0.0% DONE
SCAL...
Yapay zeka açıklaması
Video, geleneksel büyük dil modellerinin (LLM) metin üretirken kullandığı yavaş yöntem yerine, ScaleDown'ın sunduğu 'Constrained Decoding Models' (CDM) teknolojisini tanıtıyor. Geleneksel modellerin cevabı kelime kelime yazdığını, CDM'in ise cevabı doğrudan bulup işaretlediği için çok daha hızlı ve ucuz olduğunu görsel bir karşılaştırmayla gösteriyor.