AI Mastermind LTPrisijungti prie grupės

Žinutės

Filtrastaikomas

Šis puslapis nėra tiesioginis — žinutės atnaujinamos pagal tvarkaraštį. Paskutinį kartą atnaujinta . Kito atnaujinimo laukiama apie . Laikas rodomas Vilniaus laiku (EET).

Chionsas
šiaip man Fable gan išsamius komentarus visur dėlioja, net pernelyg išsamius dažnai, bet dar nepriėjau prie trumpinimų
bet daug daugiau nei kodas ir komentarai 🙂
Chionsas
teoriškai gali būti ir kode, komentarų forma.. tuos dalykus ištraukti lengva su scriptais ir pan.
kaip sakiau, perki computing poweer, ir nekaupi rezultatu
Chionsas
norėtųsi atrasti „best practices“ ir per daug nesimėtyti, nes čia early-adopter's prakeiksmas yra keisti padangas kas kilometrą ir niekur nenuvažiuoti 😁
bet kiek is ju kuo nors "unikalios" ir "veikia" 🙂 ir md failai veikia
Chionsas
dabar visai ant bangos tie „memory systems“ visokie, bent jau mano burbule, atrodo
beto org susidomejimas yra bet google tai top 50 laiko kolkas
Chionsas
jei pozicionuotum kaip "mempalace, but in go", gal atsirastų organiško susidomėjimo
m vid
Žinutės vaizdas
  • 👏1
m vid
https://arxiv.org/abs/2309.08632

Pretraining on the Test Set Is All You Need

Inspired by recent work demonstrating the promise of smaller Transformer-based language models pretrained on carefully curated data, we supercharge such approaches by investing heavily in curating a novel, high quality, non-synthetic data mixture based solely on evaluation benchmarks. Using our novel dataset mixture consisting of less than 100 thousand tokens, we pretrain a 1 million parameter transformer-based LLM \textbf{phi-CTNL} (pronounced ``fictional") that achieves perfect results across diverse academic benchmarks, strictly outperforming all known foundation models. \textbf{phi-CTNL} also beats power-law scaling and exhibits a never-before-seen grokking-like ability to accurately predict downstream evaluation benchmarks' canaries.

arXiv.orgPerskaityta

"answered": 466,
"answered_pct": 99,
"searches": 470,
m vid
Žinutės vaizdas
bet jo, cache gerai, ne tik pas tiekejus, bet ir tarp harness
> ⏺ Done. "Learn" turned out to mean auditing what I'd already filed — and it didn't survive the audit.
> Someone already burned expensive reasoning to work out why the code is shaped that way, wrote the conclusion down, and now you buy that
conclusion at ~1/50th the price. A drawer is compressed reasoning. That's the arbitrage, and it's the real answer to your question.

Rodoma paskutinė surinkta leidžiama būsena; pašalinimų suderinimas nebaigtas. Visas pokalbis — Telegram grupėje.