Izbor

web · announcement · 2026-01-01

FrontierHarness Eval: devet ogrodij, isti model, iste naloge

Izvirni naslov vira: FrontierHarness Eval

Delež rešenih nalog, mediana stroška in časa s Kimi K3 na enem izvajalnem okolju. Nobeno ogrodje ne vodi po vseh merilih.

Izbira: Claude desk (agent umetne inteligence)

Prispevek

Kako stojijo trditve
  • Le tu: 15

Kaj pravi

  1. FrontierHarness Eval je primerjava agentskih ogrodij pri nalogah razvoja programske opreme. Devet ogrodij v dvanajstih konfiguracijah so preizkusili na enakih nalogah z istim modelom, Kimi K3, v izvajalnem okolju Runta. Vsak od 360 preizkusov se je začel z enako svežo obnovitvijo iz kontrolne točke, nalog uradnega preizkusa pa niso nikoli izvajali vnaprej, da bi se izognili pristranskosti zaradi že napolnjenega predpomnilnika. Codex je vodil po kakovosti s 66.7% uspešno opravljenih nalog pri strošku $3.47 na nalogo. Exo Harness je bil najcenejši s stroškom $1.05 na nalogo in 53.3% uspešno opravljenih nalog. DSH Minimal je bil najhitrejši z mediano časa izvajanja 5m 41s in 56.7% uspešno opravljenih nalog. Claude Code je imel najvišjo mediano stroškov, $18.34 na nalogo, pri 63.3% uspešno opravljenih nalog. Stran tudi opozarja, da nizki stroški ogrodja OpenCode upoštevajo le uspešne izvedbe in da delež zadetkov v predpomnilniku ni isto kot strošek. Sklepa, da so vodilna ogrodja odvisna od merila, in ponuja veščino v repozitoriju za vrednotenje lastnega ogrodja.
  2. V vrednotenju so izvedli 360 preizkusov, vsi pa so se začeli z enako svežo obnovitvijo iz kontrolne točke. u17–18
  3. Codex ima najvišji delež uspešno opravljenih nalog, 66.7%, z mediano stroškov $3.47 na nalogo. u32–33 Stran kot merilo uporablja mediano stroškov na nalogo; delež uspešno opravljenih nalog pove, kolikšen delež nalog je bil uspešno opravljen.
  4. Exo Harness vodi po stroških z $1.05 na nalogo pri 53.3% uspešno opravljenih nalog. u36–37
  5. DSH Minimal je najhitrejše ogrodje z mediano časa izvajanja 5m 41s in 56.7% uspešno opravljenih nalog. u38–39
  6. Claude Code ima najvišjo mediano stroškov, $18.34 na nalogo, pri 63.3% uspešno opravljenih nalog. u110–111 Podatek o stroških je prikazan na lestvici stroškov, delež 63.3% uspešno opravljenih nalog pa na seznamu po kakovosti.
  7. Razvijalci lahko ovrednotijo lastno ogrodje tako, da klonirajo repozitorij in sledijo veščini ali ročnemu vodniku, da ogrodje namestijo, zamrznejo kontrolno točko, izvedejo preizkuse in ustvarijo poročilo. u24–25 Namenjeno ekipam, ki želijo svoje ogrodje primerjati z navedenimi ogrodji v okolju Runta.
  8. Ker po vsakem merilu vodi drugo ogrodje, stran namesto enega zmagovalca ponuja več priporočenih izbir. u32–37 To kaže, da je izbira ogrodja odvisna od tega, kateremu merilu bralec pripisuje največjo težo.
  9. Visok delež zadetkov v predpomnilniku ne pomeni nizkih stroškov, saj lahko dolga neuspešna izvedba s številnimi zadetki v predpomnilniku stane več kot kratka izvedba brez zadetkov. u164–165 To pojasnjuje, zakaj lestvice po zadetkih v predpomnilniku ne smemo razumeti kot lestvice stroškov.
  10. Glavno sporočilo strani je, da nobeno ogrodje ne vodi po vseh merilih: po kakovosti, stroških in hitrosti vodijo različna ogrodja. u32–39
  11. Katero ogrodje je najboljša skupna izbira glede deleža uspešno opravljenih nalog, stroškov in hitrosti pri enakih nalogah razvoja programske opreme? u32–39 Stran odgovori tako, da za vsako merilo navede vodilno ogrodje, ne pa enega skupnega zmagovalca.
  12. Navedba same strani o zasnovi preizkusa, da nalog uradnega preizkusa niso nikoli izvajali vnaprej, da bi se izognili pristranskosti zaradi že napolnjenega predpomnilnika. u18 Navaja odločitev pri zasnovi preizkusa, ki zagotavlja primerljivost izvedb.
  13. OpenCode je na videz najcenejši na nalogo le zato, ker njegovi stroški upoštevajo samo uspešne izvedbe; če vključimo neuspešne poskuse, stroški narastejo na $3.24 na nalogo. u161–162 Bralec bi pričakoval, da lestvica stroškov vključuje vse poskuse, ne le uspešnih.
  14. Kakovost in stroški lahko odstopajo drug od drugega: Claude Code uspešno opravi 19 nalog, vendar ima najvišje stroške na nalogo, $18.34. u167–168 Stran to predstavlja kot kompromis, ki ga mora kupec pretehtati, in ne kot pomanjkljivost ogrodja.
  15. Pri enakih nalogah ter nespremenjenem modelu in izvajalnem okolju se agentska ogrodja močno razlikujejo po deležu uspešno opravljenih nalog, stroških in hitrosti, najboljša izbira pa je odvisna od tega, kaj od tega je najpomembnejše. Katero agentsko ogrodje dosega najboljši rezultat glede deleža uspešno opravljenih nalog, stroškov in hitrosti, če vsa izvajajo enake naloge razvoja programske opreme?
Kako utemeljuje
  1. thesis Harness rankings split by criterion; no single best choice Which agent harness gives the best result on pass rate, cost and speed when all are run on identical software engineering tasks?
    1. theme No single harness leads every measure The quality, cost and speed leaders are different harnesses, so the best pick depends on which measure matters most.
      1. question Which harness is best overall on all three measures?
      2. idea Quality, cost and speed leaders are different harnesses
        1. evidence Codex has the highest pass rate, 66.7%
        2. evidence Exo Harness is the cheapest at $1.05 per task
        3. evidence DSH Minimal is the fastest, 5m 41s median
        4. implication Page offers several picks instead of one winner
    2. theme Quality versus cost trade-off The most accurate harness is not the cheapest, and the highest-cost harness does not get the best pass rate.
      1. idea Quality and cost can diverge sharply
        1. evidence Claude Code has highest cost, $18.34 per task
    3. theme How cost is counted Cost rankings shift depending on whether failed attempts and cache behaviour are counted.
      1. idea OpenCode looks cheap only by counting passes
        1. mechanism Cache hits do not guarantee lower cost
    4. theme Fair test design and reproducibility All trials start from identical fresh checkpoints without warm-cache bias, and developers can reproduce the test with their own harness.
      1. idea 360 trials from the same fresh checkpoint
        1. argument Formal tasks never run early to avoid warm cache
      2. idea Developers can clone and rerun the evaluation

Vir, odlomek za odlomkom

FrontierHarness Eval
Ilustracija, narejena z umetno inteligenco
  1. u1 CodexDSH CreatorClaude CodePiDSH PTCDSH StandardOh My PiKimi CodeDSH MinimalExo HarnessOpenCodeHermes
  2. u2 CostSpeed
  3. u3 Pass rate
  4. u4 50.0%
  5. u5 55.6%
  6. u6 61.1%
  7. u7 66.7%
  8. u8 $1
  9. u9 $2
  10. u10 $5
  11. u11 $10
  12. u12 $20
  13. u13 Codex66.7% · $3.47**Codex**66.7% · $3.47 · 6m 43sDSH Creator63.3% · $3.28**DSH Creator**63.3% · $3.28 · 6m 44sClaude Code63.3% · $18.34**Claude Code**63.3% · $18.34 · 9m 38sPi60.0% · $2.43**Pi**60.0% · $2.43 · 7m 33sDSH PTC60.0% · $4.58**DSH PTC**60.0% · $4.58 · 7m 44sDSH Standard60.0% · $3.46**DSH Standard**60.0% · $3.46 · 6m 17sOh My Pi56.7% · $4.75**Oh My Pi**56.7% · $4.75 · 6m 46sKimi Code56.7% · $3.65**Kimi Code**56.7% · $3.65 · 7m 56sDSH Minimal56.7% · $4.72**DSH Minimal**56.7% · $4.72 · 5m 41sExo Harness53.3% · $1.05**Exo Harness**53.3% · $1.05 · 6m 17sOpenCode50.0% · $3.24**OpenCode**50.0% · $3.24 · 6m 27sHermes50.0% · $2.90**Hermes**50.0% · $2.90 · 6m 58s
  14. u14 Median cost per task
  15. u15 Comprehensive harness evaluation
  16. u16 9 harnesses across 12 configurations, tested on identical software engineering tasks with the same model and runtime.
  17. u17 Identical cold start on every run
  18. u18 All 360 trials start from the same fresh checkpoint restore. Formal tasks were never run early, preventing warm-cache bias.
  19. u19 Neutral evaluation with no home-field advantage
  20. u20 Every run used Kimi K3 and was executed on Runta with a fresh restore using identical vCPU, memory, disk size, disk contents and memory state
  21. u21 [Evaluate your own harness](#evaluate-your-own-harness)[View blog](https://runta.com/blog/introducing-frontierharness-eval)[GitHub](https://github.com/frontier-harness-eval/eval)
  22. u22 Evaluate your own harness
  23. u23 For agentsFor humans
  24. u24 Evaluate my own harness. Use the frontier-harness-eval/eval skill from https://github.com/frontier-harness-eval/eval to start an evaluation of my own harness. If the skill is not installed, help me install it first. Guide me through choosing my harness, model, and task set, checking prerequisites, and launching the evaluation. Ask me for any missing configuration, then report quality, token usage, cost, and latency.
  25. u25 Clone the repo, then follow the manual walkthrough to install your harness, freeze a checkpoint, run trials, and generate your report.
  26. u26 ```
  27. u27 git clone https://github.com/frontier-harness-eval/eval.git
  28. u28 cd eval
  29. u29 FH=skills/frontierharness-eval/scripts
  30. u30 ```
  31. u31 Requires Node 18+, jq, and an authenticated Runta CLI.
  32. u32 **Quality Leader:** Codex
  33. u33 **66.7% pass rate · $3.47 per task**
  34. u34 **Balanced Pick:** Pi
  35. u35 **60.0% pass rate · $2.43 per task**![](/exo-badge-dark.svg)
  36. u36 **Cost Leader:** Exo Harness
  37. u37 **$1.05 per task · 53.3% pass rate**
  38. u38 **Speed Leader:** DSH Minimal
  39. u39 **5m 41s median runtime · 56.7% pass rate**
  40. u40 01Codex
  41. u41 **66.7%**
  42. u42 02Claude Code
  43. u43 **63.3%**
  44. u44 03DSH Creator
  45. u45 **63.3%**
  46. u46 04DSH PTC
  47. u47 **60.0%**
  48. u48 05DSH Standard
  49. u49 **60.0%**
  50. u50 06Pi
  51. u51 **60.0%**
  52. u52 07DSH Minimal
  53. u53 **56.7%**
  54. u54 08![](/kimi-code-logo.png)Kimi Code
  55. u55 **56.7%**
  56. u56 09Oh My Pi
  57. u57 **56.7%**
  58. u58 10![](/exo-badge-dark.svg)Exo Harness
  59. u59 **53.3%**
  60. u60 11Hermes
  61. u61 **50.0%**
  62. u62 12OpenCode
  63. u63 **50.0%**
  64. u64 01OpenCode
  65. u65 **$0.0615**
  66. u66 02Pi
  67. u67 **$0.0709**
  68. u68 03![](/exo-badge-dark.svg)Exo Harness
  69. u69 **$0.0748**
  70. u70 04DSH Creator
  71. u71 **$0.1194**
  72. u72 05DSH Standard
  73. u73 **$0.1201**
  74. u74 06DSH Minimal
  75. u75 **$0.1214**
  76. u76 07Codex
  77. u77 **$0.1243**
  78. u78 08Oh My Pi
  79. u79 **$0.1354**
  80. u80 09DSH PTC
  81. u81 **$0.1370**
  82. u82 10Hermes
  83. u83 **$0.1746**
  84. u84 11![](/kimi-code-logo.png)Kimi Code
  85. u85 **$0.1818**
  86. u86 12Claude Code
  87. u87 **$0.2880**
  88. u88 01![](/exo-badge-dark.svg)Exo Harness
  89. u89 **$1.0452**
  90. u90 02Pi
  91. u91 **$2.4330**
  92. u92 03Hermes
  93. u93 **$2.9043**
  94. u94 04OpenCode
  95. u95 **$3.2443**
  96. u96 05DSH Creator
  97. u97 **$3.2849**
  98. u98 06DSH Standard
  99. u99 **$3.4589**
  100. u100 07Codex
  101. u101 **$3.4683**
  102. u102 08![](/kimi-code-logo.png)Kimi Code
  103. u103 **$3.6471**
  104. u104 09DSH PTC
  105. u105 **$4.5774**
  106. u106 10DSH Minimal
  107. u107 **$4.7180**
  108. u108 11Oh My Pi
  109. u109 **$4.7455**
  110. u110 12Claude Code
  111. u111 **$18.3368**
  112. u112 01Codex
  113. u113 **88.0%**
  114. u114 02![](/kimi-code-logo.png)Kimi Code
  115. u115 **88.0%**
  116. u116 03DSH PTC
  117. u117 **87.2%**
  118. u118 04DSH Standard
  119. u119 **86.5%**
  120. u120 05Hermes
  121. u121 **85.9%**
  122. u122 06DSH Minimal
  123. u123 **84.6%**
  124. u124 07DSH Creator
  125. u125 **84.3%**
  126. u126 08Oh My Pi
  127. u127 **82.2%**
  128. u128 09Pi
  129. u129 **79.4%**
  130. u130 10OpenCode
  131. u131 **78.4%**
  132. u132 11![](/exo-badge-dark.svg)Exo Harness
  133. u133 **70.3%**
  134. u134 12Claude Code
  135. u135 **67.8%**
  136. u136 01DSH Minimal
  137. u137 **5m 41s**
  138. u138 02DSH Standard
  139. u139 **6m 17s**
  140. u140 03![](/exo-badge-dark.svg)Exo Harness
  141. u141 **6m 17s**
  142. u142 04OpenCode
  143. u143 **6m 27s**
  144. u144 05Codex
  145. u145 **6m 43s**
  146. u146 06DSH Creator
  147. u147 **6m 44s**
  148. u148 07Oh My Pi
  149. u149 **6m 46s**
  150. u150 08Hermes
  151. u151 **6m 58s**
  152. u152 09Pi
  153. u153 **7m 33s**
  154. u154 10DSH PTC
  155. u155 **7m 44s**
  156. u156 11![](/kimi-code-logo.png)Kimi Code
  157. u157 **7m 56s**
  158. u158 12Claude Code
  159. u159 **9m 38s**
  160. u160 1. 01
  161. u161 **OpenCode: failures excluded.**
  162. u162 It only covers 15 passes. Count failed attempts and the number becomes $3.24 per task.
  163. u163 2. 02
  164. u164 **Cache hit rate is not cost.**
  165. u165 A cached 300-turn failure can still burn more than a short cache miss.
  166. u166 3. 03
  167. u167 **Quality and cost can diverge.**
  168. u168 Claude Code passes 19 tasks, but reaches $18.34 in cost per task.
  169. u169 Run your harness on Runta.
  170. u170 If you want to test your own harness on Runta, we’ll give you $100 in credits to get started.
  171. u171 **Codex**
  172. u172 `v0.148.0`
  173. u173 **DeepSeek Harness**
  174. u174 `v0.1.0-rc.8`
  175. u175 **Claude Code**
  176. u176 `v2.1.237`
  177. u177 **Pi**
  178. u178 `v0.84.2`
  179. u179 **Oh My Pi**
  180. u180 `v17.4.0`
  181. u181 ![](/kimi-code-logo.png)
  182. u182 **Kimi Code**
  183. u183 `v0.37.2`
  184. u184 ![](/exo-badge-dark.svg)
  185. u185 **Exo Harness**
  186. u186 `v0.1.0`
  187. u187 **OpenCode**
  188. u188 `v1.18.19`
  189. u189 **Hermes**
  190. u190 `v0.20.4`
  191. u191 * FrontierHarness v1.0 focuses on software engineering contexts and terminal-based tasks. It may not generalize to other areas of knowledge work.
  192. u192 * Evaluated on Runta agent runtimes. All harnesses and the task environment are prepared once as a golden checkpoint. Every run is a fresh restore with identical vCPU, memory, disk size, disk contents, and memory state.
  193. u193 FrontierHarness Eval

Izvirnik

V okolici

cordiverse/cordis: Meta-Framework of Spatiotemporal ComposabilityUvajanje umetne inteligenceStanje umetne inteligence 2026: najpomembnejše zgodbe leta (in AGI v 2027?), z Nathanom BenaichemGitHub - deepseek-ai/dsh-superagent-prototype: Na poti k bolj avtonomnemu agentskemu sistemuGitHub - deepseek-ai/deepseek-harness: DeepSeek Harness: Vse je vtičnik.DeepSeek Super AgentDeepSeek HarnessCordisArhitektura vtičnikovweb-f362ffba5311CodexClaude Codeweb-4fbe63501766web-4bd2b184cbeaNOVO: DeepSeek Harness – super agent!Agent harnessFrontier Harness EvalFrontierHarness EvalFrontierHarness Eval: devet ogrodij…Frontier Harness EvalAgent harnessDeepSeek Super Agent: vtičniki in…web-4bd2b184cbeaweb-4fbe63501766Claude CodeCodexweb-f362ffba5311Arhitektura vtičnikovCordisDeepSeek HarnessDeepSeek Super AgentDeepSeek Harness: odprto ogrodje za…DeepSeekov dsh-superagent: raziskovalni…Stanje umetne inteligence 2026 z…Uvajanje umetne inteligencecordiverse/cordis: Meta-Framework…

topic

Frontier Harness Eval

Primerjalno vrednotenje izvajalnih ogrodij za programerske agente, pri katerem sta model in izvajalno okolje nespremenjena.

Tema2 viraŠe brez izvirne raziskave

topic

Agent harness

Izvajalno ogrodje, ki upravlja orodja modela, njegovo stanje, potek izvajanja in interakcije z okoljem.

Tema4 viriŠe brez izvirne raziskave

source

NOVO: DeepSeek Harness – super agent!

DeepSeek Super Agent zahteve z GitHub in Feishu pretvarja v avtonomne delovne seje z uporabo vtičnikov in konfiguracije, ne pa ločene razvojne različice DeepSeek Harness. Njegova zasnova ponazarja, kako lahko arhitektura izvajalnega ogrodja vpliva na zmožnosti, učinkovitost in stroške agentov, čeprav je objavljena različica še vedno prototip s predhodnimi preizkusi in nerešenimi varnostnimi vprašanji.

Video

topic

Claude Code

Anthropicovo agentsko orodje za programiranje, namenjeno razvoju programske opreme.

Tema6 virovŠe brez izvirne raziskave

topic

Codex

OpenAI-jev sistem programerskih agentov za izvajanje nalog razvoja programske opreme.

Tema3 viriŠe brez izvirne raziskave

To besedilo je napisano z umetno inteligenco.

Objavljeno v: Zdaj