SQL Query Execution Status

SQL Query Execution Status

Execution Status for Selected Run (llm_sql_comparison_results_20250514_223045.json)

(✔️ = Success, ✘ = Fail, - = Not Attempted/Available)

Querydeepseek-chat-v3-0324deepseek-prover-v2deepseek-r1gemini-2.0-flash-001gemini-2.5-flash-previewgemini-2.5-pro-preview-03-25gemma-3-12b-itgemma-3-27b-itgpt-4.1gpt-4.1-minigpt-4.1-nanogpt-4o-minillama-3.1-nemotron-ultra-253b-v1llama-3.3-nemotron-super-49b-v1llama-4-maverickllama-4-scouto4-minio4-mini-highphi-4-reasoningphi-4-reasoning-plusqwen3-14bqwen3-235b-a22bqwen3-30b-a3bqwen3-32bqwen3-8b
Query 1✔️✔️✔️✔️✔️✔️✘✔️✔️✔️✔️✔️✔️✘✔️✔️✔️✔️✘✘✔️✔️✔️✔️✔️
Query 2✔️✔️✔️✔️✔️✔️✘✔️✔️✔️✔️✔️✔️✔️✔️✔️✔️✔️✘✘✔️✘✔️✔️✔️
Query 3✘✔️✔️✔️✔️✔️✘✔️✔️✔️✘✔️✘✘✔️✘✔️✔️✘✘✔️✘✔️✔️✔️
Query 4✔️✔️✔️✔️✔️✔️✘✘✔️✔️✔️✔️✔️✘✔️✔️✔️✔️✘✘✔️✔️✔️✔️✔️
Query 5✔️✔️✔️✔️✔️✘✘✔️✔️✔️✔️✔️✔️✔️✔️✔️✔️✔️✘✘✔️✔️✔️✔️✔️
Query 6✔️✔️✔️✔️✔️✘✘✘✔️✔️✔️✔️✔️✘✔️✔️✔️✔️✘✘✔️✔️✔️✔️✔️

Query Legend (for Selected Run)

  • Query 1 name of the most populous city
  • Query 2 show me the city with the largest population
  • Query 3 litter bins within sambro,halifax
  • Query 4 boat launches wihin halifax
  • Query 5 total number of boat facilities in halifax
  • Query 6 Number of cities with a population greater than 1 million …

Cross-Run Consistency Table

(✔️ = Success, ✘ = Fail, - = Not Attempted/Available in Run)

Marks correspond to runs (left to right): Run 1, Run 2, Run 3

Query deepseek-chat-v3-0324 deepseek-prover-v2 deepseek-r1 gemini-2.0-flash-001 gemini-2.5-flash-preview gemini-2.5-pro-preview-03-25 gemma-3-12b-it gemma-3-27b-it gpt-4.1 gpt-4.1-mini gpt-4.1-nano gpt-4o-mini llama-3.1-nemotron-ultra-253b-v1 llama-3.3-nemotron-super-49b-v1 llama-4-maverick llama-4-scout o4-mini o4-mini-high phi-4-reasoning phi-4-reasoning-plus qwen3-14b qwen3-235b-a22b qwen3-30b-a3b qwen3-32b qwen3-8b
Q6 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ - - ✘ ✘ ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ ✔️ ✘ - ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ - ✔️ ✘ - ✘ ✘ ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️
Q4 ✔️ ✔️ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - - ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ ✔️ ✔️ ✔️ ✘ - ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - ✔️ ✘ - ✘ ✘ ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️
Q3 ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - - ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ ✔️ ✘ ✔️ ✘ ✔️ ✔️ ✔️ ✘ ✘ ✘ ✘ - ✔️ ✔️ ✔️ ✔️ ✘ ✘ ✘ ✔️ ✔️ - ✔️ ✔️ - ✘ ✘ ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️
Q1 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - - ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ - ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - ✔️ ✔️ - ✘ ✘ ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️
Q2 ✔️ ✔️ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - - ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ ✔️ ✔️ - ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - ✔️ ✔️ - ✘ ✘ ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️
Q5 ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ - - ✘ ✘ ✘ ✔️ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ - ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✘ - ✔️ ✘ - ✘ ✘ ✘ ✘ ✘ ✘ ✔️ ✔️ ✔️ ✔️ ✘ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️ ✔️