Skip to content

concurrent compression #3206

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom
Open
wants to merge 4 commits into
base: develop
Choose a base branch
from
Open

concurrent compression #3206

wants to merge 4 commits into from

Conversation

onursatici
Copy link
Contributor

No description provided.

@onursatici onursatici force-pushed the os/concurrent-compression branch from cf4ae1d to d2a9d37 Compare May 6, 2025 08:19
@onursatici onursatici marked this pull request as ready for review May 6, 2025 08:19
@onursatici onursatici added the benchmark Run benchmarks on this branch label May 6, 2025
@github-actions github-actions bot removed the benchmark Run benchmarks on this branch label May 6, 2025
@github-actions GitHub Actions
Copy link
Contributor

github-actions bot commented May 6, 2025 •
edited
Loading

Benchmarks: random_access

Table of Results
name PR 173ead0 base c3e49f5 ratio (PR/base) unit
random-access/vortex-tokio-local-disk 1578674 1631012 0.967911 ns
random-access/parquet-tokio-local-disk 189432522 183047931 1.03488 ns

@github-actions GitHub Actions
Copy link
Contributor

github-actions bot commented May 6, 2025 •
edited
Loading

Benchmarks: TPC-H on NVME

Table of Results
name PR 173ead0 base c3e49f5 ratio (PR/base) unit
tpch_q01/DataFusion:arrow 66401733 nan nan nan
tpch_q02/DataFusion:arrow 16402919 nan nan nan
tpch_q03/DataFusion:arrow 24158853 nan nan nan
tpch_q04/DataFusion:arrow 18681596 nan nan nan
tpch_q05/DataFusion:arrow 32756359 nan nan nan
tpch_q06/DataFusion:arrow 6058915 nan nan nan
tpch_q07/DataFusion:arrow 53488339 nan nan nan
tpch_q08/DataFusion:arrow 19150361 nan nan nan
tpch_q09/DataFusion:arrow 33258594 nan nan nan
tpch_q10/DataFusion:arrow 39234098 nan nan nan
tpch_q11/DataFusion:arrow 7766633 nan nan nan
tpch_q12/DataFusion:arrow 17291623 nan nan nan
tpch_q13/DataFusion:arrow 14354087 nan nan nan
tpch_q14/DataFusion:arrow 8000780 nan nan nan
tpch_q15/DataFusion:arrow 17606112 nan nan nan
tpch_q16/DataFusion:arrow 14858024 nan nan nan
tpch_q17/DataFusion:arrow 48971702 nan nan nan
tpch_q18/DataFusion:arrow 105374833 nan nan nan
tpch_q19/DataFusion:arrow 16813158 nan nan nan
tpch_q20/DataFusion:arrow 23074893 nan nan nan
tpch_q21/DataFusion:arrow 82879785 nan nan nan
tpch_q22/DataFusion:arrow 10542403 nan nan nan
tpch_q01/DataFusion:parquet 103370532 nan nan nan
tpch_q02/DataFusion:parquet 50728631 nan nan nan
tpch_q03/DataFusion:parquet 49621713 nan nan nan
tpch_q04/DataFusion:parquet 30934208 nan nan nan
tpch_q05/DataFusion:parquet 63278780 nan nan nan
tpch_q06/DataFusion:parquet 28585785 nan nan nan
tpch_q07/DataFusion:parquet 80923482 nan nan nan
tpch_q08/DataFusion:parquet 62598713 nan nan nan
tpch_q09/DataFusion:parquet 84987159 nan nan nan
tpch_q10/DataFusion:parquet 92426257 nan nan nan
tpch_q11/DataFusion:parquet 28785814 nan nan nan
tpch_q12/DataFusion:parquet 40957377 nan nan nan
tpch_q13/DataFusion:parquet 40883539 nan nan nan
tpch_q14/DataFusion:parquet 32297068 nan nan nan
tpch_q15/DataFusion:parquet 53505506 nan nan nan
tpch_q16/DataFusion:parquet 34461777 nan nan nan
tpch_q17/DataFusion:parquet 96995654 nan nan nan
tpch_q18/DataFusion:parquet 115224477 nan nan nan
tpch_q19/DataFusion:parquet 73067388 nan nan nan
tpch_q20/DataFusion:parquet 55816051 nan nan nan
tpch_q21/DataFusion:parquet 103107048 nan nan nan
tpch_q22/DataFusion:parquet 51082684 nan nan nan
tpch_q01/DataFusion:vortex-file-compressed 62582837 nan nan nan
tpch_q02/DataFusion:vortex-file-compressed 39417003 nan nan nan
tpch_q03/DataFusion:vortex-file-compressed 31585755 nan nan nan
tpch_q04/DataFusion:vortex-file-compressed 15636312 nan nan nan
tpch_q05/DataFusion:vortex-file-compressed 48504477 nan nan nan
tpch_q06/DataFusion:vortex-file-compressed 4437907 nan nan nan
tpch_q07/DataFusion:vortex-file-compressed 64576938 nan nan nan
tpch_q08/DataFusion:vortex-file-compressed 54079675 nan nan nan
tpch_q09/DataFusion:vortex-file-compressed 75728243 nan nan nan
tpch_q10/DataFusion:vortex-file-compressed 46168183 nan nan nan
tpch_q11/DataFusion:vortex-file-compressed 25649049 nan nan nan
tpch_q12/DataFusion:vortex-file-compressed 18082573 nan nan nan
tpch_q13/DataFusion:vortex-file-compressed 18896974 nan nan nan
tpch_q14/DataFusion:vortex-file-compressed 12214148 nan nan nan
tpch_q15/DataFusion:vortex-file-compressed 22233309 nan nan nan
tpch_q16/DataFusion:vortex-file-compressed 23700737 nan nan nan
tpch_q17/DataFusion:vortex-file-compressed 78772401 nan nan nan
tpch_q18/DataFusion:vortex-file-compressed 94786373 nan nan nan
tpch_q19/DataFusion:vortex-file-compressed 18155491 nan nan nan
tpch_q20/DataFusion:vortex-file-compressed 27087044 nan nan nan
tpch_q21/DataFusion:vortex-file-compressed 87237060 nan nan nan
tpch_q22/DataFusion:vortex-file-compressed 13111365 nan nan nan
tpch_q01/DuckDB:parquet 64000000 nan nan nan
tpch_q02/DuckDB:parquet 36000000 nan nan nan
tpch_q03/DuckDB:parquet 79000000 nan nan nan
tpch_q04/DuckDB:parquet 39000000 nan nan nan
tpch_q05/DuckDB:parquet 57000000 nan nan nan
tpch_q06/DuckDB:parquet 30000000 nan nan nan
tpch_q07/DuckDB:parquet 58000000 nan nan nan
tpch_q08/DuckDB:parquet 68000000 nan nan nan
tpch_q09/DuckDB:parquet 101000000 nan nan nan
tpch_q10/DuckDB:parquet 329000000 nan nan nan
tpch_q11/DuckDB:parquet 19000000 nan nan nan
tpch_q12/DuckDB:parquet 46000000 nan nan nan
tpch_q13/DuckDB:parquet 55000000 nan nan nan
tpch_q14/DuckDB:parquet 49000000 nan nan nan
tpch_q15/DuckDB:parquet 63000000 nan nan nan
tpch_q16/DuckDB:parquet 69000000 nan nan nan
tpch_q17/DuckDB:parquet 60000000 nan nan nan
tpch_q18/DuckDB:parquet 76000000 nan nan nan
tpch_q19/DuckDB:parquet 71000000 nan nan nan
tpch_q20/DuckDB:parquet 60000000 nan nan nan
tpch_q21/DuckDB:parquet 116000000 nan nan nan
tpch_q22/DuckDB:parquet 44000000 nan nan nan
tpch_q01/DuckDB:vortex-file-compressed 304000000 nan nan nan
tpch_q02/DuckDB:vortex-file-compressed 86000000 nan nan nan
tpch_q03/DuckDB:vortex-file-compressed 269000000 nan nan nan
tpch_q04/DuckDB:vortex-file-compressed 158000000 nan nan nan
tpch_q05/DuckDB:vortex-file-compressed 395000000 nan nan nan
tpch_q06/DuckDB:vortex-file-compressed 7000000 nan nan nan
tpch_q07/DuckDB:vortex-file-compressed 198000000 nan nan nan
tpch_q08/DuckDB:vortex-file-compressed 418000000 nan nan nan
tpch_q09/DuckDB:vortex-file-compressed 788000000 nan nan nan
tpch_q10/DuckDB:vortex-file-compressed 398000000 nan nan nan
tpch_q11/DuckDB:vortex-file-compressed 65000000 nan nan nan
tpch_q12/DuckDB:vortex-file-compressed 174000000 nan nan nan
tpch_q13/DuckDB:vortex-file-compressed 278000000 nan nan nan
tpch_q14/DuckDB:vortex-file-compressed 55000000 nan nan nan
tpch_q15/DuckDB:vortex-file-compressed 55000000 nan nan nan
tpch_q16/DuckDB:vortex-file-compressed 115000000 nan nan nan
tpch_q17/DuckDB:vortex-file-compressed 109000000 nan nan nan
tpch_q18/DuckDB:vortex-file-compressed 331000000 nan nan nan
tpch_q19/DuckDB:vortex-file-compressed 120000000 nan nan nan
tpch_q20/DuckDB:vortex-file-compressed 122000000 nan nan nan
tpch_q21/DuckDB:vortex-file-compressed 577000000 nan nan nan
tpch_q22/DuckDB:vortex-file-compressed 55000000 nan nan nan
tpch_q01/DuckDB:duckdb 26000000 nan nan nan
tpch_q02/DuckDB:duckdb 21000000 nan nan nan
tpch_q03/DuckDB:duckdb 53000000 nan nan nan
tpch_q04/DuckDB:duckdb 23000000 nan nan nan
tpch_q05/DuckDB:duckdb 33000000 nan nan nan
tpch_q06/DuckDB:duckdb 10000000 nan nan nan
tpch_q07/DuckDB:duckdb 33000000 nan nan nan
tpch_q08/DuckDB:duckdb 32000000 nan nan nan
tpch_q09/DuckDB:duckdb 69000000 nan nan nan
tpch_q10/DuckDB:duckdb 289000000 nan nan nan
tpch_q11/DuckDB:duckdb 11000000 nan nan nan
tpch_q12/DuckDB:duckdb 29000000 nan nan nan
tpch_q13/DuckDB:duckdb 41000000 nan nan nan
tpch_q14/DuckDB:duckdb 29000000 nan nan nan
tpch_q15/DuckDB:duckdb 38000000 nan nan nan
tpch_q16/DuckDB:duckdb 59000000 nan nan nan
tpch_q17/DuckDB:duckdb 29000000 nan nan nan
tpch_q18/DuckDB:duckdb 47000000 nan nan nan
tpch_q19/DuckDB:duckdb 41000000 nan nan nan
tpch_q20/DuckDB:duckdb 34000000 nan nan nan
tpch_q21/DuckDB:duckdb 65000000 nan nan nan
tpch_q22/DuckDB:duckdb 32000000 nan nan nan

@github-actions GitHub Actions
Copy link
Contributor

github-actions bot commented May 6, 2025 •
edited
Loading

Benchmarks: TPC-H on S3

Table of Results
name PR 173ead0 base c3e49f5 ratio (PR/base) unit
tpch_q01/DataFusion:parquet 227069379 nan nan nan
tpch_q02/DataFusion:parquet 793606954 nan nan nan
tpch_q03/DataFusion:parquet 376151114 nan nan nan
tpch_q04/DataFusion:parquet 264012955 nan nan nan
tpch_q05/DataFusion:parquet 561370706 nan nan nan
tpch_q06/DataFusion:parquet 148515491 nan nan nan
tpch_q07/DataFusion:parquet 533509530 nan nan nan
tpch_q08/DataFusion:parquet 756054561 nan nan nan
tpch_q09/DataFusion:parquet 644306651 nan nan nan
tpch_q10/DataFusion:parquet 561714242 nan nan nan
tpch_q11/DataFusion:parquet 491232694 nan nan nan
tpch_q12/DataFusion:parquet 300212919 nan nan nan
tpch_q13/DataFusion:parquet 216493725 nan nan nan
tpch_q14/DataFusion:parquet 300638174 nan nan nan
tpch_q15/DataFusion:parquet 404648962 nan nan nan
tpch_q16/DataFusion:parquet 424542992 nan nan nan
tpch_q17/DataFusion:parquet 559435500 nan nan nan
tpch_q18/DataFusion:parquet 578671113 nan nan nan
tpch_q19/DataFusion:parquet 401108499 nan nan nan
tpch_q20/DataFusion:parquet 631566475 nan nan nan
tpch_q21/DataFusion:parquet 741046048 nan nan nan
tpch_q22/DataFusion:parquet 290911230 nan nan nan
tpch_q01/DataFusion:vortex-file-compressed 333121324 nan nan nan
tpch_q02/DataFusion:vortex-file-compressed 172928932 nan nan nan
tpch_q03/DataFusion:vortex-file-compressed 361648331 nan nan nan
tpch_q04/DataFusion:vortex-file-compressed 174412221 nan nan nan
tpch_q05/DataFusion:vortex-file-compressed 380162385 nan nan nan
tpch_q06/DataFusion:vortex-file-compressed 12559127 nan nan nan
tpch_q07/DataFusion:vortex-file-compressed 328170239 nan nan nan
tpch_q08/DataFusion:vortex-file-compressed 404203984 nan nan nan
tpch_q09/DataFusion:vortex-file-compressed 461301431 nan nan nan
tpch_q10/DataFusion:vortex-file-compressed 400494256 nan nan nan
tpch_q11/DataFusion:vortex-file-compressed 156461257 nan nan nan
tpch_q12/DataFusion:vortex-file-compressed 206767411 nan nan nan
tpch_q13/DataFusion:vortex-file-compressed 155708156 nan nan nan
tpch_q14/DataFusion:vortex-file-compressed 236003646 nan nan nan
tpch_q15/DataFusion:vortex-file-compressed 418494894 nan nan nan
tpch_q16/DataFusion:vortex-file-compressed 96472120 nan nan nan
tpch_q17/DataFusion:vortex-file-compressed 421227891 nan nan nan
tpch_q18/DataFusion:vortex-file-compressed 458273177 nan nan nan
tpch_q19/DataFusion:vortex-file-compressed 55998262 nan nan nan
tpch_q20/DataFusion:vortex-file-compressed 266858878 nan nan nan
tpch_q21/DataFusion:vortex-file-compressed 409247864 nan nan nan
tpch_q22/DataFusion:vortex-file-compressed 128652597 nan nan nan

@github-actions GitHub Actions
Copy link
Contributor

github-actions bot commented May 6, 2025 •
edited
Loading

Benchmarks: Clickbench on NVME

Table of Results
name PR 173ead0 base c3e49f5 ratio (PR/base) unit
clickbench_q00/DataFusion:parquet 1287156 nan nan nan
clickbench_q01/DataFusion:parquet 28448174 nan nan nan
clickbench_q02/DataFusion:parquet 64305850 nan nan nan
clickbench_q03/DataFusion:parquet 52534807 nan nan nan
clickbench_q04/DataFusion:parquet 395120910 nan nan nan
clickbench_q05/DataFusion:parquet 381503723 nan nan nan
clickbench_q06/DataFusion:parquet 1331647 nan nan nan
clickbench_q07/DataFusion:parquet 31193526 nan nan nan
clickbench_q08/DataFusion:parquet 454179763 nan nan nan
clickbench_q09/DataFusion:parquet 692298216 nan nan nan
clickbench_q10/DataFusion:parquet 149523485 nan nan nan
clickbench_q11/DataFusion:parquet 180295619 nan nan nan
clickbench_q12/DataFusion:parquet 414264171 nan nan nan
clickbench_q13/DataFusion:parquet 566487683 nan nan nan
clickbench_q14/DataFusion:parquet 394885927 nan nan nan
clickbench_q15/DataFusion:parquet 459653197 nan nan nan
clickbench_q16/DataFusion:parquet 821130210 nan nan nan
clickbench_q17/DataFusion:parquet 786883015 nan nan nan
clickbench_q18/DataFusion:parquet 1505578073 nan nan nan
clickbench_q19/DataFusion:parquet 43685250 nan nan nan
clickbench_q20/DataFusion:parquet 659752086 nan nan nan
clickbench_q21/DataFusion:parquet 726014262 nan nan nan
clickbench_q22/DataFusion:parquet 1195435081 nan nan nan
clickbench_q23/DataFusion:parquet 4917960393 nan nan nan
clickbench_q24/DataFusion:parquet 251960440 nan nan nan
clickbench_q25/DataFusion:parquet 213491648 nan nan nan
clickbench_q26/DataFusion:parquet 279544501 nan nan nan
clickbench_q27/DataFusion:parquet 977376980 nan nan nan
clickbench_q28/DataFusion:parquet 5829820675 nan nan nan
clickbench_q29/DataFusion:parquet 249305112 nan nan nan
clickbench_q30/DataFusion:parquet 391618501 nan nan nan
clickbench_q31/DataFusion:parquet 440391728 nan nan nan
clickbench_q32/DataFusion:parquet 1360306008 nan nan nan
clickbench_q33/DataFusion:parquet 1715344297 nan nan nan
clickbench_q34/DataFusion:parquet 1706971135 nan nan nan
clickbench_q35/DataFusion:parquet 621491320 nan nan nan
clickbench_q36/DataFusion:parquet 168634005 nan nan nan
clickbench_q37/DataFusion:parquet 75094170 nan nan nan
clickbench_q38/DataFusion:parquet 110739900 nan nan nan
clickbench_q39/DataFusion:parquet 356153419 nan nan nan
clickbench_q40/DataFusion:parquet 41998160 nan nan nan
clickbench_q41/DataFusion:parquet 40166154 nan nan nan
clickbench_q42/DataFusion:parquet 59659859 nan nan nan
clickbench_q00/DataFusion:vortex-file-compressed 1315604 nan nan nan
clickbench_q01/DataFusion:vortex-file-compressed 7196518 nan nan nan
clickbench_q02/DataFusion:vortex-file-compressed 25503568 nan nan nan
clickbench_q03/DataFusion:vortex-file-compressed 34166318 nan nan nan
clickbench_q04/DataFusion:vortex-file-compressed 340015279 nan nan nan
clickbench_q05/DataFusion:vortex-file-compressed 338424784 nan nan nan
clickbench_q06/DataFusion:vortex-file-compressed 1344099 nan nan nan
clickbench_q07/DataFusion:vortex-file-compressed 11984927 nan nan nan
clickbench_q08/DataFusion:vortex-file-compressed 391911651 nan nan nan
clickbench_q09/DataFusion:vortex-file-compressed 580968774 nan nan nan
clickbench_q10/DataFusion:vortex-file-compressed 75234009 nan nan nan
clickbench_q11/DataFusion:vortex-file-compressed 86297136 nan nan nan
clickbench_q12/DataFusion:vortex-file-compressed 303806196 nan nan nan
clickbench_q13/DataFusion:vortex-file-compressed 479474205 nan nan nan
clickbench_q14/DataFusion:vortex-file-compressed 270819845 nan nan nan
clickbench_q15/DataFusion:vortex-file-compressed 407225937 nan nan nan
clickbench_q16/DataFusion:vortex-file-compressed 833637978 nan nan nan
clickbench_q17/DataFusion:vortex-file-compressed 805612437 nan nan nan
clickbench_q18/DataFusion:vortex-file-compressed 1516281804 nan nan nan
clickbench_q19/DataFusion:vortex-file-compressed 13729887 nan nan nan
clickbench_q20/DataFusion:vortex-file-compressed 273997776 nan nan nan
clickbench_q21/DataFusion:vortex-file-compressed 332739922 nan nan nan
clickbench_q22/DataFusion:vortex-file-compressed 673497812 nan nan nan
clickbench_q23/DataFusion:vortex-file-compressed 2026632653 nan nan nan
clickbench_q24/DataFusion:vortex-file-compressed 126637821 nan nan nan
clickbench_q25/DataFusion:vortex-file-compressed 100149399 nan nan nan
clickbench_q26/DataFusion:vortex-file-compressed 162288035 nan nan nan
clickbench_q27/DataFusion:vortex-file-compressed 683501831 nan nan nan
clickbench_q28/DataFusion:vortex-file-compressed 6682450257 nan nan nan
clickbench_q29/DataFusion:vortex-file-compressed 261148821 nan nan nan
clickbench_q30/DataFusion:vortex-file-compressed 245255214 nan nan nan
clickbench_q31/DataFusion:vortex-file-compressed 280539660 nan nan nan
clickbench_q32/DataFusion:vortex-file-compressed 1284889989 nan nan nan
clickbench_q33/DataFusion:vortex-file-compressed 1544216250 nan nan nan
clickbench_q34/DataFusion:vortex-file-compressed 1545437305 nan nan nan
clickbench_q35/DataFusion:vortex-file-compressed 558602526 nan nan nan
clickbench_q36/DataFusion:vortex-file-compressed 96440181 nan nan nan
clickbench_q37/DataFusion:vortex-file-compressed 40550189 nan nan nan
clickbench_q38/DataFusion:vortex-file-compressed 27287628 nan nan nan
clickbench_q39/DataFusion:vortex-file-compressed 198718952 nan nan nan
clickbench_q40/DataFusion:vortex-file-compressed 13930335 nan nan nan
clickbench_q41/DataFusion:vortex-file-compressed 12803655 nan nan nan
clickbench_q42/DataFusion:vortex-file-compressed 35554095 nan nan nan
clickbench_q00/DuckDB:parquet 239000000 nan nan nan
clickbench_q01/DuckDB:parquet 159000000 nan nan nan
clickbench_q02/DuckDB:parquet 186000000 nan nan nan
clickbench_q03/DuckDB:parquet 183000000 nan nan nan
clickbench_q04/DuckDB:parquet 296000000 nan nan nan
clickbench_q05/DuckDB:parquet 328000000 nan nan nan
clickbench_q06/DuckDB:parquet 169000000 nan nan nan
clickbench_q07/DuckDB:parquet 160000000 nan nan nan
clickbench_q08/DuckDB:parquet 339000000 nan nan nan
clickbench_q09/DuckDB:parquet 442000000 nan nan nan
clickbench_q10/DuckDB:parquet 219000000 nan nan nan
clickbench_q11/DuckDB:parquet 234000000 nan nan nan
clickbench_q12/DuckDB:parquet 349000000 nan nan nan
clickbench_q13/DuckDB:parquet 523000000 nan nan nan
clickbench_q14/DuckDB:parquet 382000000 nan nan nan
clickbench_q15/DuckDB:parquet 316000000 nan nan nan
clickbench_q16/DuckDB:parquet 658000000 nan nan nan
clickbench_q17/DuckDB:parquet 580000000 nan nan nan
clickbench_q18/DuckDB:parquet 1074000000 nan nan nan
clickbench_q19/DuckDB:parquet 161000000 nan nan nan
clickbench_q20/DuckDB:parquet 764000000 nan nan nan
clickbench_q21/DuckDB:parquet 695000000 nan nan nan
clickbench_q22/DuckDB:parquet 1157000000 nan nan nan
clickbench_q23/DuckDB:parquet 2686000000 nan nan nan
clickbench_q24/DuckDB:parquet 142000000 nan nan nan
clickbench_q25/DuckDB:parquet 236000000 nan nan nan
clickbench_q26/DuckDB:parquet 145000000 nan nan nan
clickbench_q27/DuckDB:parquet 832000000 nan nan nan
clickbench_q28/DuckDB:parquet 6009000000 nan nan nan
clickbench_q29/DuckDB:parquet 177000000 nan nan nan
clickbench_q30/DuckDB:parquet 417000000 nan nan nan
clickbench_q31/DuckDB:parquet 467000000 nan nan nan
clickbench_q32/DuckDB:parquet 1130000000 nan nan nan
clickbench_q33/DuckDB:parquet 1293000000 nan nan nan
clickbench_q34/DuckDB:parquet 1372000000 nan nan nan
clickbench_q35/DuckDB:parquet 412000000 nan nan nan
clickbench_q36/DuckDB:parquet 158000000 nan nan nan
clickbench_q37/DuckDB:parquet 149000000 nan nan nan
clickbench_q38/DuckDB:parquet 159000000 nan nan nan
clickbench_q39/DuckDB:parquet 182000000 nan nan nan
clickbench_q40/DuckDB:parquet 155000000 nan nan nan
clickbench_q41/DuckDB:parquet 160000000 nan nan nan
clickbench_q42/DuckDB:parquet 150000000 nan nan nan
clickbench_q00/DuckDB:vortex-file-compressed 23000000 nan nan nan
clickbench_q01/DuckDB:vortex-file-compressed 27000000 nan nan nan
clickbench_q02/DuckDB:vortex-file-compressed 125000000 nan nan nan
clickbench_q03/DuckDB:vortex-file-compressed 91000000 nan nan nan
clickbench_q04/DuckDB:vortex-file-compressed 272000000 nan nan nan
clickbench_q05/DuckDB:vortex-file-compressed 348000000 nan nan nan
clickbench_q06/DuckDB:vortex-file-compressed 76000000 nan nan nan
clickbench_q07/DuckDB:vortex-file-compressed 36000000 nan nan nan
clickbench_q08/DuckDB:vortex-file-compressed 371000000 nan nan nan
clickbench_q09/DuckDB:vortex-file-compressed 541000000 nan nan nan
clickbench_q10/DuckDB:vortex-file-compressed 151000000 nan nan nan
clickbench_q11/DuckDB:vortex-file-compressed 154000000 nan nan nan
clickbench_q12/DuckDB:vortex-file-compressed 323000000 nan nan nan
clickbench_q13/DuckDB:vortex-file-compressed 533000000 nan nan nan
clickbench_q14/DuckDB:vortex-file-compressed 365000000 nan nan nan
clickbench_q15/DuckDB:vortex-file-compressed 319000000 nan nan nan
clickbench_q16/DuckDB:vortex-file-compressed 784000000 nan nan nan
clickbench_q17/DuckDB:vortex-file-compressed 707000000 nan nan nan
clickbench_q18/DuckDB:vortex-file-compressed 1435000000 nan nan nan
clickbench_q19/DuckDB:vortex-file-compressed 167000000 nan nan nan
clickbench_q20/DuckDB:vortex-file-compressed 682000000 nan nan nan
clickbench_q21/DuckDB:vortex-file-compressed 486000000 nan nan nan
clickbench_q22/DuckDB:vortex-file-compressed 733000000 nan nan nan
clickbench_q23/DuckDB:vortex-file-compressed 1468000000 nan nan nan
clickbench_q24/DuckDB:vortex-file-compressed 222000000 nan nan nan
clickbench_q25/DuckDB:vortex-file-compressed 164000000 nan nan nan
clickbench_q26/DuckDB:vortex-file-compressed 211000000 nan nan nan
clickbench_q27/DuckDB:vortex-file-compressed 940000000 nan nan nan
clickbench_q28/DuckDB:vortex-file-compressed 6842000000 nan nan nan
clickbench_q29/DuckDB:vortex-file-compressed 92000000 nan nan nan
clickbench_q30/DuckDB:vortex-file-compressed 311000000 nan nan nan
clickbench_q31/DuckDB:vortex-file-compressed 439000000 nan nan nan
clickbench_q32/DuckDB:vortex-file-compressed 1347000000 nan nan nan
clickbench_q33/DuckDB:vortex-file-compressed 1477000000 nan nan nan
clickbench_q34/DuckDB:vortex-file-compressed 1582000000 nan nan nan
clickbench_q35/DuckDB:vortex-file-compressed 461000000 nan nan nan
clickbench_q36/DuckDB:vortex-file-compressed 85000000 nan nan nan
clickbench_q37/DuckDB:vortex-file-compressed 43000000 nan nan nan
clickbench_q38/DuckDB:vortex-file-compressed 52000000 nan nan nan
clickbench_q39/DuckDB:vortex-file-compressed 180000000 nan nan nan
clickbench_q40/DuckDB:vortex-file-compressed 30000000 nan nan nan
clickbench_q41/DuckDB:vortex-file-compressed 29000000 nan nan nan
clickbench_q42/DuckDB:vortex-file-compressed 37000000 nan nan nan
clickbench_q00/DuckDB:duckdb 18000000 nan nan nan
clickbench_q01/DuckDB:duckdb 36000000 nan nan nan
clickbench_q02/DuckDB:duckdb 69000000 nan nan nan
clickbench_q03/DuckDB:duckdb 63000000 nan nan nan
clickbench_q04/DuckDB:duckdb 229000000 nan nan nan
clickbench_q05/DuckDB:duckdb 313000000 nan nan nan
clickbench_q06/DuckDB:duckdb 41000000 nan nan nan
clickbench_q07/DuckDB:duckdb 38000000 nan nan nan
clickbench_q08/DuckDB:duckdb 281000000 nan nan nan
clickbench_q09/DuckDB:duckdb 381000000 nan nan nan
clickbench_q10/DuckDB:duckdb 124000000 nan nan nan
clickbench_q11/DuckDB:duckdb 137000000 nan nan nan
clickbench_q12/DuckDB:duckdb 289000000 nan nan nan
clickbench_q13/DuckDB:duckdb 470000000 nan nan nan
clickbench_q14/DuckDB:duckdb 314000000 nan nan nan
clickbench_q15/DuckDB:duckdb 257000000 nan nan nan
clickbench_q16/DuckDB:duckdb 627000000 nan nan nan
clickbench_q17/DuckDB:duckdb 547000000 nan nan nan
clickbench_q18/DuckDB:duckdb 1060000000 nan nan nan
clickbench_q19/DuckDB:duckdb 35000000 nan nan nan
clickbench_q20/DuckDB:duckdb 633000000 nan nan nan
clickbench_q21/DuckDB:duckdb 526000000 nan nan nan
clickbench_q22/DuckDB:duckdb 808000000 nan nan nan
clickbench_q23/DuckDB:duckdb 334000000 nan nan nan
clickbench_q24/DuckDB:duckdb 59000000 nan nan nan
clickbench_q25/DuckDB:duckdb 127000000 nan nan nan
clickbench_q26/DuckDB:duckdb 58000000 nan nan nan
clickbench_q27/DuckDB:duckdb 639000000 nan nan nan
clickbench_q28/DuckDB:duckdb 5835000000 nan nan nan
clickbench_q29/DuckDB:duckdb 59000000 nan nan nan
clickbench_q30/DuckDB:duckdb 313000000 nan nan nan
clickbench_q31/DuckDB:duckdb 402000000 nan nan nan
clickbench_q32/DuckDB:duckdb 1108000000 nan nan nan
clickbench_q33/DuckDB:duckdb 1310000000 nan nan nan
clickbench_q34/DuckDB:duckdb 1343000000 nan nan nan
clickbench_q35/DuckDB:duckdb 324000000 nan nan nan
clickbench_q36/DuckDB:duckdb 50000000 nan nan nan
clickbench_q37/DuckDB:duckdb 33000000 nan nan nan
clickbench_q38/DuckDB:duckdb 35000000 nan nan nan
clickbench_q39/DuckDB:duckdb 74000000 nan nan nan
clickbench_q40/DuckDB:duckdb 34000000 nan nan nan
clickbench_q41/DuckDB:duckdb 35000000 nan nan nan
clickbench_q42/DuckDB:duckdb 33000000 nan nan nan

@onursatici onursatici force-pushed the os/concurrent-compression branch from d2a9d37 to 173ead0 Compare May 6, 2025 09:55
@onursatici onursatici added the benchmark Run benchmarks on this branch label May 6, 2025
@github-actions github-actions bot removed the benchmark Run benchmarks on this branch label May 6, 2025
@github-actions GitHub Actions
Copy link
Contributor

github-actions bot commented May 6, 2025

Benchmarks: compress

Table of Results
name PR 173ead0 base c3e49f5 ratio (PR/base) unit
compress time/taxi 2.42777e+08 nan nan nan
parquet_rs-zstd compress time/taxi 1.77692e+09 nan nan nan
decompress time/taxi 1.23957e+08 nan nan nan
parquet_rs-zstd decompress time/taxi 2.78882e+08 nan nan nan
compress time/Arade 5.42948e+08 nan nan nan
parquet_rs-zstd compress time/Arade 2.89953e+09 nan nan nan
decompress time/Arade 2.21752e+08 nan nan nan
parquet_rs-zstd decompress time/Arade 6.32397e+08 nan nan nan
compress time/Bimbo 2.15682e+09 nan nan nan
parquet_rs-zstd compress time/Bimbo 2.03107e+10 nan nan nan
decompress time/Bimbo 1.01327e+09 nan nan nan
parquet_rs-zstd decompress time/Bimbo 2.52777e+09 nan nan nan
compress time/CMSprovider 1.58347e+09 nan nan nan
parquet_rs-zstd compress time/CMSprovider 8.67474e+09 nan nan nan
decompress time/CMSprovider 7.06756e+08 nan nan nan
parquet_rs-zstd decompress time/CMSprovider 1.50744e+09 nan nan nan
compress time/Euro2016 1.34611e+09 nan nan nan
parquet_rs-zstd compress time/Euro2016 1.53289e+09 nan nan nan
decompress time/Euro2016 2.1756e+08 nan nan nan
parquet_rs-zstd decompress time/Euro2016 4.10808e+08 nan nan nan
compress time/Food 3.09681e+08 nan nan nan
parquet_rs-zstd compress time/Food 1.03855e+09 nan nan nan
decompress time/Food 8.88577e+07 nan nan nan
parquet_rs-zstd decompress time/Food 2.03938e+08 nan nan nan
compress time/HashTags 1.35226e+09 nan nan nan
parquet_rs-zstd compress time/HashTags 2.77047e+09 nan nan nan
decompress time/HashTags 1.79958e+09 nan nan nan
parquet_rs-zstd decompress time/HashTags 6.58553e+08 nan nan nan
compress time/TPC-H l_comment chunked 1.12578e+09 nan nan nan
parquet_rs-zstd compress time/TPC-H l_comment chunked 8.63226e+08 nan nan nan
decompress time/TPC-H l_comment chunked 9.92434e+07 nan nan nan
parquet_rs-zstd decompress time/TPC-H l_comment chunked 2.4055e+08 nan nan nan
compress time/TPC-H l_comment canonical 1.97833e+09 nan nan nan
parquet_rs-zstd compress time/TPC-H l_comment canonical 8.74566e+08 nan nan nan
decompress time/TPC-H l_comment canonical 1.0776e+08 nan nan nan
parquet_rs-zstd decompress time/TPC-H l_comment canonical 2.43158e+08 nan nan nan
compress time/wide table cols=10 chunks=1 rows=1000 1.40016e+06 nan nan nan
parquet_rs-zstd compress time/wide table cols=10 chunks=1 rows=1000 779898 nan nan nan
decompress time/wide table cols=10 chunks=1 rows=1000 178934 nan nan nan
parquet_rs-zstd decompress time/wide table cols=10 chunks=1 rows=1000 268431 nan nan nan
compress time/wide table cols=100 chunks=1 rows=1000 1.30897e+07 nan nan nan
parquet_rs-zstd compress time/wide table cols=100 chunks=1 rows=1000 7.55976e+06 nan nan nan
decompress time/wide table cols=100 chunks=1 rows=1000 1.54257e+06 nan nan nan
parquet_rs-zstd decompress time/wide table cols=100 chunks=1 rows=1000 2.67958e+06 nan nan nan
compress time/wide table cols=1000 chunks=1 rows=1000 1.32464e+08 nan nan nan
parquet_rs-zstd compress time/wide table cols=1000 chunks=1 rows=1000 9.36588e+07 nan nan nan
decompress time/wide table cols=1000 chunks=1 rows=1000 1.9595e+07 nan nan nan
parquet_rs-zstd decompress time/wide table cols=1000 chunks=1 rows=1000 2.83444e+07 nan nan nan
compress time/wide table cols=10 chunks=50 rows=1000 5.41619e+06 nan nan nan
parquet_rs-zstd compress time/wide table cols=10 chunks=50 rows=1000 1.06857e+06 nan nan nan
decompress time/wide table cols=10 chunks=50 rows=1000 177542 nan nan nan
parquet_rs-zstd decompress time/wide table cols=10 chunks=50 rows=1000 264087 nan nan nan
compress time/wide table cols=100 chunks=50 rows=1000 3.93571e+07 nan nan nan
parquet_rs-zstd compress time/wide table cols=100 chunks=50 rows=1000 1.07938e+07 nan nan nan
decompress time/wide table cols=100 chunks=50 rows=1000 1.5177e+06 nan nan nan
parquet_rs-zstd decompress time/wide table cols=100 chunks=50 rows=1000 2.66952e+06 nan nan nan
compress time/wide table cols=1000 chunks=50 rows=1000 4.53618e+08 nan nan nan
parquet_rs-zstd compress time/wide table cols=1000 chunks=50 rows=1000 1.45973e+08 nan nan nan
decompress time/wide table cols=1000 chunks=50 rows=1000 1.9262e+07 nan nan nan
parquet_rs-zstd decompress time/wide table cols=1000 chunks=50 rows=1000 2.85897e+07 nan nan nan
vortex size/taxi 5.48347e+07 nan nan nan
parquet-zstd size/taxi 5.59542e+07 nan nan nan
vortex:parquet-zstd size/taxi 0.979993 nan nan nan
vortex:parquet-zstd ratio compress time/taxi 0.136628 nan nan nan
vortex:parquet-zstd ratio decompress time/taxi 0.444479 nan nan nan
vortex size/Arade 1.63786e+08 nan nan nan
parquet-zstd size/Arade 3.0538e+08 nan nan nan
vortex:parquet-zstd size/Arade 0.536334 nan nan nan
vortex:parquet-zstd ratio compress time/Arade 0.187254 nan nan nan
vortex:parquet-zstd ratio decompress time/Arade 0.350653 nan nan nan
vortex size/Bimbo 5.37016e+08 nan nan nan
parquet-zstd size/Bimbo 3.89789e+08 nan nan nan
vortex:parquet-zstd size/Bimbo 1.37771 nan nan nan
vortex:parquet-zstd ratio compress time/Bimbo 0.106191 nan nan nan
vortex:parquet-zstd ratio decompress time/Bimbo 0.400856 nan nan nan
vortex size/CMSprovider 4.91274e+08 nan nan nan
parquet-zstd size/CMSprovider 3.84908e+08 nan nan nan
vortex:parquet-zstd size/CMSprovider 1.27634 nan nan nan
vortex:parquet-zstd ratio compress time/CMSprovider 0.182538 nan nan nan
vortex:parquet-zstd ratio decompress time/CMSprovider 0.468845 nan nan nan
vortex size/Euro2016 1.79626e+08 nan nan nan
parquet-zstd size/Euro2016 1.23121e+08 nan nan nan
vortex:parquet-zstd size/Euro2016 1.45894 nan nan nan
vortex:parquet-zstd ratio compress time/Euro2016 0.878148 nan nan nan
vortex:parquet-zstd ratio decompress time/Euro2016 0.529591 nan nan nan
vortex size/Food 4.61676e+07 nan nan nan
parquet-zstd size/Food 3.62159e+07 nan nan nan
vortex:parquet-zstd size/Food 1.27479 nan nan nan
vortex:parquet-zstd ratio compress time/Food 0.298186 nan nan nan
vortex:parquet-zstd ratio decompress time/Food 0.43571 nan nan nan
vortex size/HashTags 2.07227e+08 nan nan nan
parquet-zstd size/HashTags 1.33942e+08 nan nan nan
vortex:parquet-zstd size/HashTags 1.54714 nan nan nan
vortex:parquet-zstd ratio compress time/HashTags 0.488099 nan nan nan
vortex:parquet-zstd ratio decompress time/HashTags 2.73263 nan nan nan
vortex size/TPC-H l_comment chunked 7.43995e+07 nan nan nan
parquet-zstd size/TPC-H l_comment chunked 5.69203e+07 nan nan nan
vortex:parquet-zstd size/TPC-H l_comment chunked 1.30708 nan nan nan
vortex:parquet-zstd ratio compress time/TPC-H l_comment chunked 1.30416 nan nan nan
vortex:parquet-zstd ratio decompress time/TPC-H l_comment chunked 0.412568 nan nan nan
vortex size/TPC-H l_comment canonical 7.62192e+07 nan nan nan
parquet-zstd size/TPC-H l_comment canonical 5.69175e+07 nan nan nan
vortex:parquet-zstd size/TPC-H l_comment canonical 1.33912 nan nan nan
vortex:parquet-zstd ratio compress time/TPC-H l_comment canonical 2.26207 nan nan nan
vortex:parquet-zstd ratio decompress time/TPC-H l_comment canonical 0.44317 nan nan nan
vortex size/wide table cols=10 chunks=1 rows=1000 101544 nan nan nan
parquet-zstd size/wide table cols=10 chunks=1 rows=1000 93484 nan nan nan
vortex:parquet-zstd size/wide table cols=10 chunks=1 rows=1000 1.08622 nan nan nan
vortex:parquet-zstd ratio compress time/wide table cols=10 chunks=1 rows=1000 1.79531 nan nan nan
vortex:parquet-zstd ratio decompress time/wide table cols=10 chunks=1 rows=1000 0.666592 nan nan nan
vortex size/wide table cols=100 chunks=1 rows=1000 1.0091e+06 nan nan nan
parquet-zstd size/wide table cols=100 chunks=1 rows=1000 934804 nan nan nan
vortex:parquet-zstd size/wide table cols=100 chunks=1 rows=1000 1.07948 nan nan nan
vortex:parquet-zstd ratio compress time/wide table cols=100 chunks=1 rows=1000 1.73149 nan nan nan
vortex:parquet-zstd ratio decompress time/wide table cols=100 chunks=1 rows=1000 0.575676 nan nan nan
vortex size/wide table cols=1000 chunks=1 rows=1000 1.00847e+07 nan nan nan
parquet-zstd size/wide table cols=1000 chunks=1 rows=1000 9.348e+06 nan nan nan
vortex:parquet-zstd size/wide table cols=1000 chunks=1 rows=1000 1.07881 nan nan nan
vortex:parquet-zstd ratio compress time/wide table cols=1000 chunks=1 rows=1000 1.41433 nan nan nan
vortex:parquet-zstd ratio decompress time/wide table cols=1000 chunks=1 rows=1000 0.691319 nan nan nan
vortex size/wide table cols=10 chunks=50 rows=1000 101544 nan nan nan
parquet-zstd size/wide table cols=10 chunks=50 rows=1000 93484 nan nan nan
vortex:parquet-zstd size/wide table cols=10 chunks=50 rows=1000 1.08622 nan nan nan
vortex:parquet-zstd ratio compress time/wide table cols=10 chunks=50 rows=1000 5.06862 nan nan nan
vortex:parquet-zstd ratio decompress time/wide table cols=10 chunks=50 rows=1000 0.672286 nan nan nan
vortex size/wide table cols=100 chunks=50 rows=1000 1.0091e+06 nan nan nan
parquet-zstd size/wide table cols=100 chunks=50 rows=1000 934804 nan nan nan
vortex:parquet-zstd size/wide table cols=100 chunks=50 rows=1000 1.07948 nan nan nan
vortex:parquet-zstd ratio compress time/wide table cols=100 chunks=50 rows=1000 3.64626 nan nan nan
vortex:parquet-zstd ratio decompress time/wide table cols=100 chunks=50 rows=1000 0.568528 nan nan nan
vortex size/wide table cols=1000 chunks=50 rows=1000 1.00847e+07 nan nan nan
parquet-zstd size/wide table cols=1000 chunks=50 rows=1000 9.348e+06 nan nan nan
vortex:parquet-zstd size/wide table cols=1000 chunks=50 rows=1000 1.07881 nan nan nan
vortex:parquet-zstd ratio compress time/wide table cols=1000 chunks=50 rows=1000 3.10755 nan nan nan
vortex:parquet-zstd ratio decompress time/wide table cols=1000 chunks=50 rows=1000 0.673741 nan nan nan

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers
No reviews
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
1 participant
@onursatici