Re: large object write performance - Mailing list pgsql-performance

From Bram Van Steenlandt
Subject Re: large object write performance
Date
Msg-id 56165D16.9020608@diomedia.be
Whole thread Raw
In response to Re: large object write performance  ("Graeme B. Bell" <graeme.bell@nibio.no>)
List pgsql-performance

Op 08-10-15 om 13:37 schreef Graeme B. Bell:
>>>
>> Like this ?
>>
>> gmirror (iozone -s 4 -a /dev/mirror/gm0s1e) = 806376 (faster drives)
>> zfs uncompressed (iozone -s 4 -a /datapool/data) = 650136
>> zfs compressed (iozone -s 4 -a /datapool/data) = 676345
>
> If you can get the complete tables (as in the images on the blog post) with random performance compared to sequential
etc,different block sizes, that would be very interesting. 
>
>
>
Like this ?

     Command line used: iozone -a /dev/mirror/gm0s1e
     Output is in Kbytes/sec
     Time Resolution = 0.000001 seconds.
     Processor cache size set to 1024 Kbytes.
     Processor cache line size set to 32 bytes.
     File stride size set to 17 * record size.
                                                             random
random    bkwd   record   stride
               KB  reclen   write rewrite    read    reread    read
write    read  rewrite     read   fwrite frewrite   fread  freread
               64       4  321554  913649  2689580  2892445 2133730
874936 1879725   913649  1933893  1013707  1066042 2006158  2561267
               64       8  603489 1722886  4897948  5860307 3791156
1947927 3022727  1879725  3791156  1828508  1768283 3541098  4564786
               64      16 1083249 3363612  7940539  9006179 7100397
3541098 3958892  3165299  7100397  3588436  3363612 4897948  6421025
               64      32 1392258 5283570 12902017 1082152412902017
4897948 5860307  4564786  7100397  4207076  4274062 5389653  7940539
               64      64 2772930 5735102 20962191 2096219115972885
7940539 7940539  7940539 12902017  7100397  5860307 4274062  9318832
              128       4  253503 1093856  2727923  2714132 2420455
1048974 2286447  1057236  2058509   948860  1051027 2464907  2558895
              128       8  465304 1975201  4934216  5325799 4557257
1975201 2286447  1133103  4267461  1878447  1975201 3657016  4557257
              128      16  821147 3468030  6114306  8036304 6114306
3468030 5122535  3359523  6727225  3560017  2969325 5122535  6406138
              128      32 1504659 6045455 11720614 1254204311470204
5325799 8036304  6045455  9977956  5847904  6114306 6727225  8548124
              128      64 2621367 5784891 16365173 1588107815881078
8036304 9795896  8036304  9129573  8036304  7082197 6727225  9795896
              128     128 4444086 9129573 18637664
10779307180123591056714011470204 10779307 14200794 10567140  9795896
3380677  6812590
              256       4  390763  951219  2692393  2692393 2325094
958864 2310087   955451  2305128   984356  1004618 2435861  2441400
              256       8  736041 1894373  4572895  5022044 4422226
1729594 3823789  1729594  4132864  1778290  1729594 4197489  4332998
              256      16 1280084 3368013  7120034  8024634 7120034
3043436 6249745  3275543  7120034  3410808  3285566 5117791  6249745
              256      32 2152625 4734192 11091721 1222861210245071
5540300 8815202  5569035  9868433  5687020  5810112 6554972  8208677
              256      64 3245838 7518900 16072608 1709624916072608
802463411695808  8534922 13454450  7518900  8024634 8271916  9868433
              256     128 490728410651598 17096249
19591792170962491024507113454450 11695808 17096249 11091721  8815202
7314033 10245071
              256     256 5022044 9868433 18259146 1959179218259146
986843314353744 10651598 16828306 10651598  9518507 3326279 10245071
              512       4  533297  948197  2695115  2768068 2327124
944860 2287463   930933  2394591   984720   988345 2486072  2497638
              512       8  953248 1931527  5019764  5127637 4494470
1882427 4228947  1875849  4420457  1938502  1938502 4061007  4420457
              512      16 1571169 3510074  7758090  7900804 7091952
3437042 6652558  3366987  6931711  3533174  3437042 5951911  6246213
              512      32 2327124 5951911 11620224 1249949011138071
5822804 9814569  5807059 11138071  5886650  5822804 6821616  7647578
              512      64 3163620 7647578 15471149 1654383213872122
801881212427157  8992598 16049269  8394979  8394979 8992598  9859630
              512     128 5951911 9859630 17069844
19037014176304041137404015143846 12797441 18229030 11620224 10641343
8665997 10235583
              512     256 582280410641343 18385093
18385093176304041069433615471149 11943357 17630404 10911694 10911694
7758090  9859630
              512     512 601863610434519 18869737 1955712419037014
985963015930214 11138071 13872122 10911694 10235583 3415178 10044089
             1024       4  643652  991266  2409105  2716948 2354947
940269 2290886   942952  2338280   992412  1004951 2364021  2472911
             1024       8 1120580 1858644  4904018  5042191 4415030
1837965 3999762  1774922  4146499  1822368  1806273 4215688  4321737
             1024      16 1769073 3469823  7699755  7755368 7054742
3355952 6787181  3311958  6874084  3458646  3390391 6059442  6172653
             1024      32 2474336 5472650 11132462 1124909110255274
6059442 9946527  5782087 10039528  5417427  5917516 7927135  8262639
             1024      64 3200886 8061038 15516181 1678995915516181
832671514044758  9220512 15977962  8525047  8457895 9464330 10039528
             1024     128 681951111368190 17985196
18936769171246801124909116280798 12790037 17688906 11249091 11645609
9220512 10429596
             1024     256 683035611132462 17985196
18608584179851961148983916789959 12639479 18608584 11368190 11132462
8326715  9832672
             1024     512 706634911132462 18936769
19276739189367691101822614618393 11773301 15080341 10906310 11018226
7319232 10134284
             1024    1024 691837611018226 20088179
20471166200881791148983914618393 11249091 19276739 11520658 11249091
3579719 10354166
             2048       4  711805  991702  2534049  2709070 2378293
961939 2250555   923767  2193096   986917   950339 2316716  2479912
             2048       8 1201758 1880950  4611288  4911886 4385291
1843410 4063729  1836709  3993821  1802788  1861789 3946119  4221501
             2048      16 1826943 3330973  6738230  7336772 6588354
3287628 6321679  3221057  6583305  3282603  3151337 4994712  5719737
             2048      32 2569678 5884299 10620516 1183503311015480
5719737 9062970  5596757  9567698  5549749  5389574 6895083  7846081
             2048      64 3061485 8431376 15652050 1600194315289867
856590114226322  9228493 14109484  8292998  8531869 9525260 10037248
             2048     128 736823811502234 17828628
18284015177917011198363016783585 13748169 18600754 11502234 12118884
9898453 10439809
             2048     256 721354811058022 17645509
18441025178286281107227517221003 13138359 18763275 11502234 11305435
8987113  9898453
             2048     512 728698011502234 18480699
19486895191395401183503316274804 12416686 18763275 11305435 10834854
8431376 10240672
             2048    1024 731802011246230 19665344
19893055197104681157976317828628 12561952 19531203 11564174 11440955
7903836 10240672
             2048    2048 687301610834854 20079056
20079056202685681203399518284015 12187663 16915790 12118884 11851361
3221057  9349021
             4096       4  747054  977305  2315406  2418063 2156702
914269 2125483   933241  2066675   978976   984869 2203449  2288267
             4096       8 1283631 1856920  4087714  4442909 3968731
1791845 3828122  1793342  3630721  1877210  1835102 3713919  3886139
             4096      16 1890015 3303309  6041154  6758923 6342230
3290024 5918366  3248345  5231694  3316701  3245890 5145513  5551194
             4096      32 2612190 5565581  8829180 10059615 9685316
5800471 8189447  5744227  7831080  5657217  5572803 6512939  7314299
             4096      64 3185110 8393502 13790167 1511240514026607
869512013086376  9593374 14118827  8518356  8660056 8883968  9394037
             4096     128 759900211500738 15692162
17974227175878061140908716058868 13746032 17148903 11609543 10806269
9756822 10394367
             4096     256 751589211164417 15219509
17427236176601231128913414271297 13126371 18358372 11042425 11409087
8426437  9658092
             4096     512 759900211222762 16179861
18358372188003521160954315508016 13126371 18698043 11940367 10923071
7161842  8883968
             4096    1024 768397211841605 17569819
18698043192210331194036717217649 13176709 19796907 11736440 11348794
7998800  9920205
             4096    2048 622502810476771 15006799
16585996169962131167264713604523 12220656 14177082 11193514 10895362
5572803  7746336
             4096    4096 6503078 8770583 13518879
13615304134343071071862212015527 11007051 11252164 10606129 10136778
2151300  5657217
             8192       4  771889  955105  2348612  2440182 2196239
945954 2090414   927318  2088254   978497   991142 2209230  2277469
             8192       8 1300529 1853795  3994479  4271046 3844314
1794916 3645670  1816072  3541581  1855096  1805195 3594563  3803462
             8192      16 1934800 3308654  5911041  6558696 6158977
3240626 5546540  3316639  5350479  3345053  3308654 5025700  5382328
             8192      32 2606405 5520695  8062248  9329772 9092750
5523358 7656244  5825851  7699133  5843686  5509188 6281710  6923450
             8192      64 3195123 8358395  9954134 1226342613105371
852428510625170  9603578 12120667  8393104  8283835 7976157  8734477
             8192     128 740702210922396 11160086
130854071363045811820445 9798016 13428037 11719650 11620560 11178240
6708520  7656244
             8192     256 771989110964221 10908526
12703218132162711167187712082308 13125396 14025495 11604860 10582628
7379976  8175428
             8192     512 716752810612044 11538609
13723005143236851176781612172193 13277557 18706245 11084481 11084481
7013901  8079310
             8192    1024 780937610964221 11939561
13839076149272971160094211906462 13344594 19692587 11755738 10922396
7067279  7976157
             8192    2048 777227910612044 12373836
13125396136088641128470610612044 12245943 19359718 11393220 11070196
6569983  7537004
             8192    4096 6590145 9309549 11284706
11993741118571571107019610638329 11573589 11873547 10343693  9011667
3030813  5839713
             8192    8192 5810089 7394270  8974009  9582152 9692982
8471741 9373038  8549738  9102385  8167655  7992856 2040751  4627695
            16384       4  797664  996356  2344270  2377523 2100240
939190 1983772   924869  2043652   991711   989241 2179301  2193911
            16384       8 1333457 1847357  4009817  4115479 3644859
1780859 2637395  1687493  2962198  1776256  1739477 3552531  3661171
            16384      16 1927517 3250099  5797250  6093337 5595681
3185763 5414049  3311334  5348732  3299885  3276130 4880365  5024159
            16384      32 2621499 5470509  7915343  8398033 8023471
5333373 7606924  5820327  7508843  5587946  5454010 6234299  6574261
            16384      64 3153165 8171351  9757400 1042973110363669
8003847 8743152  8519852  8870685  7620421  7988030 7282069  7494921
            16384     128 754015110729361 10214248
10878833111146101083594710246230 13780259 11291763 11753336 11100247
7356911  7606082
            16384     256 773188310766343 10388737
10944673108582061067270510570916 13256568 10829117 10800184 10715976
6998761  7330229
            16384     512 779061210894355 11076987
11571262117957031090126811009550 13440658 11563473 11100247 10652851
7145769  7370324
            16384    1024 772753610771405 11480405
11897816119766121084449811002499 13097393 19931365 11465082  9858182
6687502  7651816
            16384    2048 783591710284566 11370232
12208535120649261147465411251090 13676046 19507030 11138029 10715976
6843338  7334141
            16384    4096 6798654 8646345 10646250
10806978111002471111461010232499 11711273 13919826 10618284  9193480
3981705  6065906
            16384    8192 6021260 8098167  8932953  9287914 9367679
8640909 8997280  8962078  9587240  8444472  8079126 2755413  4765300
            16384   16384 5647647 7077327  8581561  8586923 8542092
7095596 8389831  6993063  8586923  7086815  6989507 2007885  4131065
            32768      64  296167  194585  8750280  9778787 9140169
175768 9378422  9394448  9640910   274952   189845 7000117  7141984
            32768     128  191663  317953  9672120 10252961 9965984
271105 9649033 13523721  9963094   222901   191480 6869610  7125322
            32768     256  196003  135504  9897089 1038230610314518
201612 9902793 13017757 10085185   111844   155051 6792540  7006184
            32768     512  128074  101213 10246082 1068332910821278
9750910376035 13144750 10680008   154413    84475 6947043  7184169
            32768    1024  153009  158275 10743456 1123711311203222
14983610638673 13144750 10944503   150476   159293 6865492  7281608
            32768    2048  177640  157394 11050985 1132321211222432
16127010601744 13319269 19456785   169390   158441 6502967  7128278
            32768    4096  163017  140807  9726193 1013202510465315
146558 9697370 11915151 12977195   151240   146040 4748311  6107636
            32768    8192  143250  144060  8868284  8875156 8889507
135154 8023380  8450082  9975387   122431   164131 3359724  4659136
            32768   16384  133217  199384  8124883  8114809 8157676
162634 8088543  6801280  8357082   216484   124653 2700292  4270570
            65536      64  132478   87352  1119848   679995  810266
71092 1086543  9482862  1268087   104467    98471 1633166   743856
            65536     128  218970  184752  1148488   521940 1220248
227708  315986 13741967  1164772   191161   170112  312986   907814
            65536     256  215160  167094  1151432   485369  435206
150642 1724542 13018870  1636316   169468   178463  534948   766691
            65536     512  184008  183956   856355  1264028 1931097
183766  755799 12990568   642429   169232   129864  212418   551519
            65536    1024  204725  154571   944974   543736  900059
18120110606164 13244698 10909669   169260   157705  605011   789797
            65536    2048  170298  172145   839204  1151939 5369148
150545  541055 13263872  6960907   178095   146453  417150   939140
            65536    4096  143556  166245   877391  1350281 1739504
193326 9432425 11317061 15090076   172834   172315  697406   823770
            65536    8192  167896  154215   569887   518313  925923
181461  746474  8010708 10573526   218476   183726  600098   841748
            65536   16384  194580  129553  1377676  1397768 1612321
186326  918167  6857237  8487080   162869   189240  501541  1154532

zfs compressed:
     Auto Mode
     Command line used: iozone -a /datapool/data
     Output is in Kbytes/sec
     Time Resolution = 0.000001 seconds.
     Processor cache size set to 1024 Kbytes.
     Processor cache line size set to 32 bytes.
     File stride size set to 17 * record size.
                                                             random
random    bkwd   record   stride
               KB  reclen   write rewrite    read    reread    read
write    read  rewrite     read   fwrite frewrite   fread  freread
               64       4  320021  926260  2116903  2892445 2133730
818885 1892980   874936  1933893   969761  1033216 2067979  2561267
               64       8  587635 1991276  5389653  5860307 4564786
1933893 3588436  2006158  4274062  2006158  1599680 3541098  4564786
               64      16 1066042 3541098  7940539  9006179 7100397
3363612 4564786  3541098  6271021  3588436  3057153 4897948  6421025
               64      32 1518251 5389653 12902017 1597288510821524
5860307 5283570  4897948  9006179  5860307  4274062 4897948  7940539
               64      64 3588436 7100397 15972885 2096219115972885
7100397 7940539  6421025  9006179  6421025  6421025 3203069  9006179
              128       4  248573 1024942  2558895  2770150 2377579
976473 2098744  1024942  2238774  1038825  1040839 2336194  2511022
              128       8  486381 1967960  5122535  5325799 4407601
1911894 3867787  1939522  4267461  1885042  1778862 4012317  4407601
              128      16  913347 3560017  7476717  8548124 7176872
3468030 6045455  3560017  6812590  3560017  3657016 4267461  6114306
              128      32 1622919 6114306  9795896 14200794 9795896
6406138 7582312  5603747  8548124  5603747  5545860 6045455  8036304
              128      64 2511022 6406138 15881078 1801235916365173
7582312 8548124  8548124 10567140  7582312  5847904 6406138  9795896
              128     128 4934216 8548124 20804356
258040351863766410567140 9795896  9795896 11470204  9129573  7582312
4596273  9977956
              256       4  390195  980760  2754556  2754556 2413957
969251 2330140   962301  2345409  1012194  1008392 2463808  2533571
              256       8  744204 1718521  4929815  5117791 4404088
1817419 4054829  1814348  4197489  1881098  1881098 4070199  4264168
              256      16 1334162 3236056  7518900  8024634 7120034
3275543 5347168  3285566  6761355  3197509  3326279 5687020  6073004
              256      32 2247235 4907284 11695808 1281227711569783
5971678 8815202  5810112  9868433  5841722  4998665 6398720  8208677
              256      64 3654598 6891544 15164624 1825914614953435
796510712228612  8815202 14353744  8271916  7314033 6891544  9868433
              256     128 5569035 9434868 18259146 1995591317096249
986843312228612 11207494 16072608 10651598  9192546 6936061 10245071
              256     256 542826510245071 18259146
19955913182591461024507113454450 10245071  9434868 10245071  9868433
3236056 10245071
              512       4  535558  990168  2613128  2722449 2381315
907717 2327124   946109  2347475  1004057   839252 2402629  2460437
              512       8  957072 1880778  4784885  4742616 4123387
1842059 4099771  1759070  4091959  1809465  1910902 4091959  4340054
              512      16 1574625 3346002  7620440  7871843 7115451
3239989 6571132  3220553  6821616  3415178  3122224 4973263  5639315
              512      32 2424328 5951911 10856530 1221509711138071
5384786 9814569  5886650 10641343  5509113  5807059 7540170  8234036
              512      64 3388236 8394979 16049269 1706984414240069
810965812797441  8394979 14628067  8394979  8140399 8844453  9814569
              512     128 6652558 9681823 17630404
19037014170698441085653014628067 12427157 17069844 11374040 10434519
8528336 10235583
              512     256 617437710235583 17630404
18229030154711491069433615471149 10434519 17069844 10044089 10044089
7435738  9997331
              512     512 641411910694336 19736867
19736867188697371091169417069844 11374040 18229030 11138071 10641343
3325278 10235583
             1024       4  635274  957884  2606476  2723840 2387677
925877 2348509   937600  2353657   990352   983548 2491561  2503178
             1024       8 1099636 1861867  4854136  4972145 4374559
1834824 4146499  1815435  4265934  1888889  1841906 3764854  4356809
             1024      16 1741810 3251778  7420395  7811791 7008693
3220084 5690162  3149251  6692005  3241960  3447541 5853003  6059442
             1024      32 2553783 6093831 11132462 1193690711132462
544489810557785  5917516 10134284  5623115  6059442 8000971  8199542
             1024      64 3191372 8457895 15743686 1678995915295157
845789514044758  9064828 15516181  8246774  8408221 9064828  9765601
             1024     128 722079011773301 17985196
18689559167899591177330116280798 12639479 18936769 11614118 11018226
9320560 10039528
             1024     256 686310010230845 17402221
18291580179851961101822614618393 12037272 17985196 10990032 10769573
8610501  9946527
             1024     512 691837610906310 18608584
19719260189367691124909115516181 11903823 18608584 10255274 10662628
7699755 10230845
             1024    1024 673397411132462 19629138
20088179200881791136819017331995 11645609 15295157 11103681 11132462
3541348 10230845
             2048       4  715839  993193  2476337  2656292 2348384
958397 2207184   944591  2185842   985106   994688 2329912  2495039
             2048       8 1211077 1865428  4502520  4983122 4394265
1812296 4146110  1838675  3792790  1817281  1815360 3786104  4240255
             2048      16 1850160 3251539  6459541  7698414 6759439
3221057 6498636  3185225  6401772  3407614  3240499 5212953  6024617
             2048      32 2506688 5433896  8940345 10780463 9796850
5578583 9431138  5785224  9944290  5640860  5884299 6990474  7903836
             2048      64 3089009 8398403 14514788 1551073713748169
819020510037248  8749118 12274742  8390200  8456277 8866519  9796850
             2048     128 703628311015480 16525279
18441025169157901124623015538795 12805399 19355169 11187641 11380325
9349021 10240672
             2048     256 731802011072275 16783585
18441025172210031170600616001943 12786337 18441025 11305435 11320334
8784909  9944290
             2048     512 637800511380325 18129656
19311656189704641100137217221003 12729493 18641120 11320334 11260973
8325147 10096235
             2048    1024 731802011129659 18641120
20079056198930551132033417681831 12416686 15399510 11246230 11187641
7503399 10143926
             2048    2048 708854110780463 19139540
20079056197104681132033413639023 11706006 10401883 12033995 10179991
2691246  6207471
             4096       4  763183 1001461  2427973  2556602 2249320
952753 2185509   927949  2140045   976195   971063 2230918  2316968
             4096       8 1274016 1549857  3767675  4476482 4149921
1761711 3536549  1787929  3627654  1847535  1813981 3552638  4034911
             4096      16 1862759 3279348  6151473  6782940 6216019
3227596 5792648  3150647  5627567  3298235  3245277 5120972  5490871
             4096      32 2550150 5753847  8514134  9989424 9636422
5784846 8865630  5934722  8205092  5744227  5596402 6693092  7447471
             4096      64 3190434 8463799 13890515 1552202815287223
849728913434307  9503161 13790167  8660056  8426437 8426437  9593374
             4096     128 718580711378861 15219509
17880690176419881140908714787213 13702178 14941541 11470025 11539362
9019223 10065509
             4096     256 709968911164417 11800935
13935585146235831160170315273632 13046624 18456987 10950922 10867793
8660056  9729195
             4096     512 680443210833527 16380411
17880690179554421143947514673544 12919082 18536646 11508442 10840363
7969117  9461292
             4096    1024 653275210580003 14636041
16380411169292201190726416195114 12997272 19135397 11570449 10950922
6941906  8811067
             4096    2048 618914610444923 15179168
16846218170807031190726411157166 12151506 16650294 11539362 11222762
5627567  7715028
             4096    4096 7004170 8447153 12803544
13834587138345871109949910978915 10806269 11193514 10476771  9729195
2104652  5672159
             8192       4  787763  968540  2323361  2395440 2126115
925444 2085592   925544  1259160   881045   928897 2158708  2212217
             8192       8 1292360 1831854  3938618  4190311 3837016
1800843 3484475  1807949  3468296  1820498  1823687 3511181  3795898
             8192      16 1924397 3307062  5769116  6460047 6085887
3219976 5526912  3279287  5378957  3339526  3301977 4931921  5299316
             8192      32 2604627 5584401  8167655  9414128 9224572
5610847 7985426  5958192  7612143  5855636  4703073 6253130  6919267
             8192      64 3186234 8393104 10721317 1272203212508980
861404110450659  9558162 11719650  8876637  8150218 8007759  8725605
             8192     128 734683810751510 11503841
13318731136575481158529611683783 13539152 13231539 11719650 10836280
7712960  8409538
             8192     256 723697210967720 11192805
12840894135231661177184812302946 13344594 12879400 11569692 10734715
7379976  8273861
             8192     512 691926710849967 11314434
13323895141235021158529612082308 13040710 18706245 11378128 10569606
7148143  8257953
             8192    1024 7809376 9991764 11751717
13772510146037291170368210724663 13085407 18405631 11359320  9742452
6466126  7877411
             8192    2048 6621897 9332306 11906462
13517846139288381168775811523131 13277557 17731260 10925870  9254386
5610847  7255309
             8192    4096 6532510 9163071 11344319
119437111183673311236730 9879717 11329356 12298542 10100441  9052027
2905979  4976927
             8192    8192 5713476 7295362  9635897  9834473 9823226
8752276 9329772  8835550  8952964  8505294  7868391 2036276  4699856
            16384       4  793602  976339  2332889  2359401 2083683
942152 2068691   932702  2025521   958861   970616 2174129  2191253
            16384       8 1316621 1848798  3948077  4064604 3661171
1769350 2598108  1710213  2951511  1761143  1782199 3517256  3618375
            16384      16 1972328 3152008  5724330  6010201 5645791
3092991 5383933  3236628  5321396  3254717  3246874 4906849  5104015
            16384      32 2640841 5582045  7907146  8449664 8187902
5510869 7568386  5893706  7447000  5665340  5476176 6232038  6524947
            16384      64 2665838 8274664  8972610  8972610 9036322
7055528 9597952  9431966  9746329  8095305  8019726 7113960  7617042
            16384     128 771365711046716 10771405
11610361117372771139285310596998 13711520 11299189 11594690 10997217
7105134  7022362
            16384     256 782788410806978 10694297
11432656115790601113802910800184 13341500 11604480 11474654 10878833
7013761  7417260
            16384     512 782788410815482 11276939
11995428123467251135332611123606 13243794 11932938 11238211 10401316
7086815  7550922
            16384    1024 782788410793399 11545987
12109573123556051133086211076987 13150025 19618409 11345828  9876601
6714948  7627187
            16384    2048 770241710652851 11803808
12199866120649261098842511306626 13419661 19031618 11062721 10131423
6798654  7223891
            16384    4096 7016626 9224331 10577425 10679339 9372790
9683156 9959624 11653678 13708785 10583941  9224331 3717820  5677040
            16384    8192 6101994 8316724  9282896  9454025 9399713
8914412 8646345  9092516  9581893  8784505  7824319 2855363  4753105
            16384   16384 5559465 7136122  8550595  8550595 8546342
7120594 8368375  7034583  8507196  7240636  7211761 2019925  4372634
            32768      64  243907  165911  9274630  9861582 9280267
208814 9375223  9365002  9410529   186161   131414 6936524  7145325
            32768     128  163009  181056  9843218 1042562210217137
115074 9583767 13523721 10032915   195318   168350 7037755  7212823
            32768     256  231553  177221 10017558 1052220110543188
18010110057878 13023925 10455761   159521   190742 6866864  7063435
            32768     512  207887  177964 10376035 1087866610941018
18631510452580 12849799 10929707   191960   187956 6937925  7183043
            32768    1024  196158  173361 10691639 1113424411141465
18963810529456 13044940 11191362   203682   189378 6892692  7330935
            32768    2048  237930  226379 10832365 1122609911205962
21207610279033 12559754 19129112   216887   159554 6477223  6991215
            32768    4096  193082  158767 10070406 1041219510340126
194637 9402803 11530301 14609034   188553   179426 4703301  5991547
            32768    8192  217095  193194  8598099  8836923 8856284
123392 8308582  8794513 10123069   137619   161559 3499061  4637441
            32768   16384  217085  168641  8133057  8099029 8155256
192300 8056774  7074342  8535623   211167   193018 2688092  4250627
            65536      64  167194  116265   884415   771563  807690
72593  582097  9309120  1168386   130574   103927 1840891   609206
            65536     128  167245  166455   753365   391203  592647
188236  780460 13523592  1175768   173657   135994  386873   491893
            65536     256  176472  124844   778808   740561 1506751
214556 1726405 13075846  1580359   179845   153255  650261   934371
            65536     512  190142  161068   806635   653568 1771099
19837010474010 13133323 10690727   249879   187587  620307   594468
            65536    1024  224246  204830  3870058   544544  505776
166446  652924 13366423  2091792   177375   161484  447076   593080
            65536    2048  161621  181740  1059648   547429 1389677
224177 2081355 13325600  1670514   220996   187846  636748  1005292
            65536    4096  199632  171528   964230   607314 2108075
195447  656213 11079852 15059487   182302   158450  477527   870713
            65536    8192  161818  171580   975398  1232598 2454906
209137  475163  8736876 10549988   158130   203418  533033   864671
            65536   16384  210449  171927  2208017  1089886 1552475
185855 8126998  7225489  8411761   190138   259959  573670   815569

zfs uncompressed:

     Auto Mode
     Command line used: iozone -a /datapool/db
     Output is in Kbytes/sec
     Time Resolution = 0.000001 seconds.
     Processor cache size set to 1024 Kbytes.
     Processor cache line size set to 32 bytes.
     File stride size set to 17 * record size.
                                                             random
random    bkwd   record   stride
               KB  reclen   write rewrite    read    reread    read
write    read  rewrite     read   fwrite frewrite   fread  freread
               64       4  321554  926260  2561267  2892445 2467108
942521 2006158   998622  2358717  1033216  1013707 2278628  2561267
               64       8  546928 1562436  4564786  5860307 4274062
1780008 2561267  1734015  3738358  1828508  1828508 3363612  4564786
               64      16 1033216 3057153  7100397  9318832 7100397
3022727 5389653  3363612  7100397  3588436  3541098 4274062  6421025
               64      32 1768283 5283570 10402178 1290201712902017
5283570 7100397  5860307  9318832  5735102  5283570 5283570  9006179
               64      64 2662899 6421025 15972885 2096219115972885
8182586 7100397  7100397  9006179  6421025  7100397 4274062 10402178
              128       4  253025  971174  2660335  2784517 2409592
992724 2132084  1009524  2286447  1057236  1024942 2367096  2558895
              128       8  484625 1939522  4557257  5325799 4407601
1778862 3759450  1911894  4407601  2004703  1967960 3867787  4407601
              128      16  895074 2905056  7476717  8548124 7176872
3380677 4934216  3277486  6406138  3199360  3468030 5122535  6406138
              128      32 1451764 4444086 12842051 1254204311720614
5784891 7917784  6045455  9129573  5784891  4717434 6727225  8548124
              128      64 2770150 7082197 15881078 2164304915881078
7582312 9129573  8036304 14200794  7917784  7176872 6406138  9129573
              128     128 5122535 9795896 18637664
216430491863766410779307 9129573  9795896 10567140  9129573  8548124
4557257  9795896
              256       4  390337  917880  2557711  2665657 2345409
889002 2131261   894929  2266207   921029   976301 2366082  2371308
              256       8  729045 1755037  4572895  5022044 4422226
1662639 4009406  1766587  4132864  1826695  1729594 3935921  4332998
              256      16 1368162 3236056  7314033  7965107 7073132
3087188 6437081  3316006  7120034  3410808  3454704 5841722  6249745
              256      32 2305128 5841722  8815202 1222861210651598
5217259 8534922  5428265  9868433  5569035  4819184 6554972  8271916
              256      64 3654598 6719046 16072608 1825914614953435
796510710245071  8271916 14353744  7965107  6891544 8024634 10245071
              256     128 6107548 8534922 18259146
19591792170962491065159813454450 11695808 14353744  9868433 10245071
7518900  9778562
              256     256 5217259 8534922 17096249
19591792182591461024507112812277 10245071 17096249 10245071  9434868
3326279  9868433
              512       4  530006  988801  2198475  2337255 2016784
869143 2073249   850217  2198475   914287   896725 2449212  2486072
              512       8  951558 1753325  4882800  5019764 4375425
1778004 4271001  1789859  4228947  1862832  1766304 4163357  4340054
              512      16 1585086 3140488  7309196  7988981 7115451
3064306 6843354  3325278  6821616  3409755  3158966 5624545  6104175
              512      32 2474613 6018636 11138071 1214600911138071
527889210235583  5822804 10235583  5509113  5951911 7647578  8234036
              512      64 3284589 8362289 15471149 1706984412797441
730919612215097  9304292 13438092  8234036  7871843 5331314  9681823
              512     128 601863610235583 17630404
19037014176304041091169415037801 12499490 18229030 11138071 10856530
8955098 10235583
              512     256 657113210235583 18385093
18229030183850931091169414628067 11620224 16543832 10434519 10485468
7647578  9814569
              512     512 6395018 9681823 19557124
19557124176304041085653015930214 11138071 12797441 10694336  9638369
3259661 10235583
             1024       4  644811  973296  2694787  2753527 2403712
956178 2300703   935151  2311849   956178   994250 2432298  2503178
             1024       8 1105865 1874871  4694950  5024495 4211554
1780809 4195100  1738286  4003490  1802483  1855433 4228138  4304412
             1024      16 1747480 3220084  7306780  7631350 6830356
3301774 6640274  3284101  6744549  3379719  2156318 5917516  6059442
             1024      32 2497356 5417427 11614118 1207110311132462
591751610557785  5917516 10662628  6025439  5417427 7869040  8262639
             1024      64 3210456 8457895 15516181 1628079815240881
812201414044758  9320560 15743686  8457895  8391792 9402175  9946527
             1024     128 702014911398360 16531459
19020633176889061113246216280798 13142265 18608584 11520658 11132462
9569770 10454984
             1024     256 691837610230845 17985196
18608584167899591124909116531459 12071103 18291580 10906310 11132462
8391792  9946527
             1024     512 687408411489839 18291580
19276739190206331101822615080341 11936907 18608584 11132462 11278631
7472033 10134284
             1024    1024 716059711249091 19719260
20471166192767391139836017985196 11489839 15801608 10878686 11398360
3447541 10255274
             2048       4  713876  995610  2639154  2730599 2389540
962370 2104960   928861  2115848   981280   958718 2311106  2461436
             2048       8 1212615 1910655  4385291  4900677 4374126
1807720 2933915  1629410  3117032  1685356  1779262 3887189  4196751
             2048      16 1865428 3195891  6802261  7643611 6759439
3266376 6225466  3219850  6058611  3379461  3324528 5277002  5920802
             2048      32 2572756 5937172 10289741 1198363010959265
5416763 9349021  5816563  9752360  5507054  5904523 7582884  7903836
             2048      64 3230749 8398403 15181774 1624402814840791
819020514132698  9308497 14226322  8357547  8190205 9567698  9944290
             2048     128 741915010889797 16915790
18480699178286281118764115854271 13301113 18970464 11260973 11502234
9189005 10503637
             2048     256 741915011502234 16274804
17977882177917011138032516525279 12979541 18284015 10889797 11502234
8940345  9898453
             2048     512 750339910848538 18600754
19486895191395401101548017501701 12882215 18804350 11690076 11001372
7529708  9525260
             2048    1024 752970811380325 18928661
20268568198930551144095516525279 12561952 18600754 11642543 11502234
7135648 10096235
             2048    2048 723176710401883 19710468
20079056198470921151765714417342 11900619 16274804 11706006 11320334
2959183  7754008
             4096       4  763760  963331  2367414  2620558 2356697
951434 2128907   916709  2081448   982953   956147 2203449  2399488
             4096       8 1286033 1835886  3972402  4708354 4311344
1822835 3717133  1794840  3628421  1863567  1820517 3567392  4043458
             4096      16 1916795 3192212  5867831  7237268 6908408
3332786 5802430  3212508  5284803  3357537  3258202 4887857  5761565
             4096      32 2587405 5475122  8447153 1089536210923071
5744227 8276241  5736555  7906767  5902100  5468151 6169144  7558881
             4096      64 3105091 8324363 10840363 1452467515112405
882918014636041  9545402 14838300  8793028  8535284 9503161  9891647
             4096     128 708504911378861 14889742
16715094159396711147002513980948 13126371 15273632 11439475 10833527
9287391  9920205
             4096     256 759900211378861 15635038
17806558179554421160170316380411 13340420 18358372 11007051 11222762
8173861  9202815
             4096     512 751589211378861 16996213
18030821182997071119351417356809 13086376 19050521 11809047 10985935
7742845  9100443
             4096    1024 770119411409087 17974227
18718416188622761134879416380411 12841826 17974227 11252164 10394367
6758923  8569343
             4096    2048 671401810580003 16396044
17516078176419881157044913879294 12919082 14889742 10752164 11007051
5572803  7656576
             4096    4096 6575257 8865630 14026607
14026607137460321088845610089154 10586522  9989424 10745439  9119767
2018832  4718699
             8192       4  781243  955557  2312727  2346687 2123487
929198 2095130   901906  2036276   977661   978831 2167833  2235244
             8192       8 1299742 1807949  3942233  4231596 3846036
1801598 3632566  1798110  3532479  1825334  1842562 3541946  3754421
             8192      16 1923858 3259997  5843686  6475875 6122759
3211548 5421393  3234221  5301769  3292800  3275536 4815791  5312425
             8192      32 2603837 3044239  7494262  8874344 8876637
5305863 7287625  5732541  7223279  5637544  5316535 6277120  6930432
             8192      64 3148282 8315913  9857043 1215067113170677
862485210263360  9742452 11585296  8779111  8224350 7187018  8461310
             8192     128 766307411329356 10384332
12298542127409021170368212320592 13587338 13744963 11857157 10939784
6643663  7262978
             8192     256 765624410995799 10569606
13951461142701451188998210778492 13386185 12722032 11207409 11013422
7230880  7899143
             8192     512 762735111131163 11604860
13744963143416211182451312280959 13105371 18870623 10088578 10088578
7155586  8334066
             8192    1024 766478411024023 11993741
14025495152791051142732212211126 13298112 19886343 11363077  9954134
6616796  8159896
             8192    2048 771469110721317 11788003
13449061139571281147311111840812 13344594 17767937 11178240 10678002
6429825  7313997
             8192    4096 6434642 8549738 11538609 1168775810939784
989394210139188  9905351 11329356  9638600  8436380 2913371  4902367
             8192    8192 5669170 7155586  8867473  9649428 9798016
8846925 9309549  8752276  9279379  8309879  7118525 1969738  4413692
            16384       4  792495  984268  2316766  2361104 2081852
925853 1630092   906950  1783772   935317   938421 2179854  2200374
            16384       8 1326302 1838411  3962191  3989333 3671146
1778371 3602441  1829211  3431888  1831210  1831649 3523568  3599234
            16384      16 1933700 3307986  5756940  6045627 5655548
3196878 5331717  3297985  5350398  3271451  3194946 4825871  4990229
            16384      32 2567627 3320614  7621266  8311694 7710195
5091536 7578401  5677040  7522817  5387732  5324694 6136321  6392030
            16384      64 3104729 8221207  9972633 1086335510659461
8195714 9526105  9552590 10045523  8266700  8098167 7160661  7443774
            16384     128 776859410967380 10530420
11425053116201781129176310482232 13472278 11425053 11457436 10842786
7317740  7666328
            16384     256 770673710793399 10592098
11362712115966461116698810715976 13254011 11522755 11229029 10596998
6966125  7337273
            16384     512 776157410646250 10815482
11482323117533361121436910960383 13097393 11221694 10871948 10930746
7089009  7386962
            16384    1024 781275510757915 11466995
11811923120374521090818910851347 12850032 19668946 11368351  9787975
6820923  7540151
            16384    2048 780565510715976 11846540
12163157120649261095165010101637 12440603 17730371  9971186 10357421
6728097  7173368
            16384    4096 6445388 9377906 10442410
11260308111308131096563010020621 11695328 12073405  8240925  8414486
3670166  5107050
            16384    8192 5608926 7089740  8775530  9335863 9508969
9047029 8537847  8229083  9372790  8705493  7301412 2804440  4768607
            16384   16384 5589764 6913563  8752060  8760986 8728714
7053355 8507196  7347471  8175239  6901759  7167383 1996103  4312539
            32768      64  230915  200119  9184145  9700108 9122575
214993 9181077  9335740  9435078   241375   197798 6866521  7176666
            32768     128  155408  210286  9555781 10088146 9909219
218021 9651743 13380213 10119343   215878   188418 7124952  7314548
            32768     256  245438  211358 10005161 1038622910502100
20165610076313 12936885 10259083   216026   194716 6795563  7019782
            32768     512  224770  172055 10275190 1086404710785611
17750310502100 12881111 10864906   236196   189975 6934774  7189054
            32768    1024  224670  244041 10822130 1123343911210532
21732110673373 12941757 11183167   132705   249347 6802626  7291653
            32768    2048  279628  277185 11028815 1135408111222432
21980110828951 13097150 18213953   182474   246020 6290744  7106532
            32768    4096  223770  189444  9589786  984956710024133
180631 9245930  9640234 12449399   126386   217381 4209100  5310869
            32768    8192  289548  212970  8714770  8977184 8963133
192414 8001892  8984813 10246845   179510   205728 3512116  4721559
            32768   16384  259355  207628  8124883  8245278 8228987
197801 8139318  7117573  8648416   189515   263243 2684574  4287356
            65536      64  238936  129767  2090408   525987  826151
90448  677164  9394385  1025262   116969   121666 1137896  1044564
            65536     128  191346  154689   976531   790086 1150584
184619  426549 13396389  1152161   160297   182615  631276   781643
            65536     256  117481  130199   853377   817880 1524796
136433 9955086 13098901   482389   124845   133903  471437   893848
            65536     512  172186  115005   928350   730833 1262443
182679  204828 13075846  2076276   132742   112534  420170   816657
            65536    1024  131621  122795  1853653  1544641  781978
112777  316975 13207787  1555603   121322   161941  465593   874324
            65536    2048  115612  154134   977858  1074909 1142198
128591  485873 13086429  2637786   137100   106794  589607   839053
            65536    4096  108742   93844   538163   521837  904195
127249  512677  9472079 12253935   126808    64501  379450   910309
            65536    8192  114983  124150   633228   934308 1544459
134346  400188  8122916 10597577   139909   114255  483149  1073549
            65536   16384  118519  122137  1466259   758280 1260452
123904  520225  7203336  8145301   132301   113137  673200   579078



pgsql-performance by date:

Previous
From: Bram Van Steenlandt
Date:
Subject: Re: large object write performance
Next
From: "Graeme B. Bell"
Date:
Subject: Re: large object write performance