invalid page header in block... - Mailing list pgsql-general
| From | Royce Ausburn |
|---|---|
| Subject | invalid page header in block... |
| Date | |
| Msg-id | 2B2EC691-37C4-4B4D-9DC3-12F49F1EA7B1@inomial.com Whole thread Raw |
| List | pgsql-general |
Hi all,
A customer's database has started whining about a busted block:
postgresql-8.4-main.log:2012-10-02 18:51:33 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614
postgresql-8.4-main.log:2012-10-02 18:56:52 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614
postgresql-8.4-main.log:2012-10-02 21:06:18 EST ERROR: invalid memory alloc request size 18446744073709551610
postgresql-8.4-main.log:2012-10-03 00:31:12 EST ERROR: invalid memory alloc request size 18446744073709551610
postgresql-8.4-main.log:2012-10-03 06:19:18 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614
postgresql-8.4-main.log:2012-10-03 07:00:01 EST ERROR: invalid page header in block 8429809 of relation base/807305056/950827614
A bit scary! We're looking in to what's up and I'd love some help...
I've attached a hex dump of the block in question using instructions I dug up from the mailing list http://archives.postgresql.org/pgsql-general/2005-11/msg01145.php
Tom's diagnosis of that particular block isn't perfectly applicable in this case because there're a few non-zero bytes in the first page of my broken block. I'd love some hints at what the problem might be (should we be doing a mem test, throwing out the raid controller, ugprading the kernel, etc). I'm super concerned that the cause of this problem might be transmitted by WAL as well… is that possible?
Cheers,
--Royce
dd bs=8k skip=41201 count=1 if=base/807305056/950827614.64 | od -x
0000000 0000 0000 0000 0000 0000 0000 0000 0000
*
0007000 4645 2049 4150 5452 0000 0001 005c 0000
0007020 eba6 dde7 0000 0000 88af 37e2 0000 0000
0007040 0001 0000 0000 0000 0022 0000 0000 0000
0007060 448e 1bf2 0000 0000 480b 1ed8 90fe 45a8
0007100 8e98 288e b5c1 ab3c 888f 37e2 0000 0000
0007120 0080 0000 0080 0000 3d87 e5b3 0000 0000
0007140 0000 0000 0000 0000 0000 0000 0000 0000
*
0010000 ffff 00c8 aa96 000e 06b6 0000 0000 0000
0010020 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0010040 01c1 0000 0000 0000 c7ab 0571 0000 0000
0010060 a1a7 0000 0080 a0f1 0027 000f 0903 7f20
0010100 007d 0000 0000 0000 87fd 76cd 0000 0000
0010120 7210 111c 6d14 1795 ddb2 0003 0613 ff00
0010140 2bff 8c00 0b23 0006 0000 0000 aa96 000e
0010160 010d 0000 0000 0000 b3ea 68d0 60c1 0001
0010200 0007 0000 fd68 0000 01c1 0000 0000 0000
0010220 c7ab 0571 0000 0000 a1a4 0000 0080 a0f1
0010240 0026 000f 0903 7f20 007d 0000 0000 0000
0010260 87fc 76cd 0000 0000 720e 111c 6d13 1795
0010300 ddb2 0003 0613 ff00 a8ff f006 0f23 0006
0010320 ffff 06a4 aa96 000e 04ae 0000 0000 0000
0010340 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0010360 01c1 0000 0000 0000 c7ab 0571 0000 0000
0010400 a1a1 0000 0080 a0f1 0025 000f 0903 7f20
0010420 007d 0000 0000 0000 87fb 76cd 0000 0000
0010440 71e6 111c 6cff 1795 ddb2 0003 060f ff00
0010460 2fff 0f04 0006 ffff 044c 0000 aa96 000e
0010500 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0010520 0007 0000 fd68 0000 01c1 0000 0000 0000
0010540 c7ab 0571 0000 0000 a19e 0000 0080 a0f1
0010560 0024 000f 0903 7f20 007d 0000 0000 0000
0010600 87fa 76cd 0000 0000 71ce 111c 6cf3 1795
0010620 ddb2 0003 0613 ff00 11ff a800 0b16 0006
0010640 0000 0000 aa96 000e 010d 0000 0000 0000
0010660 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0010700 01c1 0000 0000 0000 c7ab 0571 0000 0000
0010720 a19b 0000 0080 a0f1 0023 000f 0903 7f20
0010740 007d 0000 0000 0000 87f9 76cd 0000 0000
0010760 717a 111c 6cc9 1795 ddb2 0003 000b 0000
0011000 0b00 0006 0000 0000 aa96 000e 06b6 0000
0011020 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0011040 01c1 0000 0000 0000 c7ab 0571 0000 0000
0011060 a198 0000 0080 a0f1 0022 000f 0903 7f20
0011100 007d 0000 0000 0000 87f8 76cd 0000 0000
0011120 7134 111c 6ca6 1795 ddb2 0003 0613 ff00
0011140 f0ff a40c 0f06 0006 ffff 0ce4 aa96 000e
0011160 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0011200 0007 0000 fd68 0000 01c1 0000 0000 0000
0011220 c7ab 0571 0000 0000 a195 0000 0080 a0f1
0011240 0021 000f 0903 7f20 007d 0000 0000 0000
0011260 87f7 76cd 0000 0000 7118 111c 6c98 1795
0011300 ddb2 0003 0613 ff00 14ff 8803 0f13 0006
0011320 ffff 0320 aa96 000e 04ae 0000 0000 0000
0011340 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0011360 01c1 0000 0000 0000 c7ab 0571 0000 0000
0011400 a192 0000 0080 a0f1 0020 000f 0903 7f20
0011420 007d 0000 0000 0000 87f6 76cd 0000 0000
0011440 710a 111c 6c91 1795 ddb2 0003 0613 ff00
0011460 deff 2003 0f03 0006 ffff 03e8 aa96 000e
0011500 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0011520 0007 0000 fd68 0000 01c1 0000 0000 0000
0011540 c7ab 0571 0000 0000 a18f 0000 0080 a0f1
0011560 001f 000f 0903 7f20 007d 0000 0000 0000
0011600 87f5 76cd 0000 0000 7104 111c 6c8e 1795
0011620 ddb2 0003 0613 ff00 fdff 6803 0f10 0006
0011640 ffff 03e8 aa96 000e 010d 0000 0000 0000
0011660 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0011700 01c1 0000 0000 0000 c7ab 0571 0000 0000
0011720 a18c 0000 0080 a0f1 001e 000f 0903 7f20
0011740 007d 0000 0000 0000 87f4 76cd 0000 0000
0011760 70e6 111c 6c7f 1795 ddb2 0003 0613 ff00
0012000 72ff c401 0f09 0006 ffff 0190 aa96 000e
0012020 057c 0000 0000 0000 b3ea 68d0 60c1 0001
0012040 0007 0000 fd68 0000 01c1 0000 0000 0000
0012060 c7ab 0571 0000 0000 a189 0000 0080 a0f1
0012100 001d 000f 0903 7f20 007d 0000 0000 0000
0012120 87f3 76cd 0000 0000 70e0 111c 6c7c 1795
0012140 ddb2 0003 0613 ff00 1dff 4c00 0b1d 0006
0012160 0000 0000 aa96 000e 06b6 0000 0000 0000
0012200 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0012220 01c1 0000 0000 0000 c7ab 0571 0000 0000
0012240 a186 0000 0080 a0f1 001c 000f 0903 7f20
0012260 007d 0000 0000 0000 87f2 76cd 0000 0000
0012300 70d2 111c 6c75 1795 ddb2 0003 060f ff00
0012320 64ff 0f00 0006 ffff 0064 0000 aa96 000e
0012340 04ae 0000 0000 0000 b3ea 68d0 60c1 0001
0012360 0007 0000 fd68 0000 01c1 0000 0000 0000
0012400 c7ab 0571 0000 0000 a183 0000 0080 a0f1
0012420 001b 000f 0903 7f20 007c 0000 0000 0000
0012440 87f1 76cd 0000 0000 70d0 111c 6c74 1795
0012460 ddb2 0003 0613 ff00 41ff a409 0f06 0006
0012500 ffff 0960 aa96 000e b3ea 68d0 60c1 0001
0012520 0007 0000 fd68 0000 01c1 0000 0000 0000
0012540 c7ab 0571 0000 0000 a180 0000 0080 a0f1
0012560 001a 000f 0903 7f20 007d 0000 0000 0000
0012600 87f0 76cd 0000 0000 70ca 111c 6c71 1795
0012620 ddb2 0003 0613 ff00 26ff 6c20 0f20 0006
0012640 ffff 2008 aa96 000e 06d2 0000 0000 0000
0012660 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0012700 01c1 0000 0000 0000 c7ab 0571 0000 0000
0012720 a17d 0000 0080 a0f1 0019 000f 0903 7f20
0012740 007d 0000 0000 0000 87ef 76cd 0000 0000
0012760 70be 111c 6c6b 1795 ddb2 0003 0613 ff00
0013000 b2ff 2002 0f03 0006 ffff 02bc aa96 000e
0013020 04ae 0000 0000 0000 b3ea 68d0 60c1 0001
0013040 0007 0000 fd68 0000 01c1 0000 0000 0000
0013060 c7ab 0571 0000 0000 a17a 0000 0080 a0f1
0013100 0018 000f 0903 7f20 007d 0000 0000 0000
0013120 87ee 76cd 0000 0000 7096 111c 6c57 1795
0013140 ddb2 0003 0613 ff00 09ff f000 0b23 0006
0013160 0000 0000 aa96 000e 06b6 0000 0000 0000
0013200 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0013220 01c1 0000 0000 0000 c7ab 0571 0000 0000
0013240 a177 0000 0080 a0f1 0017 000f 0903 7f20
0013260 007d 0000 0000 0000 87ed 76cd 0000 0000
0013300 708a 111c 6c51 1795 ddb2 0003 0613 ff00
0013320 02ff c403 0f09 0006 ffff 0320 aa96 000e
0013340 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0013360 0007 0000 fd68 0000 01c1 0000 0000 0000
0013400 c7ab 0571 0000 0000 a174 0000 0080 a0f1
0013420 0016 000f 0903 7f20 007d 0000 0000 0000
0013440 87ec 76cd 0000 0000 706c 111c 6c42 1795
0013460 ddb2 0003 0613 ff00 1dff 4c00 0b1d 0006
0013500 0000 0000 aa96 000e 0686 0000 0000 0000
0013520 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0013540 01c1 0000 0000 0000 c7ab 0571 0000 0000
0013560 a171 0000 0080 a0f1 0015 000f 0903 7f20
0013600 007d 0000 0000 0000 87eb 76cd 0000 0000
0013620 706a 111c 6c41 1795 ddb2 0003 0613 ff00
0013640 acff 4c00 0f1d 0006 ffff 00c8 aa96 000e
0013660 056b 0000 0000 0000 b3ea 68d0 60c1 0001
0013700 0007 0000 fd68 0000 01c1 0000 0000 0000
0013720 c7ab 0571 0000 0000 a16e 0000 0080 a0f1
0013740 0014 000f 0903 7f20 007d 0000 0000 0000
0013760 87ea 76cd 0000 0000 7064 111c 6c3e 1795
0014000 ddb2 0003 0613 ff00 3dff e401 0f0c 0006
0014020 ffff 012c aa96 000e 06b6 0000 0000 0000
0014040 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0014060 01c1 0000 0000 0000 c7ab 0571 0000 0000
0014100 a16b 0000 0080 a0f1 0013 000f 0903 7f20
0014120 007d 0000 0000 0000 87e9 76cd 0000 0000
0014140 705e 111c 6c3b 1795 ddb2 0003 0613 ff00
0014160 09ff f000 0b23 0006 0000 0000 aa96 000e
0014200 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0014220 0007 0000 fd68 0000 01c1 0000 0000 0000
0014240 c7ab 0571 0000 0000 a168 0000 0080 a0f1
0014260 0012 000f 0903 7f20 007d 0000 0000 0000
0014300 87e8 76cd 0000 0000 7056 111c 6c37 1795
0014320 ddb2 0003 060f ff00 64ff 0f00 0006 ffff
0014340 0064 0000 aa96 000e 06b6 0000 0000 0000
0014360 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0014400 01c1 0000 0000 0000 c7ab 0571 0000 0000
0014420 a165 0000 0080 a0f1 0011 000f 0903 7f20
0014440 007d 0000 0000 0000 87e7 76cd 0000 0000
0014460 7052 111c 6c35 1795 ddb2 0003 060f ff00
0014500 bcff 0f02 0006 ffff 02bc 0000 aa96 000e
0014520 04ae 0000 0000 0000 b3ea 68d0 60c1 0001
0014540 0007 0000 fd68 0000 01c1 0000 0000 0000
0014560 c7ab 0571 0000 0000 a162 0000 0080 a0f1
0014600 0010 000f 0903 7f20 007d 0000 0000 0000
0014620 87e6 76cd 0000 0000 7030 111c 6c24 1795
0014640 ddb2 0003 060f ff00 bcff 0f02 0006 ffff
0014660 02bc 0000 aa96 000e 0686 0000 0000 0000
0014700 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0014720 01c1 0000 0000 0000 c7ab 0571 0000 0000
0014740 a15f 0000 0080 a0f1 000f 000f 0903 7f20
0014760 007c 0000 0000 0000 87e5 76cd 0000 0000
0015000 7028 111c 6c20 1795 ddb2 0003 060f ff00
0015020 4cff 0f04 0006 ffff 044c 0000 aa96 000e
0015040 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0015060 01c1 0000 0000 0000 c7ab 0571 0000 0000
0015100 a15c 0000 0080 a0f1 000e 000f 0903 7f20
0015120 007d 0000 0000 0000 87e4 76cd 0000 0000
0015140 7024 111c 6c1e 1795 ddb2 0003 060f ff00
0015160 64ff 0f00 0006 ffff 0064 0000 aa96 000e
0015200 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0015220 0007 0000 fd68 0000 01c1 0000 0000 0000
0015240 c7ab 0571 0000 0000 a159 0000 0080 a0f1
0015260 000d 000f 0903 7f20 007d 0000 0000 0000
0015300 87e3 76cd 0000 0000 7014 111c 6c16 1795
0015320 ddb2 0003 060f ff00 78ff 0f05 0006 ffff
0015340 0578 0000 aa96 000e 06b6 0000 0000 0000
0015360 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0015400 01c1 0000 0000 0000 c7ab 0571 0000 0000
0015420 a156 0000 0080 a0f1 000c 000f 0903 7f20
0015440 007c 0000 0000 0000 87e2 76cd 0000 0000
0015460 7010 111c 6c14 1795 ddb2 0003 060f ff00
0015500 28ff 0f0a 0006 ffff 0a28 0000 aa96 000e
0015520 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0015540 01c1 0000 0000 0000 c7ab 0571 0000 0000
0015560 a153 0000 0080 a0f1 000b 000f 0903 7f20
0015600 007d 0000 0000 0000 87e1 76cd 0000 0000
0015620 700c 111c 6c12 1795 ddb2 0003 060f ff00
0015640 43ff 0f00 0006 ffff 0064 0000 aa96 000e
0015660 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0015700 0007 0000 fd68 0000 01c1 0000 0000 0000
0015720 c7ab 0571 0000 0000 a150 0000 0080 a0f1
0015740 000a 000f 0903 7f20 007d 0000 0000 0000
0015760 87e0 76cd 0000 0000 6ffa 111c 6c09 1795
0016000 ddb2 0003 060f ff00 41ff 0f03 0006 ffff
0016020 0320 0000 aa96 000e 04ae 0000 0000 0000
0016040 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0016060 01c1 0000 0000 0000 c7ab 0571 0000 0000
0016100 a14d 0000 0080 a0f1 0009 000f 0903 7f20
0016120 007d 0000 0000 0000 87df 76cd 0000 0000
0016140 6ff2 111c 6c05 1795 ddb2 0003 0613 ff00
0016160 86ff f001 0f23 0006 ffff 0190 aa96 000e
0016200 019e 0000 0000 0000 b3ea 68d0 60c1 0001
0016220 0007 0000 fd68 0000 01c1 0000 0000 0000
0016240 c7ab 0571 0000 0000 a14a 0000 0080 a0f1
0016260 0008 000f 0903 7f20 007d 0000 0000 0000
0016300 87de 76cd 0000 0000 6fee 111c 6c03 1795
0016320 ddb2 0003 0613 ff00 6dff 2000 0f03 0006
0016340 ffff 0064 aa96 000e 0686 0000 0000 0000
0016360 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0016400 01c1 0000 0000 0000 c7ab 0571 0000 0000
0016420 a147 0000 0080 a0f1 0007 000f 0903 7f20
0016440 007d 0000 0000 0000 87dd 76cd 0000 0000
0016460 6fdc 111c 6bfa 1795 ddb2 0003 0613 ff00
0016500 beff f000 0f23 0006 ffff 00c8 aa96 000e
0016520 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0016540 0007 0000 fd68 0000 01c1 0000 0000 0000
0016560 c7ab 0571 0000 0000 a144 0000 0080 a0f1
0016600 0006 000f 0903 7f20 007d 0000 0000 0000
0016620 87dc 76cd 0000 0000 6fc2 111c 6bed 1795
0016640 ddb2 0003 0613 ff00 6dff 2000 0f03 0006
0016660 ffff 0064 aa96 000e 06b6 0000 0000 0000
0016700 b3ea 68d0 60c1 0001 0007 0000 fd68 0000
0016720 01c1 0000 0000 0000 c7ab 0571 0000 0000
0016740 a13f 0000 0080 a0f1 0005 000f 0903 ff20
0016760 007d 0000 0000 0000 87db 76cd 0000 0000
0017000 bada 111c 9179 1795 ddc0 0003 0613 ff00
0017020 1aff 2c00 131a 0006 ffff 001a 1a2c 0000
0017040 e2cf 000c 06b6 0000 04ae 0000 0000 0000
0017060 b3ea 68d0 60c1 0001 0007 0000 ad04 0000
0017100 01c0 0000 0000 0000 c7ab 0571 0000 0000
0017120 a13c 0000 0080 a0f1 0004 000f 0903 ff20
0017140 007d 0000 0000 0000 87da 76cd 0000 0000
0017160 baae 111c 9163 1795 ddc0 0003 0613 ff00
0017200 62ff 2c00 131a 0006 ffff 0062 1a2c 0000
0017220 e2d8 000c 0623 0000 0623 0000 0000 0000
0017240 b3ea 68d0 60c1 0001 0007 0000 ad04 0000
0017260 01c0 0000 0000 0000 c7ab 0571 0000 0000
0017300 a139 0000 0080 a0f1 0003 000f 0903 ff20
0017320 007d 0000 0000 0000 87d9 76cd 0000 0000
0017340 ba8c 111c 9152 1795 ddc0 0003 0613 ff00
0017360 35ff e400 130c 0006 ffff 0035 0ce4 0000
0017400 e2d2 000c 0192 0000 06b6 0000 0000 0000
0017420 b3ea 68d0 60c1 0001 0007 0000 ad04 0000
0017440 01c0 0000 0000 0000 c7ab 0571 0000 0000
0017460 a136 0000 0080 a0f1 0002 000f 0903 ff20
0017500 007c 0000 0000 0000 87d8 76cd 0000 0000
0017520 ba32 111c 9125 1795 ddc0 0003 0613 ff00
0017540 62ff 2c03 131a 0006 ffff 0362 1a2c 0000
0017560 e2cf 000c 05ba 0000 b3ea 68d0 60c1 0001
0017600 0007 0000 ad04 0000 01c0 0000 0000 0000
0017620 c7ab 0571 0000 0000 a133 0000 0080 a0f1
0017640 0001 000f 0903 ff20 007d 0000 0000 0000
0017660 87d7 76cd 0000 0000 ba14 111c 9116 1795
0017700 ddc0 0003 0613 ff00 8aff 2c00 131a 0006
0017720 ffff 008a 1a2c 0000 e2cf 000c 06b6 0000
0017740 06b6 0000 0000 0000 b3ea 68d0 60c1 0001
0017760 0007 0000 ad04 0000 01c0 0000 0000 0000
0020000
Attachment
pgsql-general by date: