xref: /petsc/src/mat/impls/sbaij/seq/sbaijfact10.c (revision 21e3ffae2f3b73c0bd738cf6d0a809700fc04bb0)
1 
2 #include <../src/mat/impls/sbaij/seq/sbaij.h>
3 #include <petsc/private/kernels/blockinvert.h>
4 
5 /*
6       Version for when blocks are 6 by 6 Using natural ordering
7 */
8 PetscErrorCode MatCholeskyFactorNumeric_SeqSBAIJ_6_NaturalOrdering(Mat C, Mat A, const MatFactorInfo *info)
9 {
10   Mat_SeqSBAIJ *a = (Mat_SeqSBAIJ *)A->data, *b = (Mat_SeqSBAIJ *)C->data;
11   PetscInt      i, j, mbs = a->mbs, *bi = b->i, *bj = b->j;
12   PetscInt     *ai, *aj, k, k1, jmin, jmax, *jl, *il, vj, nexti, ili;
13   MatScalar    *ba = b->a, *aa, *ap, *dk, *uik;
14   MatScalar    *u, *d, *w, *wp, u0, u1, u2, u3, u4, u5, u6, u7, u8, u9, u10, u11, u12;
15   MatScalar     u13, u14, u15, u16, u17, u18, u19, u20, u21, u22, u23, u24, u25, u26, u27;
16   MatScalar     u28, u29, u30, u31, u32, u33, u34, u35;
17   MatScalar     d0, d1, d2, d3, d4, d5, d6, d7, d8, d9, d10, d11, d12;
18   MatScalar     d13, d14, d15, d16, d17, d18, d19, d20, d21, d22, d23, d24, d25, d26, d27;
19   MatScalar     d28, d29, d30, d31, d32, d33, d34, d35;
20   MatScalar     m0, m1, m2, m3, m4, m5, m6, m7, m8, m9, m10, m11, m12;
21   MatScalar     m13, m14, m15, m16, m17, m18, m19, m20, m21, m22, m23, m24, m25, m26, m27;
22   MatScalar     m28, m29, m30, m31, m32, m33, m34, m35;
23   PetscReal     shift = info->shiftamount;
24   PetscBool     allowzeropivot, zeropivotdetected;
25 
26   PetscFunctionBegin;
27   /* initialization */
28   allowzeropivot = PetscNot(A->erroriffailure);
29   PetscCall(PetscCalloc1(36 * mbs, &w));
30   PetscCall(PetscMalloc2(mbs, &il, mbs, &jl));
31   il[0] = 0;
32   for (i = 0; i < mbs; i++) jl[i] = mbs;
33 
34   PetscCall(PetscMalloc2(36, &dk, 36, &uik));
35   ai = a->i;
36   aj = a->j;
37   aa = a->a;
38 
39   /* for each row k */
40   for (k = 0; k < mbs; k++) {
41     /*initialize k-th row with elements nonzero in row k of A */
42     jmin = ai[k];
43     jmax = ai[k + 1];
44     if (jmin < jmax) {
45       ap = aa + jmin * 36;
46       for (j = jmin; j < jmax; j++) {
47         vj = aj[j]; /* block col. index */
48         wp = w + vj * 36;
49         for (i = 0; i < 36; i++) *wp++ = *ap++;
50       }
51     }
52 
53     /* modify k-th row by adding in those rows i with U(i,k) != 0 */
54     PetscCall(PetscArraycpy(dk, w + k * 36, 36));
55     i = jl[k]; /* first row to be added to k_th row  */
56 
57     while (i < mbs) {
58       nexti = jl[i]; /* next row to be added to k_th row */
59 
60       /* compute multiplier */
61       ili = il[i]; /* index of first nonzero element in U(i,k:bms-1) */
62 
63       /* uik = -inv(Di)*U_bar(i,k) */
64       d = ba + i * 36;
65       u = ba + ili * 36;
66 
67       u0  = u[0];
68       u1  = u[1];
69       u2  = u[2];
70       u3  = u[3];
71       u4  = u[4];
72       u5  = u[5];
73       u6  = u[6];
74       u7  = u[7];
75       u8  = u[8];
76       u9  = u[9];
77       u10 = u[10];
78       u11 = u[11];
79       u12 = u[12];
80       u13 = u[13];
81       u14 = u[14];
82       u15 = u[15];
83       u16 = u[16];
84       u17 = u[17];
85       u18 = u[18];
86       u19 = u[19];
87       u20 = u[20];
88       u21 = u[21];
89       u22 = u[22];
90       u23 = u[23];
91       u24 = u[24];
92       u25 = u[25];
93       u26 = u[26];
94       u27 = u[27];
95       u28 = u[28];
96       u29 = u[29];
97       u30 = u[30];
98       u31 = u[31];
99       u32 = u[32];
100       u33 = u[33];
101       u34 = u[34];
102       u35 = u[35];
103 
104       d0  = d[0];
105       d1  = d[1];
106       d2  = d[2];
107       d3  = d[3];
108       d4  = d[4];
109       d5  = d[5];
110       d6  = d[6];
111       d7  = d[7];
112       d8  = d[8];
113       d9  = d[9];
114       d10 = d[10];
115       d11 = d[11];
116       d12 = d[12];
117       d13 = d[13];
118       d14 = d[14];
119       d15 = d[15];
120       d16 = d[16];
121       d17 = d[17];
122       d18 = d[18];
123       d19 = d[19];
124       d20 = d[20];
125       d21 = d[21];
126       d22 = d[22];
127       d23 = d[23];
128       d24 = d[24];
129       d25 = d[25];
130       d26 = d[26];
131       d27 = d[27];
132       d28 = d[28];
133       d29 = d[29];
134       d30 = d[30];
135       d31 = d[31];
136       d32 = d[32];
137       d33 = d[33];
138       d34 = d[34];
139       d35 = d[35];
140 
141       m0 = uik[0] = -(d0 * u0 + d6 * u1 + d12 * u2 + d18 * u3 + d24 * u4 + d30 * u5);
142       m1 = uik[1] = -(d1 * u0 + d7 * u1 + d13 * u2 + d19 * u3 + d25 * u4 + d31 * u5);
143       m2 = uik[2] = -(d2 * u0 + d8 * u1 + d14 * u2 + d20 * u3 + d26 * u4 + d32 * u5);
144       m3 = uik[3] = -(d3 * u0 + d9 * u1 + d15 * u2 + d21 * u3 + d27 * u4 + d33 * u5);
145       m4 = uik[4] = -(d4 * u0 + d10 * u1 + d16 * u2 + d22 * u3 + d28 * u4 + d34 * u5);
146       m5 = uik[5] = -(d5 * u0 + d11 * u1 + d17 * u2 + d23 * u3 + d29 * u4 + d35 * u5);
147 
148       m6 = uik[6] = -(d0 * u6 + d6 * u7 + d12 * u8 + d18 * u9 + d24 * u10 + d30 * u11);
149       m7 = uik[7] = -(d1 * u6 + d7 * u7 + d13 * u8 + d19 * u9 + d25 * u10 + d31 * u11);
150       m8 = uik[8] = -(d2 * u6 + d8 * u7 + d14 * u8 + d20 * u9 + d26 * u10 + d32 * u11);
151       m9 = uik[9] = -(d3 * u6 + d9 * u7 + d15 * u8 + d21 * u9 + d27 * u10 + d33 * u11);
152       m10 = uik[10] = -(d4 * u6 + d10 * u7 + d16 * u8 + d22 * u9 + d28 * u10 + d34 * u11);
153       m11 = uik[11] = -(d5 * u6 + d11 * u7 + d17 * u8 + d23 * u9 + d29 * u10 + d35 * u11);
154 
155       m12 = uik[12] = -(d0 * u12 + d6 * u13 + d12 * u14 + d18 * u15 + d24 * u16 + d30 * u17);
156       m13 = uik[13] = -(d1 * u12 + d7 * u13 + d13 * u14 + d19 * u15 + d25 * u16 + d31 * u17);
157       m14 = uik[14] = -(d2 * u12 + d8 * u13 + d14 * u14 + d20 * u15 + d26 * u16 + d32 * u17);
158       m15 = uik[15] = -(d3 * u12 + d9 * u13 + d15 * u14 + d21 * u15 + d27 * u16 + d33 * u17);
159       m16 = uik[16] = -(d4 * u12 + d10 * u13 + d16 * u14 + d22 * u15 + d28 * u16 + d34 * u17);
160       m17 = uik[17] = -(d5 * u12 + d11 * u13 + d17 * u14 + d23 * u15 + d29 * u16 + d35 * u17);
161 
162       m18 = uik[18] = -(d0 * u18 + d6 * u19 + d12 * u20 + d18 * u21 + d24 * u22 + d30 * u23);
163       m19 = uik[19] = -(d1 * u18 + d7 * u19 + d13 * u20 + d19 * u21 + d25 * u22 + d31 * u23);
164       m20 = uik[20] = -(d2 * u18 + d8 * u19 + d14 * u20 + d20 * u21 + d26 * u22 + d32 * u23);
165       m21 = uik[21] = -(d3 * u18 + d9 * u19 + d15 * u20 + d21 * u21 + d27 * u22 + d33 * u23);
166       m22 = uik[22] = -(d4 * u18 + d10 * u19 + d16 * u20 + d22 * u21 + d28 * u22 + d34 * u23);
167       m23 = uik[23] = -(d5 * u18 + d11 * u19 + d17 * u20 + d23 * u21 + d29 * u22 + d35 * u23);
168 
169       m24 = uik[24] = -(d0 * u24 + d6 * u25 + d12 * u26 + d18 * u27 + d24 * u28 + d30 * u29);
170       m25 = uik[25] = -(d1 * u24 + d7 * u25 + d13 * u26 + d19 * u27 + d25 * u28 + d31 * u29);
171       m26 = uik[26] = -(d2 * u24 + d8 * u25 + d14 * u26 + d20 * u27 + d26 * u28 + d32 * u29);
172       m27 = uik[27] = -(d3 * u24 + d9 * u25 + d15 * u26 + d21 * u27 + d27 * u28 + d33 * u29);
173       m28 = uik[28] = -(d4 * u24 + d10 * u25 + d16 * u26 + d22 * u27 + d28 * u28 + d34 * u29);
174       m29 = uik[29] = -(d5 * u24 + d11 * u25 + d17 * u26 + d23 * u27 + d29 * u28 + d35 * u29);
175 
176       m30 = uik[30] = -(d0 * u30 + d6 * u31 + d12 * u32 + d18 * u33 + d24 * u34 + d30 * u35);
177       m31 = uik[31] = -(d1 * u30 + d7 * u31 + d13 * u32 + d19 * u33 + d25 * u34 + d31 * u35);
178       m32 = uik[32] = -(d2 * u30 + d8 * u31 + d14 * u32 + d20 * u33 + d26 * u34 + d32 * u35);
179       m33 = uik[33] = -(d3 * u30 + d9 * u31 + d15 * u32 + d21 * u33 + d27 * u34 + d33 * u35);
180       m34 = uik[34] = -(d4 * u30 + d10 * u31 + d16 * u32 + d22 * u33 + d28 * u34 + d34 * u35);
181       m35 = uik[35] = -(d5 * u30 + d11 * u31 + d17 * u32 + d23 * u33 + d29 * u34 + d35 * u35);
182 
183       /* update D(k) += -U(i,k)^T * U_bar(i,k) */
184       dk[0] += m0 * u0 + m1 * u1 + m2 * u2 + m3 * u3 + m4 * u4 + m5 * u5;
185       dk[1] += m6 * u0 + m7 * u1 + m8 * u2 + m9 * u3 + m10 * u4 + m11 * u5;
186       dk[2] += m12 * u0 + m13 * u1 + m14 * u2 + m15 * u3 + m16 * u4 + m17 * u5;
187       dk[3] += m18 * u0 + m19 * u1 + m20 * u2 + m21 * u3 + m22 * u4 + m23 * u5;
188       dk[4] += m24 * u0 + m25 * u1 + m26 * u2 + m27 * u3 + m28 * u4 + m29 * u5;
189       dk[5] += m30 * u0 + m31 * u1 + m32 * u2 + m33 * u3 + m34 * u4 + m35 * u5;
190 
191       dk[6] += m0 * u6 + m1 * u7 + m2 * u8 + m3 * u9 + m4 * u10 + m5 * u11;
192       dk[7] += m6 * u6 + m7 * u7 + m8 * u8 + m9 * u9 + m10 * u10 + m11 * u11;
193       dk[8] += m12 * u6 + m13 * u7 + m14 * u8 + m15 * u9 + m16 * u10 + m17 * u11;
194       dk[9] += m18 * u6 + m19 * u7 + m20 * u8 + m21 * u9 + m22 * u10 + m23 * u11;
195       dk[10] += m24 * u6 + m25 * u7 + m26 * u8 + m27 * u9 + m28 * u10 + m29 * u11;
196       dk[11] += m30 * u6 + m31 * u7 + m32 * u8 + m33 * u9 + m34 * u10 + m35 * u11;
197 
198       dk[12] += m0 * u12 + m1 * u13 + m2 * u14 + m3 * u15 + m4 * u16 + m5 * u17;
199       dk[13] += m6 * u12 + m7 * u13 + m8 * u14 + m9 * u15 + m10 * u16 + m11 * u17;
200       dk[14] += m12 * u12 + m13 * u13 + m14 * u14 + m15 * u15 + m16 * u16 + m17 * u17;
201       dk[15] += m18 * u12 + m19 * u13 + m20 * u14 + m21 * u15 + m22 * u16 + m23 * u17;
202       dk[16] += m24 * u12 + m25 * u13 + m26 * u14 + m27 * u15 + m28 * u16 + m29 * u17;
203       dk[17] += m30 * u12 + m31 * u13 + m32 * u14 + m33 * u15 + m34 * u16 + m35 * u17;
204 
205       dk[18] += m0 * u18 + m1 * u19 + m2 * u20 + m3 * u21 + m4 * u22 + m5 * u23;
206       dk[19] += m6 * u18 + m7 * u19 + m8 * u20 + m9 * u21 + m10 * u22 + m11 * u23;
207       dk[20] += m12 * u18 + m13 * u19 + m14 * u20 + m15 * u21 + m16 * u22 + m17 * u23;
208       dk[21] += m18 * u18 + m19 * u19 + m20 * u20 + m21 * u21 + m22 * u22 + m23 * u23;
209       dk[22] += m24 * u18 + m25 * u19 + m26 * u20 + m27 * u21 + m28 * u22 + m29 * u23;
210       dk[23] += m30 * u18 + m31 * u19 + m32 * u20 + m33 * u21 + m34 * u22 + m35 * u23;
211 
212       dk[24] += m0 * u24 + m1 * u25 + m2 * u26 + m3 * u27 + m4 * u28 + m5 * u29;
213       dk[25] += m6 * u24 + m7 * u25 + m8 * u26 + m9 * u27 + m10 * u28 + m11 * u29;
214       dk[26] += m12 * u24 + m13 * u25 + m14 * u26 + m15 * u27 + m16 * u28 + m17 * u29;
215       dk[27] += m18 * u24 + m19 * u25 + m20 * u26 + m21 * u27 + m22 * u28 + m23 * u29;
216       dk[28] += m24 * u24 + m25 * u25 + m26 * u26 + m27 * u27 + m28 * u28 + m29 * u29;
217       dk[29] += m30 * u24 + m31 * u25 + m32 * u26 + m33 * u27 + m34 * u28 + m35 * u29;
218 
219       dk[30] += m0 * u30 + m1 * u31 + m2 * u32 + m3 * u33 + m4 * u34 + m5 * u35;
220       dk[31] += m6 * u30 + m7 * u31 + m8 * u32 + m9 * u33 + m10 * u34 + m11 * u35;
221       dk[32] += m12 * u30 + m13 * u31 + m14 * u32 + m15 * u33 + m16 * u34 + m17 * u35;
222       dk[33] += m18 * u30 + m19 * u31 + m20 * u32 + m21 * u33 + m22 * u34 + m23 * u35;
223       dk[34] += m24 * u30 + m25 * u31 + m26 * u32 + m27 * u33 + m28 * u34 + m29 * u35;
224       dk[35] += m30 * u30 + m31 * u31 + m32 * u32 + m33 * u33 + m34 * u34 + m35 * u35;
225 
226       PetscCall(PetscLogFlops(216.0 * 4.0));
227 
228       /* update -U(i,k) */
229       PetscCall(PetscArraycpy(ba + ili * 36, uik, 36));
230 
231       /* add multiple of row i to k-th row ... */
232       jmin = ili + 1;
233       jmax = bi[i + 1];
234       if (jmin < jmax) {
235         for (j = jmin; j < jmax; j++) {
236           /* w += -U(i,k)^T * U_bar(i,j) */
237           wp = w + bj[j] * 36;
238           u  = ba + j * 36;
239 
240           u0  = u[0];
241           u1  = u[1];
242           u2  = u[2];
243           u3  = u[3];
244           u4  = u[4];
245           u5  = u[5];
246           u6  = u[6];
247           u7  = u[7];
248           u8  = u[8];
249           u9  = u[9];
250           u10 = u[10];
251           u11 = u[11];
252           u12 = u[12];
253           u13 = u[13];
254           u14 = u[14];
255           u15 = u[15];
256           u16 = u[16];
257           u17 = u[17];
258           u18 = u[18];
259           u19 = u[19];
260           u20 = u[20];
261           u21 = u[21];
262           u22 = u[22];
263           u23 = u[23];
264           u24 = u[24];
265           u25 = u[25];
266           u26 = u[26];
267           u27 = u[27];
268           u28 = u[28];
269           u29 = u[29];
270           u30 = u[30];
271           u31 = u[31];
272           u32 = u[32];
273           u33 = u[33];
274           u34 = u[34];
275           u35 = u[35];
276 
277           wp[0] += m0 * u0 + m1 * u1 + m2 * u2 + m3 * u3 + m4 * u4 + m5 * u5;
278           wp[1] += m6 * u0 + m7 * u1 + m8 * u2 + m9 * u3 + m10 * u4 + m11 * u5;
279           wp[2] += m12 * u0 + m13 * u1 + m14 * u2 + m15 * u3 + m16 * u4 + m17 * u5;
280           wp[3] += m18 * u0 + m19 * u1 + m20 * u2 + m21 * u3 + m22 * u4 + m23 * u5;
281           wp[4] += m24 * u0 + m25 * u1 + m26 * u2 + m27 * u3 + m28 * u4 + m29 * u5;
282           wp[5] += m30 * u0 + m31 * u1 + m32 * u2 + m33 * u3 + m34 * u4 + m35 * u5;
283 
284           wp[6] += m0 * u6 + m1 * u7 + m2 * u8 + m3 * u9 + m4 * u10 + m5 * u11;
285           wp[7] += m6 * u6 + m7 * u7 + m8 * u8 + m9 * u9 + m10 * u10 + m11 * u11;
286           wp[8] += m12 * u6 + m13 * u7 + m14 * u8 + m15 * u9 + m16 * u10 + m17 * u11;
287           wp[9] += m18 * u6 + m19 * u7 + m20 * u8 + m21 * u9 + m22 * u10 + m23 * u11;
288           wp[10] += m24 * u6 + m25 * u7 + m26 * u8 + m27 * u9 + m28 * u10 + m29 * u11;
289           wp[11] += m30 * u6 + m31 * u7 + m32 * u8 + m33 * u9 + m34 * u10 + m35 * u11;
290 
291           wp[12] += m0 * u12 + m1 * u13 + m2 * u14 + m3 * u15 + m4 * u16 + m5 * u17;
292           wp[13] += m6 * u12 + m7 * u13 + m8 * u14 + m9 * u15 + m10 * u16 + m11 * u17;
293           wp[14] += m12 * u12 + m13 * u13 + m14 * u14 + m15 * u15 + m16 * u16 + m17 * u17;
294           wp[15] += m18 * u12 + m19 * u13 + m20 * u14 + m21 * u15 + m22 * u16 + m23 * u17;
295           wp[16] += m24 * u12 + m25 * u13 + m26 * u14 + m27 * u15 + m28 * u16 + m29 * u17;
296           wp[17] += m30 * u12 + m31 * u13 + m32 * u14 + m33 * u15 + m34 * u16 + m35 * u17;
297 
298           wp[18] += m0 * u18 + m1 * u19 + m2 * u20 + m3 * u21 + m4 * u22 + m5 * u23;
299           wp[19] += m6 * u18 + m7 * u19 + m8 * u20 + m9 * u21 + m10 * u22 + m11 * u23;
300           wp[20] += m12 * u18 + m13 * u19 + m14 * u20 + m15 * u21 + m16 * u22 + m17 * u23;
301           wp[21] += m18 * u18 + m19 * u19 + m20 * u20 + m21 * u21 + m22 * u22 + m23 * u23;
302           wp[22] += m24 * u18 + m25 * u19 + m26 * u20 + m27 * u21 + m28 * u22 + m29 * u23;
303           wp[23] += m30 * u18 + m31 * u19 + m32 * u20 + m33 * u21 + m34 * u22 + m35 * u23;
304 
305           wp[24] += m0 * u24 + m1 * u25 + m2 * u26 + m3 * u27 + m4 * u28 + m5 * u29;
306           wp[25] += m6 * u24 + m7 * u25 + m8 * u26 + m9 * u27 + m10 * u28 + m11 * u29;
307           wp[26] += m12 * u24 + m13 * u25 + m14 * u26 + m15 * u27 + m16 * u28 + m17 * u29;
308           wp[27] += m18 * u24 + m19 * u25 + m20 * u26 + m21 * u27 + m22 * u28 + m23 * u29;
309           wp[28] += m24 * u24 + m25 * u25 + m26 * u26 + m27 * u27 + m28 * u28 + m29 * u29;
310           wp[29] += m30 * u24 + m31 * u25 + m32 * u26 + m33 * u27 + m34 * u28 + m35 * u29;
311 
312           wp[30] += m0 * u30 + m1 * u31 + m2 * u32 + m3 * u33 + m4 * u34 + m5 * u35;
313           wp[31] += m6 * u30 + m7 * u31 + m8 * u32 + m9 * u33 + m10 * u34 + m11 * u35;
314           wp[32] += m12 * u30 + m13 * u31 + m14 * u32 + m15 * u33 + m16 * u34 + m17 * u35;
315           wp[33] += m18 * u30 + m19 * u31 + m20 * u32 + m21 * u33 + m22 * u34 + m23 * u35;
316           wp[34] += m24 * u30 + m25 * u31 + m26 * u32 + m27 * u33 + m28 * u34 + m29 * u35;
317           wp[35] += m30 * u30 + m31 * u31 + m32 * u32 + m33 * u33 + m34 * u34 + m35 * u35;
318         }
319         PetscCall(PetscLogFlops(2.0 * 216.0 * (jmax - jmin)));
320 
321         /* ... add i to row list for next nonzero entry */
322         il[i] = jmin; /* update il(i) in column k+1, ... mbs-1 */
323         j     = bj[jmin];
324         jl[i] = jl[j];
325         jl[j] = i; /* update jl */
326       }
327       i = nexti;
328     }
329 
330     /* save nonzero entries in k-th row of U ... */
331 
332     /* invert diagonal block */
333     d = ba + k * 36;
334     PetscCall(PetscArraycpy(d, dk, 36));
335     PetscCall(PetscKernel_A_gets_inverse_A_6(d, shift, allowzeropivot, &zeropivotdetected));
336     if (zeropivotdetected) C->factorerrortype = MAT_FACTOR_NUMERIC_ZEROPIVOT;
337 
338     jmin = bi[k];
339     jmax = bi[k + 1];
340     if (jmin < jmax) {
341       for (j = jmin; j < jmax; j++) {
342         vj = bj[j]; /* block col. index of U */
343         u  = ba + j * 36;
344         wp = w + vj * 36;
345         for (k1 = 0; k1 < 36; k1++) {
346           *u++  = *wp;
347           *wp++ = 0.0;
348         }
349       }
350 
351       /* ... add k to row list for first nonzero entry in k-th row */
352       il[k] = jmin;
353       i     = bj[jmin];
354       jl[k] = jl[i];
355       jl[i] = k;
356     }
357   }
358 
359   PetscCall(PetscFree(w));
360   PetscCall(PetscFree2(il, jl));
361   PetscCall(PetscFree2(dk, uik));
362 
363   C->ops->solve          = MatSolve_SeqSBAIJ_6_NaturalOrdering_inplace;
364   C->ops->solvetranspose = MatSolve_SeqSBAIJ_6_NaturalOrdering_inplace;
365   C->ops->forwardsolve   = MatForwardSolve_SeqSBAIJ_6_NaturalOrdering_inplace;
366   C->ops->backwardsolve  = MatBackwardSolve_SeqSBAIJ_6_NaturalOrdering_inplace;
367   C->assembled           = PETSC_TRUE;
368   C->preallocated        = PETSC_TRUE;
369 
370   PetscCall(PetscLogFlops(1.3333 * 216 * b->mbs)); /* from inverting diagonal blocks */
371   PetscFunctionReturn(PETSC_SUCCESS);
372 }
373