1#include "arm_arch.h" 2 3.text 4#if defined(__thumb2__) 5.syntax unified 6.thumb 7#else 8.code 32 9#endif 10 11#if __ARM_MAX_ARCH__>=7 12.align 5 13.LOPENSSL_armcap: 14.word OPENSSL_armcap_P-.Lbn_mul_mont 15#endif 16 17.globl bn_mul_mont 18.type bn_mul_mont,%function 19 20.align 5 21bn_mul_mont: 22.Lbn_mul_mont: 23 ldr ip,[sp,#4] @ load num 24 stmdb sp!,{r0,r2} @ sp points at argument block 25#if __ARM_MAX_ARCH__>=7 26 tst ip,#7 27 bne .Lialu 28 adr r0,.Lbn_mul_mont 29 ldr r2,.LOPENSSL_armcap 30 ldr r0,[r0,r2] 31#ifdef __APPLE__ 32 ldr r0,[r0] 33#endif 34 tst r0,#ARMV7_NEON @ NEON available? 35 ldmia sp, {r0,r2} 36 beq .Lialu 37 add sp,sp,#8 38 b bn_mul8x_mont_neon 39.align 4 40.Lialu: 41#endif 42 cmp ip,#2 43 mov r0,ip @ load num 44#ifdef __thumb2__ 45 ittt lt 46#endif 47 movlt r0,#0 48 addlt sp,sp,#2*4 49 blt .Labrt 50 51 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ save 10 registers 52 53 mov r0,r0,lsl#2 @ rescale r0 for byte count 54 sub sp,sp,r0 @ alloca(4*num) 55 sub sp,sp,#4 @ +extra dword 56 sub r0,r0,#4 @ "num=num-1" 57 add r4,r2,r0 @ &bp[num-1] 58 59 add r0,sp,r0 @ r0 to point at &tp[num-1] 60 ldr r8,[r0,#14*4] @ &n0 61 ldr r2,[r2] @ bp[0] 62 ldr r5,[r1],#4 @ ap[0],ap++ 63 ldr r6,[r3],#4 @ np[0],np++ 64 ldr r8,[r8] @ *n0 65 str r4,[r0,#15*4] @ save &bp[num] 66 67 umull r10,r11,r5,r2 @ ap[0]*bp[0] 68 str r8,[r0,#14*4] @ save n0 value 69 mul r8,r10,r8 @ "tp[0]"*n0 70 mov r12,#0 71 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 72 mov r4,sp 73 74.L1st: 75 ldr r5,[r1],#4 @ ap[j],ap++ 76 mov r10,r11 77 ldr r6,[r3],#4 @ np[j],np++ 78 mov r11,#0 79 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 80 mov r14,#0 81 umlal r12,r14,r6,r8 @ np[j]*n0 82 adds r12,r12,r10 83 str r12,[r4],#4 @ tp[j-1]=,tp++ 84 adc r12,r14,#0 85 cmp r4,r0 86 bne .L1st 87 88 adds r12,r12,r11 89 ldr r4,[r0,#13*4] @ restore bp 90 mov r14,#0 91 ldr r8,[r0,#14*4] @ restore n0 92 adc r14,r14,#0 93 str r12,[r0] @ tp[num-1]= 94 mov r7,sp 95 str r14,[r0,#4] @ tp[num]= 96 97.Louter: 98 sub r7,r0,r7 @ "original" r0-1 value 99 sub r1,r1,r7 @ "rewind" ap to &ap[1] 100 ldr r2,[r4,#4]! @ *(++bp) 101 sub r3,r3,r7 @ "rewind" np to &np[1] 102 ldr r5,[r1,#-4] @ ap[0] 103 ldr r10,[sp] @ tp[0] 104 ldr r6,[r3,#-4] @ np[0] 105 ldr r7,[sp,#4] @ tp[1] 106 107 mov r11,#0 108 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 109 str r4,[r0,#13*4] @ save bp 110 mul r8,r10,r8 111 mov r12,#0 112 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 113 mov r4,sp 114 115.Linner: 116 ldr r5,[r1],#4 @ ap[j],ap++ 117 adds r10,r11,r7 @ +=tp[j] 118 ldr r6,[r3],#4 @ np[j],np++ 119 mov r11,#0 120 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 121 mov r14,#0 122 umlal r12,r14,r6,r8 @ np[j]*n0 123 adc r11,r11,#0 124 ldr r7,[r4,#8] @ tp[j+1] 125 adds r12,r12,r10 126 str r12,[r4],#4 @ tp[j-1]=,tp++ 127 adc r12,r14,#0 128 cmp r4,r0 129 bne .Linner 130 131 adds r12,r12,r11 132 mov r14,#0 133 ldr r4,[r0,#13*4] @ restore bp 134 adc r14,r14,#0 135 ldr r8,[r0,#14*4] @ restore n0 136 adds r12,r12,r7 137 ldr r7,[r0,#15*4] @ restore &bp[num] 138 adc r14,r14,#0 139 str r12,[r0] @ tp[num-1]= 140 str r14,[r0,#4] @ tp[num]= 141 142 cmp r4,r7 143#ifdef __thumb2__ 144 itt ne 145#endif 146 movne r7,sp 147 bne .Louter 148 149 ldr r2,[r0,#12*4] @ pull rp 150 mov r5,sp 151 add r0,r0,#4 @ r0 to point at &tp[num] 152 sub r5,r0,r5 @ "original" num value 153 mov r4,sp @ "rewind" r4 154 mov r1,r4 @ "borrow" r1 155 sub r3,r3,r5 @ "rewind" r3 to &np[0] 156 157 subs r7,r7,r7 @ "clear" carry flag 158.Lsub: ldr r7,[r4],#4 159 ldr r6,[r3],#4 160 sbcs r7,r7,r6 @ tp[j]-np[j] 161 str r7,[r2],#4 @ rp[j]= 162 teq r4,r0 @ preserve carry 163 bne .Lsub 164 sbcs r14,r14,#0 @ upmost carry 165 mov r4,sp @ "rewind" r4 166 sub r2,r2,r5 @ "rewind" r2 167 168 and r1,r4,r14 169 bic r3,r2,r14 170 orr r1,r1,r3 @ ap=borrow?tp:rp 171 172.Lcopy: ldr r7,[r1],#4 @ copy or in-place refresh 173 str sp,[r4],#4 @ zap tp 174 str r7,[r2],#4 175 cmp r4,r0 176 bne .Lcopy 177 178 mov sp,r0 179 add sp,sp,#4 @ skip over tp[num+1] 180 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr} @ restore registers 181 add sp,sp,#2*4 @ skip over {r0,r2} 182 mov r0,#1 183.Labrt: 184#if __ARM_ARCH__>=5 185 bx lr @ bx lr 186#else 187 tst lr,#1 188 moveq pc,lr @ be binary compatible with V4, yet 189.word 0xe12fff1e @ interoperable with Thumb ISA:-) 190#endif 191.size bn_mul_mont,.-bn_mul_mont 192#if __ARM_MAX_ARCH__>=7 193.arch armv7-a 194.fpu neon 195 196.type bn_mul8x_mont_neon,%function 197.align 5 198bn_mul8x_mont_neon: 199 mov ip,sp 200 stmdb sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 201 vstmdb sp!,{d8,d9,d10,d11,d12,d13,d14,d15} @ ABI specification says so 202 ldmia ip,{r4,r5} @ load rest of parameter block 203 mov ip,sp 204 205 cmp r5,#8 206 bhi .LNEON_8n 207 208 @ special case for r5==8, everything is in register bank... 209 210 vld1.32 {d28[0]}, [r2,:32]! 211 veor d8,d8,d8 212 sub r7,sp,r5,lsl#4 213 vld1.32 {d0,d1,d2,d3}, [r1]! @ can't specify :32 :-( 214 and r7,r7,#-64 215 vld1.32 {d30[0]}, [r4,:32] 216 mov sp,r7 @ alloca 217 vzip.16 d28,d8 218 219 vmull.u32 q6,d28,d0[0] 220 vmull.u32 q7,d28,d0[1] 221 vmull.u32 q8,d28,d1[0] 222 vshl.i64 d29,d13,#16 223 vmull.u32 q9,d28,d1[1] 224 225 vadd.u64 d29,d29,d12 226 veor d8,d8,d8 227 vmul.u32 d29,d29,d30 228 229 vmull.u32 q10,d28,d2[0] 230 vld1.32 {d4,d5,d6,d7}, [r3]! 231 vmull.u32 q11,d28,d2[1] 232 vmull.u32 q12,d28,d3[0] 233 vzip.16 d29,d8 234 vmull.u32 q13,d28,d3[1] 235 236 vmlal.u32 q6,d29,d4[0] 237 sub r9,r5,#1 238 vmlal.u32 q7,d29,d4[1] 239 vmlal.u32 q8,d29,d5[0] 240 vmlal.u32 q9,d29,d5[1] 241 242 vmlal.u32 q10,d29,d6[0] 243 vmov q5,q6 244 vmlal.u32 q11,d29,d6[1] 245 vmov q6,q7 246 vmlal.u32 q12,d29,d7[0] 247 vmov q7,q8 248 vmlal.u32 q13,d29,d7[1] 249 vmov q8,q9 250 vmov q9,q10 251 vshr.u64 d10,d10,#16 252 vmov q10,q11 253 vmov q11,q12 254 vadd.u64 d10,d10,d11 255 vmov q12,q13 256 veor q13,q13 257 vshr.u64 d10,d10,#16 258 259 b .LNEON_outer8 260 261.align 4 262.LNEON_outer8: 263 vld1.32 {d28[0]}, [r2,:32]! 264 veor d8,d8,d8 265 vzip.16 d28,d8 266 vadd.u64 d12,d12,d10 267 268 vmlal.u32 q6,d28,d0[0] 269 vmlal.u32 q7,d28,d0[1] 270 vmlal.u32 q8,d28,d1[0] 271 vshl.i64 d29,d13,#16 272 vmlal.u32 q9,d28,d1[1] 273 274 vadd.u64 d29,d29,d12 275 veor d8,d8,d8 276 subs r9,r9,#1 277 vmul.u32 d29,d29,d30 278 279 vmlal.u32 q10,d28,d2[0] 280 vmlal.u32 q11,d28,d2[1] 281 vmlal.u32 q12,d28,d3[0] 282 vzip.16 d29,d8 283 vmlal.u32 q13,d28,d3[1] 284 285 vmlal.u32 q6,d29,d4[0] 286 vmlal.u32 q7,d29,d4[1] 287 vmlal.u32 q8,d29,d5[0] 288 vmlal.u32 q9,d29,d5[1] 289 290 vmlal.u32 q10,d29,d6[0] 291 vmov q5,q6 292 vmlal.u32 q11,d29,d6[1] 293 vmov q6,q7 294 vmlal.u32 q12,d29,d7[0] 295 vmov q7,q8 296 vmlal.u32 q13,d29,d7[1] 297 vmov q8,q9 298 vmov q9,q10 299 vshr.u64 d10,d10,#16 300 vmov q10,q11 301 vmov q11,q12 302 vadd.u64 d10,d10,d11 303 vmov q12,q13 304 veor q13,q13 305 vshr.u64 d10,d10,#16 306 307 bne .LNEON_outer8 308 309 vadd.u64 d12,d12,d10 310 mov r7,sp 311 vshr.u64 d10,d12,#16 312 mov r8,r5 313 vadd.u64 d13,d13,d10 314 add r6,sp,#96 315 vshr.u64 d10,d13,#16 316 vzip.16 d12,d13 317 318 b .LNEON_tail_entry 319 320.align 4 321.LNEON_8n: 322 veor q6,q6,q6 323 sub r7,sp,#128 324 veor q7,q7,q7 325 sub r7,r7,r5,lsl#4 326 veor q8,q8,q8 327 and r7,r7,#-64 328 veor q9,q9,q9 329 mov sp,r7 @ alloca 330 veor q10,q10,q10 331 add r7,r7,#256 332 veor q11,q11,q11 333 sub r8,r5,#8 334 veor q12,q12,q12 335 veor q13,q13,q13 336 337.LNEON_8n_init: 338 vst1.64 {q6,q7},[r7,:256]! 339 subs r8,r8,#8 340 vst1.64 {q8,q9},[r7,:256]! 341 vst1.64 {q10,q11},[r7,:256]! 342 vst1.64 {q12,q13},[r7,:256]! 343 bne .LNEON_8n_init 344 345 add r6,sp,#256 346 vld1.32 {d0,d1,d2,d3},[r1]! 347 add r10,sp,#8 348 vld1.32 {d30[0]},[r4,:32] 349 mov r9,r5 350 b .LNEON_8n_outer 351 352.align 4 353.LNEON_8n_outer: 354 vld1.32 {d28[0]},[r2,:32]! @ *b++ 355 veor d8,d8,d8 356 vzip.16 d28,d8 357 add r7,sp,#128 358 vld1.32 {d4,d5,d6,d7},[r3]! 359 360 vmlal.u32 q6,d28,d0[0] 361 vmlal.u32 q7,d28,d0[1] 362 veor d8,d8,d8 363 vmlal.u32 q8,d28,d1[0] 364 vshl.i64 d29,d13,#16 365 vmlal.u32 q9,d28,d1[1] 366 vadd.u64 d29,d29,d12 367 vmlal.u32 q10,d28,d2[0] 368 vmul.u32 d29,d29,d30 369 vmlal.u32 q11,d28,d2[1] 370 vst1.32 {d28},[sp,:64] @ put aside smashed b[8*i+0] 371 vmlal.u32 q12,d28,d3[0] 372 vzip.16 d29,d8 373 vmlal.u32 q13,d28,d3[1] 374 vld1.32 {d28[0]},[r2,:32]! @ *b++ 375 vmlal.u32 q6,d29,d4[0] 376 veor d10,d10,d10 377 vmlal.u32 q7,d29,d4[1] 378 vzip.16 d28,d10 379 vmlal.u32 q8,d29,d5[0] 380 vshr.u64 d12,d12,#16 381 vmlal.u32 q9,d29,d5[1] 382 vmlal.u32 q10,d29,d6[0] 383 vadd.u64 d12,d12,d13 384 vmlal.u32 q11,d29,d6[1] 385 vshr.u64 d12,d12,#16 386 vmlal.u32 q12,d29,d7[0] 387 vmlal.u32 q13,d29,d7[1] 388 vadd.u64 d14,d14,d12 389 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+0] 390 vmlal.u32 q7,d28,d0[0] 391 vld1.64 {q6},[r6,:128]! 392 vmlal.u32 q8,d28,d0[1] 393 veor d8,d8,d8 394 vmlal.u32 q9,d28,d1[0] 395 vshl.i64 d29,d15,#16 396 vmlal.u32 q10,d28,d1[1] 397 vadd.u64 d29,d29,d14 398 vmlal.u32 q11,d28,d2[0] 399 vmul.u32 d29,d29,d30 400 vmlal.u32 q12,d28,d2[1] 401 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+1] 402 vmlal.u32 q13,d28,d3[0] 403 vzip.16 d29,d8 404 vmlal.u32 q6,d28,d3[1] 405 vld1.32 {d28[0]},[r2,:32]! @ *b++ 406 vmlal.u32 q7,d29,d4[0] 407 veor d10,d10,d10 408 vmlal.u32 q8,d29,d4[1] 409 vzip.16 d28,d10 410 vmlal.u32 q9,d29,d5[0] 411 vshr.u64 d14,d14,#16 412 vmlal.u32 q10,d29,d5[1] 413 vmlal.u32 q11,d29,d6[0] 414 vadd.u64 d14,d14,d15 415 vmlal.u32 q12,d29,d6[1] 416 vshr.u64 d14,d14,#16 417 vmlal.u32 q13,d29,d7[0] 418 vmlal.u32 q6,d29,d7[1] 419 vadd.u64 d16,d16,d14 420 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+1] 421 vmlal.u32 q8,d28,d0[0] 422 vld1.64 {q7},[r6,:128]! 423 vmlal.u32 q9,d28,d0[1] 424 veor d8,d8,d8 425 vmlal.u32 q10,d28,d1[0] 426 vshl.i64 d29,d17,#16 427 vmlal.u32 q11,d28,d1[1] 428 vadd.u64 d29,d29,d16 429 vmlal.u32 q12,d28,d2[0] 430 vmul.u32 d29,d29,d30 431 vmlal.u32 q13,d28,d2[1] 432 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+2] 433 vmlal.u32 q6,d28,d3[0] 434 vzip.16 d29,d8 435 vmlal.u32 q7,d28,d3[1] 436 vld1.32 {d28[0]},[r2,:32]! @ *b++ 437 vmlal.u32 q8,d29,d4[0] 438 veor d10,d10,d10 439 vmlal.u32 q9,d29,d4[1] 440 vzip.16 d28,d10 441 vmlal.u32 q10,d29,d5[0] 442 vshr.u64 d16,d16,#16 443 vmlal.u32 q11,d29,d5[1] 444 vmlal.u32 q12,d29,d6[0] 445 vadd.u64 d16,d16,d17 446 vmlal.u32 q13,d29,d6[1] 447 vshr.u64 d16,d16,#16 448 vmlal.u32 q6,d29,d7[0] 449 vmlal.u32 q7,d29,d7[1] 450 vadd.u64 d18,d18,d16 451 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+2] 452 vmlal.u32 q9,d28,d0[0] 453 vld1.64 {q8},[r6,:128]! 454 vmlal.u32 q10,d28,d0[1] 455 veor d8,d8,d8 456 vmlal.u32 q11,d28,d1[0] 457 vshl.i64 d29,d19,#16 458 vmlal.u32 q12,d28,d1[1] 459 vadd.u64 d29,d29,d18 460 vmlal.u32 q13,d28,d2[0] 461 vmul.u32 d29,d29,d30 462 vmlal.u32 q6,d28,d2[1] 463 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+3] 464 vmlal.u32 q7,d28,d3[0] 465 vzip.16 d29,d8 466 vmlal.u32 q8,d28,d3[1] 467 vld1.32 {d28[0]},[r2,:32]! @ *b++ 468 vmlal.u32 q9,d29,d4[0] 469 veor d10,d10,d10 470 vmlal.u32 q10,d29,d4[1] 471 vzip.16 d28,d10 472 vmlal.u32 q11,d29,d5[0] 473 vshr.u64 d18,d18,#16 474 vmlal.u32 q12,d29,d5[1] 475 vmlal.u32 q13,d29,d6[0] 476 vadd.u64 d18,d18,d19 477 vmlal.u32 q6,d29,d6[1] 478 vshr.u64 d18,d18,#16 479 vmlal.u32 q7,d29,d7[0] 480 vmlal.u32 q8,d29,d7[1] 481 vadd.u64 d20,d20,d18 482 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+3] 483 vmlal.u32 q10,d28,d0[0] 484 vld1.64 {q9},[r6,:128]! 485 vmlal.u32 q11,d28,d0[1] 486 veor d8,d8,d8 487 vmlal.u32 q12,d28,d1[0] 488 vshl.i64 d29,d21,#16 489 vmlal.u32 q13,d28,d1[1] 490 vadd.u64 d29,d29,d20 491 vmlal.u32 q6,d28,d2[0] 492 vmul.u32 d29,d29,d30 493 vmlal.u32 q7,d28,d2[1] 494 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+4] 495 vmlal.u32 q8,d28,d3[0] 496 vzip.16 d29,d8 497 vmlal.u32 q9,d28,d3[1] 498 vld1.32 {d28[0]},[r2,:32]! @ *b++ 499 vmlal.u32 q10,d29,d4[0] 500 veor d10,d10,d10 501 vmlal.u32 q11,d29,d4[1] 502 vzip.16 d28,d10 503 vmlal.u32 q12,d29,d5[0] 504 vshr.u64 d20,d20,#16 505 vmlal.u32 q13,d29,d5[1] 506 vmlal.u32 q6,d29,d6[0] 507 vadd.u64 d20,d20,d21 508 vmlal.u32 q7,d29,d6[1] 509 vshr.u64 d20,d20,#16 510 vmlal.u32 q8,d29,d7[0] 511 vmlal.u32 q9,d29,d7[1] 512 vadd.u64 d22,d22,d20 513 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+4] 514 vmlal.u32 q11,d28,d0[0] 515 vld1.64 {q10},[r6,:128]! 516 vmlal.u32 q12,d28,d0[1] 517 veor d8,d8,d8 518 vmlal.u32 q13,d28,d1[0] 519 vshl.i64 d29,d23,#16 520 vmlal.u32 q6,d28,d1[1] 521 vadd.u64 d29,d29,d22 522 vmlal.u32 q7,d28,d2[0] 523 vmul.u32 d29,d29,d30 524 vmlal.u32 q8,d28,d2[1] 525 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+5] 526 vmlal.u32 q9,d28,d3[0] 527 vzip.16 d29,d8 528 vmlal.u32 q10,d28,d3[1] 529 vld1.32 {d28[0]},[r2,:32]! @ *b++ 530 vmlal.u32 q11,d29,d4[0] 531 veor d10,d10,d10 532 vmlal.u32 q12,d29,d4[1] 533 vzip.16 d28,d10 534 vmlal.u32 q13,d29,d5[0] 535 vshr.u64 d22,d22,#16 536 vmlal.u32 q6,d29,d5[1] 537 vmlal.u32 q7,d29,d6[0] 538 vadd.u64 d22,d22,d23 539 vmlal.u32 q8,d29,d6[1] 540 vshr.u64 d22,d22,#16 541 vmlal.u32 q9,d29,d7[0] 542 vmlal.u32 q10,d29,d7[1] 543 vadd.u64 d24,d24,d22 544 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+5] 545 vmlal.u32 q12,d28,d0[0] 546 vld1.64 {q11},[r6,:128]! 547 vmlal.u32 q13,d28,d0[1] 548 veor d8,d8,d8 549 vmlal.u32 q6,d28,d1[0] 550 vshl.i64 d29,d25,#16 551 vmlal.u32 q7,d28,d1[1] 552 vadd.u64 d29,d29,d24 553 vmlal.u32 q8,d28,d2[0] 554 vmul.u32 d29,d29,d30 555 vmlal.u32 q9,d28,d2[1] 556 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+6] 557 vmlal.u32 q10,d28,d3[0] 558 vzip.16 d29,d8 559 vmlal.u32 q11,d28,d3[1] 560 vld1.32 {d28[0]},[r2,:32]! @ *b++ 561 vmlal.u32 q12,d29,d4[0] 562 veor d10,d10,d10 563 vmlal.u32 q13,d29,d4[1] 564 vzip.16 d28,d10 565 vmlal.u32 q6,d29,d5[0] 566 vshr.u64 d24,d24,#16 567 vmlal.u32 q7,d29,d5[1] 568 vmlal.u32 q8,d29,d6[0] 569 vadd.u64 d24,d24,d25 570 vmlal.u32 q9,d29,d6[1] 571 vshr.u64 d24,d24,#16 572 vmlal.u32 q10,d29,d7[0] 573 vmlal.u32 q11,d29,d7[1] 574 vadd.u64 d26,d26,d24 575 vst1.32 {d29},[r10,:64]! @ put aside smashed m[8*i+6] 576 vmlal.u32 q13,d28,d0[0] 577 vld1.64 {q12},[r6,:128]! 578 vmlal.u32 q6,d28,d0[1] 579 veor d8,d8,d8 580 vmlal.u32 q7,d28,d1[0] 581 vshl.i64 d29,d27,#16 582 vmlal.u32 q8,d28,d1[1] 583 vadd.u64 d29,d29,d26 584 vmlal.u32 q9,d28,d2[0] 585 vmul.u32 d29,d29,d30 586 vmlal.u32 q10,d28,d2[1] 587 vst1.32 {d28},[r10,:64]! @ put aside smashed b[8*i+7] 588 vmlal.u32 q11,d28,d3[0] 589 vzip.16 d29,d8 590 vmlal.u32 q12,d28,d3[1] 591 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 592 vmlal.u32 q13,d29,d4[0] 593 vld1.32 {d0,d1,d2,d3},[r1]! 594 vmlal.u32 q6,d29,d4[1] 595 vmlal.u32 q7,d29,d5[0] 596 vshr.u64 d26,d26,#16 597 vmlal.u32 q8,d29,d5[1] 598 vmlal.u32 q9,d29,d6[0] 599 vadd.u64 d26,d26,d27 600 vmlal.u32 q10,d29,d6[1] 601 vshr.u64 d26,d26,#16 602 vmlal.u32 q11,d29,d7[0] 603 vmlal.u32 q12,d29,d7[1] 604 vadd.u64 d12,d12,d26 605 vst1.32 {d29},[r10,:64] @ put aside smashed m[8*i+7] 606 add r10,sp,#8 @ rewind 607 sub r8,r5,#8 608 b .LNEON_8n_inner 609 610.align 4 611.LNEON_8n_inner: 612 subs r8,r8,#8 613 vmlal.u32 q6,d28,d0[0] 614 vld1.64 {q13},[r6,:128] 615 vmlal.u32 q7,d28,d0[1] 616 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+0] 617 vmlal.u32 q8,d28,d1[0] 618 vld1.32 {d4,d5,d6,d7},[r3]! 619 vmlal.u32 q9,d28,d1[1] 620 it ne 621 addne r6,r6,#16 @ don't advance in last iteration 622 vmlal.u32 q10,d28,d2[0] 623 vmlal.u32 q11,d28,d2[1] 624 vmlal.u32 q12,d28,d3[0] 625 vmlal.u32 q13,d28,d3[1] 626 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+1] 627 vmlal.u32 q6,d29,d4[0] 628 vmlal.u32 q7,d29,d4[1] 629 vmlal.u32 q8,d29,d5[0] 630 vmlal.u32 q9,d29,d5[1] 631 vmlal.u32 q10,d29,d6[0] 632 vmlal.u32 q11,d29,d6[1] 633 vmlal.u32 q12,d29,d7[0] 634 vmlal.u32 q13,d29,d7[1] 635 vst1.64 {q6},[r7,:128]! 636 vmlal.u32 q7,d28,d0[0] 637 vld1.64 {q6},[r6,:128] 638 vmlal.u32 q8,d28,d0[1] 639 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+1] 640 vmlal.u32 q9,d28,d1[0] 641 it ne 642 addne r6,r6,#16 @ don't advance in last iteration 643 vmlal.u32 q10,d28,d1[1] 644 vmlal.u32 q11,d28,d2[0] 645 vmlal.u32 q12,d28,d2[1] 646 vmlal.u32 q13,d28,d3[0] 647 vmlal.u32 q6,d28,d3[1] 648 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+2] 649 vmlal.u32 q7,d29,d4[0] 650 vmlal.u32 q8,d29,d4[1] 651 vmlal.u32 q9,d29,d5[0] 652 vmlal.u32 q10,d29,d5[1] 653 vmlal.u32 q11,d29,d6[0] 654 vmlal.u32 q12,d29,d6[1] 655 vmlal.u32 q13,d29,d7[0] 656 vmlal.u32 q6,d29,d7[1] 657 vst1.64 {q7},[r7,:128]! 658 vmlal.u32 q8,d28,d0[0] 659 vld1.64 {q7},[r6,:128] 660 vmlal.u32 q9,d28,d0[1] 661 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+2] 662 vmlal.u32 q10,d28,d1[0] 663 it ne 664 addne r6,r6,#16 @ don't advance in last iteration 665 vmlal.u32 q11,d28,d1[1] 666 vmlal.u32 q12,d28,d2[0] 667 vmlal.u32 q13,d28,d2[1] 668 vmlal.u32 q6,d28,d3[0] 669 vmlal.u32 q7,d28,d3[1] 670 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+3] 671 vmlal.u32 q8,d29,d4[0] 672 vmlal.u32 q9,d29,d4[1] 673 vmlal.u32 q10,d29,d5[0] 674 vmlal.u32 q11,d29,d5[1] 675 vmlal.u32 q12,d29,d6[0] 676 vmlal.u32 q13,d29,d6[1] 677 vmlal.u32 q6,d29,d7[0] 678 vmlal.u32 q7,d29,d7[1] 679 vst1.64 {q8},[r7,:128]! 680 vmlal.u32 q9,d28,d0[0] 681 vld1.64 {q8},[r6,:128] 682 vmlal.u32 q10,d28,d0[1] 683 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+3] 684 vmlal.u32 q11,d28,d1[0] 685 it ne 686 addne r6,r6,#16 @ don't advance in last iteration 687 vmlal.u32 q12,d28,d1[1] 688 vmlal.u32 q13,d28,d2[0] 689 vmlal.u32 q6,d28,d2[1] 690 vmlal.u32 q7,d28,d3[0] 691 vmlal.u32 q8,d28,d3[1] 692 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+4] 693 vmlal.u32 q9,d29,d4[0] 694 vmlal.u32 q10,d29,d4[1] 695 vmlal.u32 q11,d29,d5[0] 696 vmlal.u32 q12,d29,d5[1] 697 vmlal.u32 q13,d29,d6[0] 698 vmlal.u32 q6,d29,d6[1] 699 vmlal.u32 q7,d29,d7[0] 700 vmlal.u32 q8,d29,d7[1] 701 vst1.64 {q9},[r7,:128]! 702 vmlal.u32 q10,d28,d0[0] 703 vld1.64 {q9},[r6,:128] 704 vmlal.u32 q11,d28,d0[1] 705 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+4] 706 vmlal.u32 q12,d28,d1[0] 707 it ne 708 addne r6,r6,#16 @ don't advance in last iteration 709 vmlal.u32 q13,d28,d1[1] 710 vmlal.u32 q6,d28,d2[0] 711 vmlal.u32 q7,d28,d2[1] 712 vmlal.u32 q8,d28,d3[0] 713 vmlal.u32 q9,d28,d3[1] 714 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+5] 715 vmlal.u32 q10,d29,d4[0] 716 vmlal.u32 q11,d29,d4[1] 717 vmlal.u32 q12,d29,d5[0] 718 vmlal.u32 q13,d29,d5[1] 719 vmlal.u32 q6,d29,d6[0] 720 vmlal.u32 q7,d29,d6[1] 721 vmlal.u32 q8,d29,d7[0] 722 vmlal.u32 q9,d29,d7[1] 723 vst1.64 {q10},[r7,:128]! 724 vmlal.u32 q11,d28,d0[0] 725 vld1.64 {q10},[r6,:128] 726 vmlal.u32 q12,d28,d0[1] 727 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+5] 728 vmlal.u32 q13,d28,d1[0] 729 it ne 730 addne r6,r6,#16 @ don't advance in last iteration 731 vmlal.u32 q6,d28,d1[1] 732 vmlal.u32 q7,d28,d2[0] 733 vmlal.u32 q8,d28,d2[1] 734 vmlal.u32 q9,d28,d3[0] 735 vmlal.u32 q10,d28,d3[1] 736 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+6] 737 vmlal.u32 q11,d29,d4[0] 738 vmlal.u32 q12,d29,d4[1] 739 vmlal.u32 q13,d29,d5[0] 740 vmlal.u32 q6,d29,d5[1] 741 vmlal.u32 q7,d29,d6[0] 742 vmlal.u32 q8,d29,d6[1] 743 vmlal.u32 q9,d29,d7[0] 744 vmlal.u32 q10,d29,d7[1] 745 vst1.64 {q11},[r7,:128]! 746 vmlal.u32 q12,d28,d0[0] 747 vld1.64 {q11},[r6,:128] 748 vmlal.u32 q13,d28,d0[1] 749 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+6] 750 vmlal.u32 q6,d28,d1[0] 751 it ne 752 addne r6,r6,#16 @ don't advance in last iteration 753 vmlal.u32 q7,d28,d1[1] 754 vmlal.u32 q8,d28,d2[0] 755 vmlal.u32 q9,d28,d2[1] 756 vmlal.u32 q10,d28,d3[0] 757 vmlal.u32 q11,d28,d3[1] 758 vld1.32 {d28},[r10,:64]! @ pull smashed b[8*i+7] 759 vmlal.u32 q12,d29,d4[0] 760 vmlal.u32 q13,d29,d4[1] 761 vmlal.u32 q6,d29,d5[0] 762 vmlal.u32 q7,d29,d5[1] 763 vmlal.u32 q8,d29,d6[0] 764 vmlal.u32 q9,d29,d6[1] 765 vmlal.u32 q10,d29,d7[0] 766 vmlal.u32 q11,d29,d7[1] 767 vst1.64 {q12},[r7,:128]! 768 vmlal.u32 q13,d28,d0[0] 769 vld1.64 {q12},[r6,:128] 770 vmlal.u32 q6,d28,d0[1] 771 vld1.32 {d29},[r10,:64]! @ pull smashed m[8*i+7] 772 vmlal.u32 q7,d28,d1[0] 773 it ne 774 addne r6,r6,#16 @ don't advance in last iteration 775 vmlal.u32 q8,d28,d1[1] 776 vmlal.u32 q9,d28,d2[0] 777 vmlal.u32 q10,d28,d2[1] 778 vmlal.u32 q11,d28,d3[0] 779 vmlal.u32 q12,d28,d3[1] 780 it eq 781 subeq r1,r1,r5,lsl#2 @ rewind 782 vmlal.u32 q13,d29,d4[0] 783 vld1.32 {d28},[sp,:64] @ pull smashed b[8*i+0] 784 vmlal.u32 q6,d29,d4[1] 785 vld1.32 {d0,d1,d2,d3},[r1]! 786 vmlal.u32 q7,d29,d5[0] 787 add r10,sp,#8 @ rewind 788 vmlal.u32 q8,d29,d5[1] 789 vmlal.u32 q9,d29,d6[0] 790 vmlal.u32 q10,d29,d6[1] 791 vmlal.u32 q11,d29,d7[0] 792 vst1.64 {q13},[r7,:128]! 793 vmlal.u32 q12,d29,d7[1] 794 795 bne .LNEON_8n_inner 796 add r6,sp,#128 797 vst1.64 {q6,q7},[r7,:256]! 798 veor q2,q2,q2 @ d4-d5 799 vst1.64 {q8,q9},[r7,:256]! 800 veor q3,q3,q3 @ d6-d7 801 vst1.64 {q10,q11},[r7,:256]! 802 vst1.64 {q12},[r7,:128] 803 804 subs r9,r9,#8 805 vld1.64 {q6,q7},[r6,:256]! 806 vld1.64 {q8,q9},[r6,:256]! 807 vld1.64 {q10,q11},[r6,:256]! 808 vld1.64 {q12,q13},[r6,:256]! 809 810 itt ne 811 subne r3,r3,r5,lsl#2 @ rewind 812 bne .LNEON_8n_outer 813 814 add r7,sp,#128 815 vst1.64 {q2,q3}, [sp,:256]! @ start wiping stack frame 816 vshr.u64 d10,d12,#16 817 vst1.64 {q2,q3},[sp,:256]! 818 vadd.u64 d13,d13,d10 819 vst1.64 {q2,q3}, [sp,:256]! 820 vshr.u64 d10,d13,#16 821 vst1.64 {q2,q3}, [sp,:256]! 822 vzip.16 d12,d13 823 824 mov r8,r5 825 b .LNEON_tail_entry 826 827.align 4 828.LNEON_tail: 829 vadd.u64 d12,d12,d10 830 vshr.u64 d10,d12,#16 831 vld1.64 {q8,q9}, [r6, :256]! 832 vadd.u64 d13,d13,d10 833 vld1.64 {q10,q11}, [r6, :256]! 834 vshr.u64 d10,d13,#16 835 vld1.64 {q12,q13}, [r6, :256]! 836 vzip.16 d12,d13 837 838.LNEON_tail_entry: 839 vadd.u64 d14,d14,d10 840 vst1.32 {d12[0]}, [r7, :32]! 841 vshr.u64 d10,d14,#16 842 vadd.u64 d15,d15,d10 843 vshr.u64 d10,d15,#16 844 vzip.16 d14,d15 845 vadd.u64 d16,d16,d10 846 vst1.32 {d14[0]}, [r7, :32]! 847 vshr.u64 d10,d16,#16 848 vadd.u64 d17,d17,d10 849 vshr.u64 d10,d17,#16 850 vzip.16 d16,d17 851 vadd.u64 d18,d18,d10 852 vst1.32 {d16[0]}, [r7, :32]! 853 vshr.u64 d10,d18,#16 854 vadd.u64 d19,d19,d10 855 vshr.u64 d10,d19,#16 856 vzip.16 d18,d19 857 vadd.u64 d20,d20,d10 858 vst1.32 {d18[0]}, [r7, :32]! 859 vshr.u64 d10,d20,#16 860 vadd.u64 d21,d21,d10 861 vshr.u64 d10,d21,#16 862 vzip.16 d20,d21 863 vadd.u64 d22,d22,d10 864 vst1.32 {d20[0]}, [r7, :32]! 865 vshr.u64 d10,d22,#16 866 vadd.u64 d23,d23,d10 867 vshr.u64 d10,d23,#16 868 vzip.16 d22,d23 869 vadd.u64 d24,d24,d10 870 vst1.32 {d22[0]}, [r7, :32]! 871 vshr.u64 d10,d24,#16 872 vadd.u64 d25,d25,d10 873 vshr.u64 d10,d25,#16 874 vzip.16 d24,d25 875 vadd.u64 d26,d26,d10 876 vst1.32 {d24[0]}, [r7, :32]! 877 vshr.u64 d10,d26,#16 878 vadd.u64 d27,d27,d10 879 vshr.u64 d10,d27,#16 880 vzip.16 d26,d27 881 vld1.64 {q6,q7}, [r6, :256]! 882 subs r8,r8,#8 883 vst1.32 {d26[0]}, [r7, :32]! 884 bne .LNEON_tail 885 886 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 887 sub r3,r3,r5,lsl#2 @ rewind r3 888 subs r1,sp,#0 @ clear carry flag 889 add r2,sp,r5,lsl#2 890 891.LNEON_sub: 892 ldmia r1!, {r4,r5,r6,r7} 893 ldmia r3!, {r8,r9,r10,r11} 894 sbcs r8, r4,r8 895 sbcs r9, r5,r9 896 sbcs r10,r6,r10 897 sbcs r11,r7,r11 898 teq r1,r2 @ preserves carry 899 stmia r0!, {r8,r9,r10,r11} 900 bne .LNEON_sub 901 902 ldr r10, [r1] @ load top-most bit 903 mov r11,sp 904 veor q0,q0,q0 905 sub r11,r2,r11 @ this is num*4 906 veor q1,q1,q1 907 mov r1,sp 908 sub r0,r0,r11 @ rewind r0 909 mov r3,r2 @ second 3/4th of frame 910 sbcs r10,r10,#0 @ result is carry flag 911 912.LNEON_copy_n_zap: 913 ldmia r1!, {r4,r5,r6,r7} 914 ldmia r0, {r8,r9,r10,r11} 915 it cc 916 movcc r8, r4 917 vst1.64 {q0,q1}, [r3,:256]! @ wipe 918 itt cc 919 movcc r9, r5 920 movcc r10,r6 921 vst1.64 {q0,q1}, [r3,:256]! @ wipe 922 it cc 923 movcc r11,r7 924 ldmia r1, {r4,r5,r6,r7} 925 stmia r0!, {r8,r9,r10,r11} 926 sub r1,r1,#16 927 ldmia r0, {r8,r9,r10,r11} 928 it cc 929 movcc r8, r4 930 vst1.64 {q0,q1}, [r1,:256]! @ wipe 931 itt cc 932 movcc r9, r5 933 movcc r10,r6 934 vst1.64 {q0,q1}, [r3,:256]! @ wipe 935 it cc 936 movcc r11,r7 937 teq r1,r2 @ preserves carry 938 stmia r0!, {r8,r9,r10,r11} 939 bne .LNEON_copy_n_zap 940 941 mov sp,ip 942 vldmia sp!,{d8,d9,d10,d11,d12,d13,d14,d15} 943 ldmia sp!,{r4,r5,r6,r7,r8,r9,r10,r11} 944 bx lr @ bx lr 945.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 946#endif 947.byte 77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0 948.align 2 949.align 2 950#if __ARM_MAX_ARCH__>=7 951.comm OPENSSL_armcap_P,4,4 952#endif 953