CoCalc -- bsaes-armv7.S

GitHub Repository: freebsd/freebsd-src
Path: blob/main/sys/crypto/openssl/arm/bsaes-armv7.S
³⁹⁴⁸² views
1
/* Do not modify. This file is auto-generated from bsaes-armv7.pl. */
2
@ Copyright 2012-2023 The OpenSSL Project Authors. All Rights Reserved.
3
@
4
@ Licensed under the Apache License 2.0 (the "License").  You may not use
5
@ this file except in compliance with the License.  You can obtain a copy
6
@ in the file LICENSE in the source distribution or at
7
@ https://www.openssl.org/source/license.html
8

9

10
@ ====================================================================
11
@ Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
12
@ project. The module is, however, dual licensed under OpenSSL and
13
@ CRYPTOGAMS licenses depending on where you obtain it. For further
14
@ details see http://www.openssl.org/~appro/cryptogams/.
15
@
16
@ Specific modes and adaptation for Linux kernel by Ard Biesheuvel
17
@ of Linaro.
18
@ ====================================================================
19

20
@ Bit-sliced AES for ARM NEON
21
@
22
@ February 2012.
23
@
24
@ This implementation is direct adaptation of bsaes-x86_64 module for
25
@ ARM NEON. Except that this module is endian-neutral [in sense that
26
@ it can be compiled for either endianness] by courtesy of vld1.8's
27
@ neutrality. Initial version doesn't implement interface to OpenSSL,
28
@ only low-level primitives and unsupported entry points, just enough
29
@ to collect performance results, which for Cortex-A8 core are:
30
@
31
@ encrypt	19.5 cycles per byte processed with 128-bit key
32
@ decrypt	22.1 cycles per byte processed with 128-bit key
33
@ key conv.	440  cycles per 128-bit key/0.18 of 8x block
34
@
35
@ Snapdragon S4 encrypts byte in 17.6 cycles and decrypts in 19.7,
36
@ which is [much] worse than anticipated (for further details see
37
@ http://www.openssl.org/~appro/Snapdragon-S4.html).
38
@
39
@ Cortex-A15 manages in 14.2/16.1 cycles [when integer-only code
40
@ manages in 20.0 cycles].
41
@
42
@ When comparing to x86_64 results keep in mind that NEON unit is
43
@ [mostly] single-issue and thus can't [fully] benefit from
44
@ instruction-level parallelism. And when comparing to aes-armv4
45
@ results keep in mind key schedule conversion overhead (see
46
@ bsaes-x86_64.pl for further details)...
47
@
48
@						<appro@openssl.org>
49

50
@ April-August 2013
51
@ Add CBC, CTR and XTS subroutines and adapt for kernel use; courtesy of Ard.
52

53
@ $output is the last argument if it looks like a file (it has an extension)
54
@ $flavour is the first argument if it doesn't look like a file
55
#ifndef __KERNEL__
56
# include "arm_arch.h"
57

58
# define VFP_ABI_PUSH	vstmdb	sp!,{d8-d15}
59
# define VFP_ABI_POP	vldmia	sp!,{d8-d15}
60
# define VFP_ABI_FRAME	0x40
61
#else
62
# define VFP_ABI_PUSH
63
# define VFP_ABI_POP
64
# define VFP_ABI_FRAME	0
65
# define BSAES_ASM_EXTENDED_KEY
66
# define XTS_CHAIN_TWEAK
67
# define __ARM_ARCH__ __LINUX_ARM_ARCH__
68
# define __ARM_MAX_ARCH__ 7
69
#endif
70

71
#ifdef __thumb__
72
# define adrl adr
73
#endif
74

75
#if __ARM_MAX_ARCH__>=7
76
.arch	armv7-a
77
.fpu	neon
78

79
.syntax	unified 	@ ARMv7-capable assembler is expected to handle this
80
#if defined(__thumb2__) && !defined(__APPLE__)
81
.thumb
82
#else
83
.code	32
84
# undef __thumb2__
85
#endif
86

87
.text
88

89
.type	_bsaes_decrypt8,%function
90
.align	4
91
_bsaes_decrypt8:
92
	adr	r6,.
93
	vldmia	r4!, {q9}		@ round 0 key
94
#if defined(__thumb2__) || defined(__APPLE__)
95
	adr	r6,.LM0ISR
96
#else
97
	add	r6,r6,#.LM0ISR-_bsaes_decrypt8
98
#endif
99

100
	vldmia	r6!, {q8}		@ .LM0ISR
101
	veor	q10, q0, q9	@ xor with round0 key
102
	veor	q11, q1, q9
103
	vtbl.8	d0, {q10}, d16
104
	vtbl.8	d1, {q10}, d17
105
	veor	q12, q2, q9
106
	vtbl.8	d2, {q11}, d16
107
	vtbl.8	d3, {q11}, d17
108
	veor	q13, q3, q9
109
	vtbl.8	d4, {q12}, d16
110
	vtbl.8	d5, {q12}, d17
111
	veor	q14, q4, q9
112
	vtbl.8	d6, {q13}, d16
113
	vtbl.8	d7, {q13}, d17
114
	veor	q15, q5, q9
115
	vtbl.8	d8, {q14}, d16
116
	vtbl.8	d9, {q14}, d17
117
	veor	q10, q6, q9
118
	vtbl.8	d10, {q15}, d16
119
	vtbl.8	d11, {q15}, d17
120
	veor	q11, q7, q9
121
	vtbl.8	d12, {q10}, d16
122
	vtbl.8	d13, {q10}, d17
123
	vtbl.8	d14, {q11}, d16
124
	vtbl.8	d15, {q11}, d17
125
	vmov.i8	q8,#0x55			@ compose .LBS0
126
	vmov.i8	q9,#0x33			@ compose .LBS1
127
	vshr.u64	q10, q6, #1
128
	vshr.u64	q11, q4, #1
129
	veor	q10, q10, q7
130
	veor	q11, q11, q5
131
	vand	q10, q10, q8
132
	vand	q11, q11, q8
133
	veor	q7, q7, q10
134
	vshl.u64	q10, q10, #1
135
	veor	q5, q5, q11
136
	vshl.u64	q11, q11, #1
137
	veor	q6, q6, q10
138
	veor	q4, q4, q11
139
	vshr.u64	q10, q2, #1
140
	vshr.u64	q11, q0, #1
141
	veor	q10, q10, q3
142
	veor	q11, q11, q1
143
	vand	q10, q10, q8
144
	vand	q11, q11, q8
145
	veor	q3, q3, q10
146
	vshl.u64	q10, q10, #1
147
	veor	q1, q1, q11
148
	vshl.u64	q11, q11, #1
149
	veor	q2, q2, q10
150
	veor	q0, q0, q11
151
	vmov.i8	q8,#0x0f			@ compose .LBS2
152
	vshr.u64	q10, q5, #2
153
	vshr.u64	q11, q4, #2
154
	veor	q10, q10, q7
155
	veor	q11, q11, q6
156
	vand	q10, q10, q9
157
	vand	q11, q11, q9
158
	veor	q7, q7, q10
159
	vshl.u64	q10, q10, #2
160
	veor	q6, q6, q11
161
	vshl.u64	q11, q11, #2
162
	veor	q5, q5, q10
163
	veor	q4, q4, q11
164
	vshr.u64	q10, q1, #2
165
	vshr.u64	q11, q0, #2
166
	veor	q10, q10, q3
167
	veor	q11, q11, q2
168
	vand	q10, q10, q9
169
	vand	q11, q11, q9
170
	veor	q3, q3, q10
171
	vshl.u64	q10, q10, #2
172
	veor	q2, q2, q11
173
	vshl.u64	q11, q11, #2
174
	veor	q1, q1, q10
175
	veor	q0, q0, q11
176
	vshr.u64	q10, q3, #4
177
	vshr.u64	q11, q2, #4
178
	veor	q10, q10, q7
179
	veor	q11, q11, q6
180
	vand	q10, q10, q8
181
	vand	q11, q11, q8
182
	veor	q7, q7, q10
183
	vshl.u64	q10, q10, #4
184
	veor	q6, q6, q11
185
	vshl.u64	q11, q11, #4
186
	veor	q3, q3, q10
187
	veor	q2, q2, q11
188
	vshr.u64	q10, q1, #4
189
	vshr.u64	q11, q0, #4
190
	veor	q10, q10, q5
191
	veor	q11, q11, q4
192
	vand	q10, q10, q8
193
	vand	q11, q11, q8
194
	veor	q5, q5, q10
195
	vshl.u64	q10, q10, #4
196
	veor	q4, q4, q11
197
	vshl.u64	q11, q11, #4
198
	veor	q1, q1, q10
199
	veor	q0, q0, q11
200
	sub	r5,r5,#1
201
	b	.Ldec_sbox
202
.align	4
203
.Ldec_loop:
204
	vldmia	r4!, {q8,q9,q10,q11}
205
	veor	q8, q8, q0
206
	veor	q9, q9, q1
207
	vtbl.8	d0, {q8}, d24
208
	vtbl.8	d1, {q8}, d25
209
	vldmia	r4!, {q8}
210
	veor	q10, q10, q2
211
	vtbl.8	d2, {q9}, d24
212
	vtbl.8	d3, {q9}, d25
213
	vldmia	r4!, {q9}
214
	veor	q11, q11, q3
215
	vtbl.8	d4, {q10}, d24
216
	vtbl.8	d5, {q10}, d25
217
	vldmia	r4!, {q10}
218
	vtbl.8	d6, {q11}, d24
219
	vtbl.8	d7, {q11}, d25
220
	vldmia	r4!, {q11}
221
	veor	q8, q8, q4
222
	veor	q9, q9, q5
223
	vtbl.8	d8, {q8}, d24
224
	vtbl.8	d9, {q8}, d25
225
	veor	q10, q10, q6
226
	vtbl.8	d10, {q9}, d24
227
	vtbl.8	d11, {q9}, d25
228
	veor	q11, q11, q7
229
	vtbl.8	d12, {q10}, d24
230
	vtbl.8	d13, {q10}, d25
231
	vtbl.8	d14, {q11}, d24
232
	vtbl.8	d15, {q11}, d25
233
.Ldec_sbox:
234
	veor	q1, q1, q4
235
	veor	q3, q3, q4
236

237
	veor	q4, q4, q7
238
	veor	q1, q1, q6
239
	veor	q2, q2, q7
240
	veor	q6, q6, q4
241

242
	veor	q0, q0, q1
243
	veor	q2, q2, q5
244
	veor	q7, q7, q6
245
	veor	q3, q3, q0
246
	veor	q5, q5, q0
247
	veor	q1, q1, q3
248
	veor	q11, q3, q0
249
	veor	q10, q7, q4
250
	veor	q9, q1, q6
251
	veor	q13, q4, q0
252
	vmov	q8, q10
253
	veor	q12, q5, q2
254

255
	vorr	q10, q10, q9
256
	veor	q15, q11, q8
257
	vand	q14, q11, q12
258
	vorr	q11, q11, q12
259
	veor	q12, q12, q9
260
	vand	q8, q8, q9
261
	veor	q9, q6, q2
262
	vand	q15, q15, q12
263
	vand	q13, q13, q9
264
	veor	q9, q3, q7
265
	veor	q12, q1, q5
266
	veor	q11, q11, q13
267
	veor	q10, q10, q13
268
	vand	q13, q9, q12
269
	vorr	q9, q9, q12
270
	veor	q11, q11, q15
271
	veor	q8, q8, q13
272
	veor	q10, q10, q14
273
	veor	q9, q9, q15
274
	veor	q8, q8, q14
275
	vand	q12, q4, q6
276
	veor	q9, q9, q14
277
	vand	q13, q0, q2
278
	vand	q14, q7, q1
279
	vorr	q15, q3, q5
280
	veor	q11, q11, q12
281
	veor	q9, q9, q14
282
	veor	q8, q8, q15
283
	veor	q10, q10, q13
284

285
	@ Inv_GF16 	0, 	1, 	2, 	3, s0, s1, s2, s3
286

287
	@ new smaller inversion
288

289
	vand	q14, q11, q9
290
	vmov	q12, q8
291

292
	veor	q13, q10, q14
293
	veor	q15, q8, q14
294
	veor	q14, q8, q14	@ q14=q15
295

296
	vbsl	q13, q9, q8
297
	vbsl	q15, q11, q10
298
	veor	q11, q11, q10
299

300
	vbsl	q12, q13, q14
301
	vbsl	q8, q14, q13
302

303
	vand	q14, q12, q15
304
	veor	q9, q9, q8
305

306
	veor	q14, q14, q11
307
	veor	q12, q5, q2
308
	veor	q8, q1, q6
309
	veor	q10, q15, q14
310
	vand	q10, q10, q5
311
	veor	q5, q5, q1
312
	vand	q11, q1, q15
313
	vand	q5, q5, q14
314
	veor	q1, q11, q10
315
	veor	q5, q5, q11
316
	veor	q15, q15, q13
317
	veor	q14, q14, q9
318
	veor	q11, q15, q14
319
	veor	q10, q13, q9
320
	vand	q11, q11, q12
321
	vand	q10, q10, q2
322
	veor	q12, q12, q8
323
	veor	q2, q2, q6
324
	vand	q8, q8, q15
325
	vand	q6, q6, q13
326
	vand	q12, q12, q14
327
	vand	q2, q2, q9
328
	veor	q8, q8, q12
329
	veor	q2, q2, q6
330
	veor	q12, q12, q11
331
	veor	q6, q6, q10
332
	veor	q5, q5, q12
333
	veor	q2, q2, q12
334
	veor	q1, q1, q8
335
	veor	q6, q6, q8
336

337
	veor	q12, q3, q0
338
	veor	q8, q7, q4
339
	veor	q11, q15, q14
340
	veor	q10, q13, q9
341
	vand	q11, q11, q12
342
	vand	q10, q10, q0
343
	veor	q12, q12, q8
344
	veor	q0, q0, q4
345
	vand	q8, q8, q15
346
	vand	q4, q4, q13
347
	vand	q12, q12, q14
348
	vand	q0, q0, q9
349
	veor	q8, q8, q12
350
	veor	q0, q0, q4
351
	veor	q12, q12, q11
352
	veor	q4, q4, q10
353
	veor	q15, q15, q13
354
	veor	q14, q14, q9
355
	veor	q10, q15, q14
356
	vand	q10, q10, q3
357
	veor	q3, q3, q7
358
	vand	q11, q7, q15
359
	vand	q3, q3, q14
360
	veor	q7, q11, q10
361
	veor	q3, q3, q11
362
	veor	q3, q3, q12
363
	veor	q0, q0, q12
364
	veor	q7, q7, q8
365
	veor	q4, q4, q8
366
	veor	q1, q1, q7
367
	veor	q6, q6, q5
368

369
	veor	q4, q4, q1
370
	veor	q2, q2, q7
371
	veor	q5, q5, q7
372
	veor	q4, q4, q2
373
	veor	q7, q7, q0
374
	veor	q4, q4, q5
375
	veor	q3, q3, q6
376
	veor	q6, q6, q1
377
	veor	q3, q3, q4
378

379
	veor	q4, q4, q0
380
	veor	q7, q7, q3
381
	subs	r5,r5,#1
382
	bcc	.Ldec_done
383
	@ multiplication by 0x05-0x00-0x04-0x00
384
	vext.8	q8, q0, q0, #8
385
	vext.8	q14, q3, q3, #8
386
	vext.8	q15, q5, q5, #8
387
	veor	q8, q8, q0
388
	vext.8	q9, q1, q1, #8
389
	veor	q14, q14, q3
390
	vext.8	q10, q6, q6, #8
391
	veor	q15, q15, q5
392
	vext.8	q11, q4, q4, #8
393
	veor	q9, q9, q1
394
	vext.8	q12, q2, q2, #8
395
	veor	q10, q10, q6
396
	vext.8	q13, q7, q7, #8
397
	veor	q11, q11, q4
398
	veor	q12, q12, q2
399
	veor	q13, q13, q7
400

401
	veor	q0, q0, q14
402
	veor	q1, q1, q14
403
	veor	q6, q6, q8
404
	veor	q2, q2, q10
405
	veor	q4, q4, q9
406
	veor	q1, q1, q15
407
	veor	q6, q6, q15
408
	veor	q2, q2, q14
409
	veor	q7, q7, q11
410
	veor	q4, q4, q14
411
	veor	q3, q3, q12
412
	veor	q2, q2, q15
413
	veor	q7, q7, q15
414
	veor	q5, q5, q13
415
	vext.8	q8, q0, q0, #12	@ x0 <<< 32
416
	vext.8	q9, q1, q1, #12
417
	veor	q0, q0, q8		@ x0 ^ (x0 <<< 32)
418
	vext.8	q10, q6, q6, #12
419
	veor	q1, q1, q9
420
	vext.8	q11, q4, q4, #12
421
	veor	q6, q6, q10
422
	vext.8	q12, q2, q2, #12
423
	veor	q4, q4, q11
424
	vext.8	q13, q7, q7, #12
425
	veor	q2, q2, q12
426
	vext.8	q14, q3, q3, #12
427
	veor	q7, q7, q13
428
	vext.8	q15, q5, q5, #12
429
	veor	q3, q3, q14
430

431
	veor	q9, q9, q0
432
	veor	q5, q5, q15
433
	vext.8	q0, q0, q0, #8		@ (x0 ^ (x0 <<< 32)) <<< 64)
434
	veor	q10, q10, q1
435
	veor	q8, q8, q5
436
	veor	q9, q9, q5
437
	vext.8	q1, q1, q1, #8
438
	veor	q13, q13, q2
439
	veor	q0, q0, q8
440
	veor	q14, q14, q7
441
	veor	q1, q1, q9
442
	vext.8	q8, q2, q2, #8
443
	veor	q12, q12, q4
444
	vext.8	q9, q7, q7, #8
445
	veor	q15, q15, q3
446
	vext.8	q2, q4, q4, #8
447
	veor	q11, q11, q6
448
	vext.8	q7, q5, q5, #8
449
	veor	q12, q12, q5
450
	vext.8	q4, q3, q3, #8
451
	veor	q11, q11, q5
452
	vext.8	q3, q6, q6, #8
453
	veor	q5, q9, q13
454
	veor	q11, q11, q2
455
	veor	q7, q7, q15
456
	veor	q6, q4, q14
457
	veor	q4, q8, q12
458
	veor	q2, q3, q10
459
	vmov	q3, q11
460
	 @ vmov	q5, q9
461
	vldmia	r6, {q12}		@ .LISR
462
	ite	eq				@ Thumb2 thing, sanity check in ARM
463
	addeq	r6,r6,#0x10
464
	bne	.Ldec_loop
465
	vldmia	r6, {q12}		@ .LISRM0
466
	b	.Ldec_loop
467
.align	4
468
.Ldec_done:
469
	vmov.i8	q8,#0x55			@ compose .LBS0
470
	vmov.i8	q9,#0x33			@ compose .LBS1
471
	vshr.u64	q10, q3, #1
472
	vshr.u64	q11, q2, #1
473
	veor	q10, q10, q5
474
	veor	q11, q11, q7
475
	vand	q10, q10, q8
476
	vand	q11, q11, q8
477
	veor	q5, q5, q10
478
	vshl.u64	q10, q10, #1
479
	veor	q7, q7, q11
480
	vshl.u64	q11, q11, #1
481
	veor	q3, q3, q10
482
	veor	q2, q2, q11
483
	vshr.u64	q10, q6, #1
484
	vshr.u64	q11, q0, #1
485
	veor	q10, q10, q4
486
	veor	q11, q11, q1
487
	vand	q10, q10, q8
488
	vand	q11, q11, q8
489
	veor	q4, q4, q10
490
	vshl.u64	q10, q10, #1
491
	veor	q1, q1, q11
492
	vshl.u64	q11, q11, #1
493
	veor	q6, q6, q10
494
	veor	q0, q0, q11
495
	vmov.i8	q8,#0x0f			@ compose .LBS2
496
	vshr.u64	q10, q7, #2
497
	vshr.u64	q11, q2, #2
498
	veor	q10, q10, q5
499
	veor	q11, q11, q3
500
	vand	q10, q10, q9
501
	vand	q11, q11, q9
502
	veor	q5, q5, q10
503
	vshl.u64	q10, q10, #2
504
	veor	q3, q3, q11
505
	vshl.u64	q11, q11, #2
506
	veor	q7, q7, q10
507
	veor	q2, q2, q11
508
	vshr.u64	q10, q1, #2
509
	vshr.u64	q11, q0, #2
510
	veor	q10, q10, q4
511
	veor	q11, q11, q6
512
	vand	q10, q10, q9
513
	vand	q11, q11, q9
514
	veor	q4, q4, q10
515
	vshl.u64	q10, q10, #2
516
	veor	q6, q6, q11
517
	vshl.u64	q11, q11, #2
518
	veor	q1, q1, q10
519
	veor	q0, q0, q11
520
	vshr.u64	q10, q4, #4
521
	vshr.u64	q11, q6, #4
522
	veor	q10, q10, q5
523
	veor	q11, q11, q3
524
	vand	q10, q10, q8
525
	vand	q11, q11, q8
526
	veor	q5, q5, q10
527
	vshl.u64	q10, q10, #4
528
	veor	q3, q3, q11
529
	vshl.u64	q11, q11, #4
530
	veor	q4, q4, q10
531
	veor	q6, q6, q11
532
	vshr.u64	q10, q1, #4
533
	vshr.u64	q11, q0, #4
534
	veor	q10, q10, q7
535
	veor	q11, q11, q2
536
	vand	q10, q10, q8
537
	vand	q11, q11, q8
538
	veor	q7, q7, q10
539
	vshl.u64	q10, q10, #4
540
	veor	q2, q2, q11
541
	vshl.u64	q11, q11, #4
542
	veor	q1, q1, q10
543
	veor	q0, q0, q11
544
	vldmia	r4, {q8}			@ last round key
545
	veor	q6, q6, q8
546
	veor	q4, q4, q8
547
	veor	q2, q2, q8
548
	veor	q7, q7, q8
549
	veor	q3, q3, q8
550
	veor	q5, q5, q8
551
	veor	q0, q0, q8
552
	veor	q1, q1, q8
553
	bx	lr
554
.size	_bsaes_decrypt8,.-_bsaes_decrypt8
555

556
.type	_bsaes_const,%object
557
.align	6
558
_bsaes_const:
559
.LM0ISR:@ InvShiftRows constants
560
.quad	0x0a0e0206070b0f03, 0x0004080c0d010509
561
.LISR:
562
.quad	0x0504070602010003, 0x0f0e0d0c080b0a09
563
.LISRM0:
564
.quad	0x01040b0e0205080f, 0x0306090c00070a0d
565
.LM0SR:@ ShiftRows constants
566
.quad	0x0a0e02060f03070b, 0x0004080c05090d01
567
.LSR:
568
.quad	0x0504070600030201, 0x0f0e0d0c0a09080b
569
.LSRM0:
570
.quad	0x0304090e00050a0f, 0x01060b0c0207080d
571
.LM0:
572
.quad	0x02060a0e03070b0f, 0x0004080c0105090d
573
.LREVM0SR:
574
.quad	0x090d01050c000408, 0x03070b0f060a0e02
575
.byte	66,105,116,45,115,108,105,99,101,100,32,65,69,83,32,102,111,114,32,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
576
.align	2
577
.align	6
578
.size	_bsaes_const,.-_bsaes_const
579

580
.type	_bsaes_encrypt8,%function
581
.align	4
582
_bsaes_encrypt8:
583
	adr	r6,.
584
	vldmia	r4!, {q9}		@ round 0 key
585
#if defined(__thumb2__) || defined(__APPLE__)
586
	adr	r6,.LM0SR
587
#else
588
	sub	r6,r6,#_bsaes_encrypt8-.LM0SR
589
#endif
590

591
	vldmia	r6!, {q8}		@ .LM0SR
592
_bsaes_encrypt8_alt:
593
	veor	q10, q0, q9	@ xor with round0 key
594
	veor	q11, q1, q9
595
	vtbl.8	d0, {q10}, d16
596
	vtbl.8	d1, {q10}, d17
597
	veor	q12, q2, q9
598
	vtbl.8	d2, {q11}, d16
599
	vtbl.8	d3, {q11}, d17
600
	veor	q13, q3, q9
601
	vtbl.8	d4, {q12}, d16
602
	vtbl.8	d5, {q12}, d17
603
	veor	q14, q4, q9
604
	vtbl.8	d6, {q13}, d16
605
	vtbl.8	d7, {q13}, d17
606
	veor	q15, q5, q9
607
	vtbl.8	d8, {q14}, d16
608
	vtbl.8	d9, {q14}, d17
609
	veor	q10, q6, q9
610
	vtbl.8	d10, {q15}, d16
611
	vtbl.8	d11, {q15}, d17
612
	veor	q11, q7, q9
613
	vtbl.8	d12, {q10}, d16
614
	vtbl.8	d13, {q10}, d17
615
	vtbl.8	d14, {q11}, d16
616
	vtbl.8	d15, {q11}, d17
617
_bsaes_encrypt8_bitslice:
618
	vmov.i8	q8,#0x55			@ compose .LBS0
619
	vmov.i8	q9,#0x33			@ compose .LBS1
620
	vshr.u64	q10, q6, #1
621
	vshr.u64	q11, q4, #1
622
	veor	q10, q10, q7
623
	veor	q11, q11, q5
624
	vand	q10, q10, q8
625
	vand	q11, q11, q8
626
	veor	q7, q7, q10
627
	vshl.u64	q10, q10, #1
628
	veor	q5, q5, q11
629
	vshl.u64	q11, q11, #1
630
	veor	q6, q6, q10
631
	veor	q4, q4, q11
632
	vshr.u64	q10, q2, #1
633
	vshr.u64	q11, q0, #1
634
	veor	q10, q10, q3
635
	veor	q11, q11, q1
636
	vand	q10, q10, q8
637
	vand	q11, q11, q8
638
	veor	q3, q3, q10
639
	vshl.u64	q10, q10, #1
640
	veor	q1, q1, q11
641
	vshl.u64	q11, q11, #1
642
	veor	q2, q2, q10
643
	veor	q0, q0, q11
644
	vmov.i8	q8,#0x0f			@ compose .LBS2
645
	vshr.u64	q10, q5, #2
646
	vshr.u64	q11, q4, #2
647
	veor	q10, q10, q7
648
	veor	q11, q11, q6
649
	vand	q10, q10, q9
650
	vand	q11, q11, q9
651
	veor	q7, q7, q10
652
	vshl.u64	q10, q10, #2
653
	veor	q6, q6, q11
654
	vshl.u64	q11, q11, #2
655
	veor	q5, q5, q10
656
	veor	q4, q4, q11
657
	vshr.u64	q10, q1, #2
658
	vshr.u64	q11, q0, #2
659
	veor	q10, q10, q3
660
	veor	q11, q11, q2
661
	vand	q10, q10, q9
662
	vand	q11, q11, q9
663
	veor	q3, q3, q10
664
	vshl.u64	q10, q10, #2
665
	veor	q2, q2, q11
666
	vshl.u64	q11, q11, #2
667
	veor	q1, q1, q10
668
	veor	q0, q0, q11
669
	vshr.u64	q10, q3, #4
670
	vshr.u64	q11, q2, #4
671
	veor	q10, q10, q7
672
	veor	q11, q11, q6
673
	vand	q10, q10, q8
674
	vand	q11, q11, q8
675
	veor	q7, q7, q10
676
	vshl.u64	q10, q10, #4
677
	veor	q6, q6, q11
678
	vshl.u64	q11, q11, #4
679
	veor	q3, q3, q10
680
	veor	q2, q2, q11
681
	vshr.u64	q10, q1, #4
682
	vshr.u64	q11, q0, #4
683
	veor	q10, q10, q5
684
	veor	q11, q11, q4
685
	vand	q10, q10, q8
686
	vand	q11, q11, q8
687
	veor	q5, q5, q10
688
	vshl.u64	q10, q10, #4
689
	veor	q4, q4, q11
690
	vshl.u64	q11, q11, #4
691
	veor	q1, q1, q10
692
	veor	q0, q0, q11
693
	sub	r5,r5,#1
694
	b	.Lenc_sbox
695
.align	4
696
.Lenc_loop:
697
	vldmia	r4!, {q8,q9,q10,q11}
698
	veor	q8, q8, q0
699
	veor	q9, q9, q1
700
	vtbl.8	d0, {q8}, d24
701
	vtbl.8	d1, {q8}, d25
702
	vldmia	r4!, {q8}
703
	veor	q10, q10, q2
704
	vtbl.8	d2, {q9}, d24
705
	vtbl.8	d3, {q9}, d25
706
	vldmia	r4!, {q9}
707
	veor	q11, q11, q3
708
	vtbl.8	d4, {q10}, d24
709
	vtbl.8	d5, {q10}, d25
710
	vldmia	r4!, {q10}
711
	vtbl.8	d6, {q11}, d24
712
	vtbl.8	d7, {q11}, d25
713
	vldmia	r4!, {q11}
714
	veor	q8, q8, q4
715
	veor	q9, q9, q5
716
	vtbl.8	d8, {q8}, d24
717
	vtbl.8	d9, {q8}, d25
718
	veor	q10, q10, q6
719
	vtbl.8	d10, {q9}, d24
720
	vtbl.8	d11, {q9}, d25
721
	veor	q11, q11, q7
722
	vtbl.8	d12, {q10}, d24
723
	vtbl.8	d13, {q10}, d25
724
	vtbl.8	d14, {q11}, d24
725
	vtbl.8	d15, {q11}, d25
726
.Lenc_sbox:
727
	veor	q2, q2, q1
728
	veor	q5, q5, q6
729
	veor	q3, q3, q0
730
	veor	q6, q6, q2
731
	veor	q5, q5, q0
732

733
	veor	q6, q6, q3
734
	veor	q3, q3, q7
735
	veor	q7, q7, q5
736
	veor	q3, q3, q4
737
	veor	q4, q4, q5
738

739
	veor	q2, q2, q7
740
	veor	q3, q3, q1
741
	veor	q1, q1, q5
742
	veor	q11, q7, q4
743
	veor	q10, q1, q2
744
	veor	q9, q5, q3
745
	veor	q13, q2, q4
746
	vmov	q8, q10
747
	veor	q12, q6, q0
748

749
	vorr	q10, q10, q9
750
	veor	q15, q11, q8
751
	vand	q14, q11, q12
752
	vorr	q11, q11, q12
753
	veor	q12, q12, q9
754
	vand	q8, q8, q9
755
	veor	q9, q3, q0
756
	vand	q15, q15, q12
757
	vand	q13, q13, q9
758
	veor	q9, q7, q1
759
	veor	q12, q5, q6
760
	veor	q11, q11, q13
761
	veor	q10, q10, q13
762
	vand	q13, q9, q12
763
	vorr	q9, q9, q12
764
	veor	q11, q11, q15
765
	veor	q8, q8, q13
766
	veor	q10, q10, q14
767
	veor	q9, q9, q15
768
	veor	q8, q8, q14
769
	vand	q12, q2, q3
770
	veor	q9, q9, q14
771
	vand	q13, q4, q0
772
	vand	q14, q1, q5
773
	vorr	q15, q7, q6
774
	veor	q11, q11, q12
775
	veor	q9, q9, q14
776
	veor	q8, q8, q15
777
	veor	q10, q10, q13
778

779
	@ Inv_GF16 	0, 	1, 	2, 	3, s0, s1, s2, s3
780

781
	@ new smaller inversion
782

783
	vand	q14, q11, q9
784
	vmov	q12, q8
785

786
	veor	q13, q10, q14
787
	veor	q15, q8, q14
788
	veor	q14, q8, q14	@ q14=q15
789

790
	vbsl	q13, q9, q8
791
	vbsl	q15, q11, q10
792
	veor	q11, q11, q10
793

794
	vbsl	q12, q13, q14
795
	vbsl	q8, q14, q13
796

797
	vand	q14, q12, q15
798
	veor	q9, q9, q8
799

800
	veor	q14, q14, q11
801
	veor	q12, q6, q0
802
	veor	q8, q5, q3
803
	veor	q10, q15, q14
804
	vand	q10, q10, q6
805
	veor	q6, q6, q5
806
	vand	q11, q5, q15
807
	vand	q6, q6, q14
808
	veor	q5, q11, q10
809
	veor	q6, q6, q11
810
	veor	q15, q15, q13
811
	veor	q14, q14, q9
812
	veor	q11, q15, q14
813
	veor	q10, q13, q9
814
	vand	q11, q11, q12
815
	vand	q10, q10, q0
816
	veor	q12, q12, q8
817
	veor	q0, q0, q3
818
	vand	q8, q8, q15
819
	vand	q3, q3, q13
820
	vand	q12, q12, q14
821
	vand	q0, q0, q9
822
	veor	q8, q8, q12
823
	veor	q0, q0, q3
824
	veor	q12, q12, q11
825
	veor	q3, q3, q10
826
	veor	q6, q6, q12
827
	veor	q0, q0, q12
828
	veor	q5, q5, q8
829
	veor	q3, q3, q8
830

831
	veor	q12, q7, q4
832
	veor	q8, q1, q2
833
	veor	q11, q15, q14
834
	veor	q10, q13, q9
835
	vand	q11, q11, q12
836
	vand	q10, q10, q4
837
	veor	q12, q12, q8
838
	veor	q4, q4, q2
839
	vand	q8, q8, q15
840
	vand	q2, q2, q13
841
	vand	q12, q12, q14
842
	vand	q4, q4, q9
843
	veor	q8, q8, q12
844
	veor	q4, q4, q2
845
	veor	q12, q12, q11
846
	veor	q2, q2, q10
847
	veor	q15, q15, q13
848
	veor	q14, q14, q9
849
	veor	q10, q15, q14
850
	vand	q10, q10, q7
851
	veor	q7, q7, q1
852
	vand	q11, q1, q15
853
	vand	q7, q7, q14
854
	veor	q1, q11, q10
855
	veor	q7, q7, q11
856
	veor	q7, q7, q12
857
	veor	q4, q4, q12
858
	veor	q1, q1, q8
859
	veor	q2, q2, q8
860
	veor	q7, q7, q0
861
	veor	q1, q1, q6
862
	veor	q6, q6, q0
863
	veor	q4, q4, q7
864
	veor	q0, q0, q1
865

866
	veor	q1, q1, q5
867
	veor	q5, q5, q2
868
	veor	q2, q2, q3
869
	veor	q3, q3, q5
870
	veor	q4, q4, q5
871

872
	veor	q6, q6, q3
873
	subs	r5,r5,#1
874
	bcc	.Lenc_done
875
	vext.8	q8, q0, q0, #12	@ x0 <<< 32
876
	vext.8	q9, q1, q1, #12
877
	veor	q0, q0, q8		@ x0 ^ (x0 <<< 32)
878
	vext.8	q10, q4, q4, #12
879
	veor	q1, q1, q9
880
	vext.8	q11, q6, q6, #12
881
	veor	q4, q4, q10
882
	vext.8	q12, q3, q3, #12
883
	veor	q6, q6, q11
884
	vext.8	q13, q7, q7, #12
885
	veor	q3, q3, q12
886
	vext.8	q14, q2, q2, #12
887
	veor	q7, q7, q13
888
	vext.8	q15, q5, q5, #12
889
	veor	q2, q2, q14
890

891
	veor	q9, q9, q0
892
	veor	q5, q5, q15
893
	vext.8	q0, q0, q0, #8		@ (x0 ^ (x0 <<< 32)) <<< 64)
894
	veor	q10, q10, q1
895
	veor	q8, q8, q5
896
	veor	q9, q9, q5
897
	vext.8	q1, q1, q1, #8
898
	veor	q13, q13, q3
899
	veor	q0, q0, q8
900
	veor	q14, q14, q7
901
	veor	q1, q1, q9
902
	vext.8	q8, q3, q3, #8
903
	veor	q12, q12, q6
904
	vext.8	q9, q7, q7, #8
905
	veor	q15, q15, q2
906
	vext.8	q3, q6, q6, #8
907
	veor	q11, q11, q4
908
	vext.8	q7, q5, q5, #8
909
	veor	q12, q12, q5
910
	vext.8	q6, q2, q2, #8
911
	veor	q11, q11, q5
912
	vext.8	q2, q4, q4, #8
913
	veor	q5, q9, q13
914
	veor	q4, q8, q12
915
	veor	q3, q3, q11
916
	veor	q7, q7, q15
917
	veor	q6, q6, q14
918
	 @ vmov	q4, q8
919
	veor	q2, q2, q10
920
	 @ vmov	q5, q9
921
	vldmia	r6, {q12}		@ .LSR
922
	ite	eq				@ Thumb2 thing, samity check in ARM
923
	addeq	r6,r6,#0x10
924
	bne	.Lenc_loop
925
	vldmia	r6, {q12}		@ .LSRM0
926
	b	.Lenc_loop
927
.align	4
928
.Lenc_done:
929
	vmov.i8	q8,#0x55			@ compose .LBS0
930
	vmov.i8	q9,#0x33			@ compose .LBS1
931
	vshr.u64	q10, q2, #1
932
	vshr.u64	q11, q3, #1
933
	veor	q10, q10, q5
934
	veor	q11, q11, q7
935
	vand	q10, q10, q8
936
	vand	q11, q11, q8
937
	veor	q5, q5, q10
938
	vshl.u64	q10, q10, #1
939
	veor	q7, q7, q11
940
	vshl.u64	q11, q11, #1
941
	veor	q2, q2, q10
942
	veor	q3, q3, q11
943
	vshr.u64	q10, q4, #1
944
	vshr.u64	q11, q0, #1
945
	veor	q10, q10, q6
946
	veor	q11, q11, q1
947
	vand	q10, q10, q8
948
	vand	q11, q11, q8
949
	veor	q6, q6, q10
950
	vshl.u64	q10, q10, #1
951
	veor	q1, q1, q11
952
	vshl.u64	q11, q11, #1
953
	veor	q4, q4, q10
954
	veor	q0, q0, q11
955
	vmov.i8	q8,#0x0f			@ compose .LBS2
956
	vshr.u64	q10, q7, #2
957
	vshr.u64	q11, q3, #2
958
	veor	q10, q10, q5
959
	veor	q11, q11, q2
960
	vand	q10, q10, q9
961
	vand	q11, q11, q9
962
	veor	q5, q5, q10
963
	vshl.u64	q10, q10, #2
964
	veor	q2, q2, q11
965
	vshl.u64	q11, q11, #2
966
	veor	q7, q7, q10
967
	veor	q3, q3, q11
968
	vshr.u64	q10, q1, #2
969
	vshr.u64	q11, q0, #2
970
	veor	q10, q10, q6
971
	veor	q11, q11, q4
972
	vand	q10, q10, q9
973
	vand	q11, q11, q9
974
	veor	q6, q6, q10
975
	vshl.u64	q10, q10, #2
976
	veor	q4, q4, q11
977
	vshl.u64	q11, q11, #2
978
	veor	q1, q1, q10
979
	veor	q0, q0, q11
980
	vshr.u64	q10, q6, #4
981
	vshr.u64	q11, q4, #4
982
	veor	q10, q10, q5
983
	veor	q11, q11, q2
984
	vand	q10, q10, q8
985
	vand	q11, q11, q8
986
	veor	q5, q5, q10
987
	vshl.u64	q10, q10, #4
988
	veor	q2, q2, q11
989
	vshl.u64	q11, q11, #4
990
	veor	q6, q6, q10
991
	veor	q4, q4, q11
992
	vshr.u64	q10, q1, #4
993
	vshr.u64	q11, q0, #4
994
	veor	q10, q10, q7
995
	veor	q11, q11, q3
996
	vand	q10, q10, q8
997
	vand	q11, q11, q8
998
	veor	q7, q7, q10
999
	vshl.u64	q10, q10, #4
1000
	veor	q3, q3, q11
1001
	vshl.u64	q11, q11, #4
1002
	veor	q1, q1, q10
1003
	veor	q0, q0, q11
1004
	vldmia	r4, {q8}			@ last round key
1005
	veor	q4, q4, q8
1006
	veor	q6, q6, q8
1007
	veor	q3, q3, q8
1008
	veor	q7, q7, q8
1009
	veor	q2, q2, q8
1010
	veor	q5, q5, q8
1011
	veor	q0, q0, q8
1012
	veor	q1, q1, q8
1013
	bx	lr
1014
.size	_bsaes_encrypt8,.-_bsaes_encrypt8
1015
.type	_bsaes_key_convert,%function
1016
.align	4
1017
_bsaes_key_convert:
1018
	adr	r6,.
1019
	vld1.8	{q7},  [r4]!		@ load round 0 key
1020
#if defined(__thumb2__) || defined(__APPLE__)
1021
	adr	r6,.LM0
1022
#else
1023
	sub	r6,r6,#_bsaes_key_convert-.LM0
1024
#endif
1025
	vld1.8	{q15}, [r4]!		@ load round 1 key
1026

1027
	vmov.i8	q8,  #0x01			@ bit masks
1028
	vmov.i8	q9,  #0x02
1029
	vmov.i8	q10, #0x04
1030
	vmov.i8	q11, #0x08
1031
	vmov.i8	q12, #0x10
1032
	vmov.i8	q13, #0x20
1033
	vldmia	r6, {q14}		@ .LM0
1034

1035
#ifdef __ARMEL__
1036
	vrev32.8	q7,  q7
1037
	vrev32.8	q15, q15
1038
#endif
1039
	sub	r5,r5,#1
1040
	vstmia	r12!, {q7}		@ save round 0 key
1041
	b	.Lkey_loop
1042

1043
.align	4
1044
.Lkey_loop:
1045
	vtbl.8	d14,{q15},d28
1046
	vtbl.8	d15,{q15},d29
1047
	vmov.i8	q6,  #0x40
1048
	vmov.i8	q15, #0x80
1049

1050
	vtst.8	q0, q7, q8
1051
	vtst.8	q1, q7, q9
1052
	vtst.8	q2, q7, q10
1053
	vtst.8	q3, q7, q11
1054
	vtst.8	q4, q7, q12
1055
	vtst.8	q5, q7, q13
1056
	vtst.8	q6, q7, q6
1057
	vtst.8	q7, q7, q15
1058
	vld1.8	{q15}, [r4]!		@ load next round key
1059
	vmvn	q0, q0		@ "pnot"
1060
	vmvn	q1, q1
1061
	vmvn	q5, q5
1062
	vmvn	q6, q6
1063
#ifdef __ARMEL__
1064
	vrev32.8	q15, q15
1065
#endif
1066
	subs	r5,r5,#1
1067
	vstmia	r12!,{q0,q1,q2,q3,q4,q5,q6,q7}		@ write bit-sliced round key
1068
	bne	.Lkey_loop
1069

1070
	vmov.i8	q7,#0x63			@ compose .L63
1071
	@ don't save last round key
1072
	bx	lr
1073
.size	_bsaes_key_convert,.-_bsaes_key_convert
1074

1075

1076

1077
.globl	ossl_bsaes_cbc_encrypt
1078
.type	ossl_bsaes_cbc_encrypt,%function
1079
.align	5
1080
ossl_bsaes_cbc_encrypt:
1081
#ifndef	__KERNEL__
1082
	cmp	r2, #128
1083
#ifndef	__thumb__
1084
	blo	AES_cbc_encrypt
1085
#else
1086
	bhs	.Lcbc_do_bsaes
1087
	b	AES_cbc_encrypt
1088
.Lcbc_do_bsaes:
1089
#endif
1090
#endif
1091

1092
	@ it is up to the caller to make sure we are called with enc == 0
1093

1094
	mov	ip, sp
1095
	stmdb	sp!, {r4,r5,r6,r7,r8,r9,r10, lr}
1096
	VFP_ABI_PUSH
1097
	ldr	r8, [ip]			@ IV is 1st arg on the stack
1098
	mov	r2, r2, lsr#4		@ len in 16 byte blocks
1099
	sub	sp, #0x10			@ scratch space to carry over the IV
1100
	mov	r9, sp				@ save sp
1101

1102
	ldr	r10, [r3, #240]		@ get # of rounds
1103
#ifndef	BSAES_ASM_EXTENDED_KEY
1104
	@ allocate the key schedule on the stack
1105
	sub	r12, sp, r10, lsl#7		@ 128 bytes per inner round key
1106
	add	r12, #96			@ sifze of bit-slices key schedule
1107

1108
	@ populate the key schedule
1109
	mov	r4, r3			@ pass key
1110
	mov	r5, r10			@ pass # of rounds
1111
	mov	sp, r12				@ sp is sp
1112
	bl	_bsaes_key_convert
1113
	vldmia	sp, {q6}
1114
	vstmia	r12,  {q15}		@ save last round key
1115
	veor	q7, q7, q6	@ fix up round 0 key
1116
	vstmia	sp, {q7}
1117
#else
1118
	ldr	r12, [r3, #244]
1119
	eors	r12, #1
1120
	beq	0f
1121

1122
	@ populate the key schedule
1123
	str	r12, [r3, #244]
1124
	mov	r4, r3			@ pass key
1125
	mov	r5, r10			@ pass # of rounds
1126
	add	r12, r3, #248			@ pass key schedule
1127
	bl	_bsaes_key_convert
1128
	add	r4, r3, #248
1129
	vldmia	r4, {q6}
1130
	vstmia	r12, {q15}			@ save last round key
1131
	veor	q7, q7, q6	@ fix up round 0 key
1132
	vstmia	r4, {q7}
1133

1134
.align	2
1135
0:
1136
#endif
1137

1138
	vld1.8	{q15}, [r8]		@ load IV
1139
	b	.Lcbc_dec_loop
1140

1141
.align	4
1142
.Lcbc_dec_loop:
1143
	subs	r2, r2, #0x8
1144
	bmi	.Lcbc_dec_loop_finish
1145

1146
	vld1.8	{q0,q1}, [r0]!	@ load input
1147
	vld1.8	{q2,q3}, [r0]!
1148
#ifndef	BSAES_ASM_EXTENDED_KEY
1149
	mov	r4, sp			@ pass the key
1150
#else
1151
	add	r4, r3, #248
1152
#endif
1153
	vld1.8	{q4,q5}, [r0]!
1154
	mov	r5, r10
1155
	vld1.8	{q6,q7}, [r0]
1156
	sub	r0, r0, #0x60
1157
	vstmia	r9, {q15}			@ put aside IV
1158

1159
	bl	_bsaes_decrypt8
1160

1161
	vldmia	r9, {q14}			@ reload IV
1162
	vld1.8	{q8,q9}, [r0]!	@ reload input
1163
	veor	q0, q0, q14	@ ^= IV
1164
	vld1.8	{q10,q11}, [r0]!
1165
	veor	q1, q1, q8
1166
	veor	q6, q6, q9
1167
	vld1.8	{q12,q13}, [r0]!
1168
	veor	q4, q4, q10
1169
	veor	q2, q2, q11
1170
	vld1.8	{q14,q15}, [r0]!
1171
	veor	q7, q7, q12
1172
	vst1.8	{q0,q1}, [r1]!	@ write output
1173
	veor	q3, q3, q13
1174
	vst1.8	{q6}, [r1]!
1175
	veor	q5, q5, q14
1176
	vst1.8	{q4}, [r1]!
1177
	vst1.8	{q2}, [r1]!
1178
	vst1.8	{q7}, [r1]!
1179
	vst1.8	{q3}, [r1]!
1180
	vst1.8	{q5}, [r1]!
1181

1182
	b	.Lcbc_dec_loop
1183

1184
.Lcbc_dec_loop_finish:
1185
	adds	r2, r2, #8
1186
	beq	.Lcbc_dec_done
1187

1188
	vld1.8	{q0}, [r0]!		@ load input
1189
	cmp	r2, #2
1190
	blo	.Lcbc_dec_one
1191
	vld1.8	{q1}, [r0]!
1192
#ifndef	BSAES_ASM_EXTENDED_KEY
1193
	mov	r4, sp			@ pass the key
1194
#else
1195
	add	r4, r3, #248
1196
#endif
1197
	mov	r5, r10
1198
	vstmia	r9, {q15}			@ put aside IV
1199
	beq	.Lcbc_dec_two
1200
	vld1.8	{q2}, [r0]!
1201
	cmp	r2, #4
1202
	blo	.Lcbc_dec_three
1203
	vld1.8	{q3}, [r0]!
1204
	beq	.Lcbc_dec_four
1205
	vld1.8	{q4}, [r0]!
1206
	cmp	r2, #6
1207
	blo	.Lcbc_dec_five
1208
	vld1.8	{q5}, [r0]!
1209
	beq	.Lcbc_dec_six
1210
	vld1.8	{q6}, [r0]!
1211
	sub	r0, r0, #0x70
1212

1213
	bl	_bsaes_decrypt8
1214

1215
	vldmia	r9, {q14}			@ reload IV
1216
	vld1.8	{q8,q9}, [r0]!	@ reload input
1217
	veor	q0, q0, q14	@ ^= IV
1218
	vld1.8	{q10,q11}, [r0]!
1219
	veor	q1, q1, q8
1220
	veor	q6, q6, q9
1221
	vld1.8	{q12,q13}, [r0]!
1222
	veor	q4, q4, q10
1223
	veor	q2, q2, q11
1224
	vld1.8	{q15}, [r0]!
1225
	veor	q7, q7, q12
1226
	vst1.8	{q0,q1}, [r1]!	@ write output
1227
	veor	q3, q3, q13
1228
	vst1.8	{q6}, [r1]!
1229
	vst1.8	{q4}, [r1]!
1230
	vst1.8	{q2}, [r1]!
1231
	vst1.8	{q7}, [r1]!
1232
	vst1.8	{q3}, [r1]!
1233
	b	.Lcbc_dec_done
1234
.align	4
1235
.Lcbc_dec_six:
1236
	sub	r0, r0, #0x60
1237
	bl	_bsaes_decrypt8
1238
	vldmia	r9,{q14}			@ reload IV
1239
	vld1.8	{q8,q9}, [r0]!	@ reload input
1240
	veor	q0, q0, q14	@ ^= IV
1241
	vld1.8	{q10,q11}, [r0]!
1242
	veor	q1, q1, q8
1243
	veor	q6, q6, q9
1244
	vld1.8	{q12}, [r0]!
1245
	veor	q4, q4, q10
1246
	veor	q2, q2, q11
1247
	vld1.8	{q15}, [r0]!
1248
	veor	q7, q7, q12
1249
	vst1.8	{q0,q1}, [r1]!	@ write output
1250
	vst1.8	{q6}, [r1]!
1251
	vst1.8	{q4}, [r1]!
1252
	vst1.8	{q2}, [r1]!
1253
	vst1.8	{q7}, [r1]!
1254
	b	.Lcbc_dec_done
1255
.align	4
1256
.Lcbc_dec_five:
1257
	sub	r0, r0, #0x50
1258
	bl	_bsaes_decrypt8
1259
	vldmia	r9, {q14}			@ reload IV
1260
	vld1.8	{q8,q9}, [r0]!	@ reload input
1261
	veor	q0, q0, q14	@ ^= IV
1262
	vld1.8	{q10,q11}, [r0]!
1263
	veor	q1, q1, q8
1264
	veor	q6, q6, q9
1265
	vld1.8	{q15}, [r0]!
1266
	veor	q4, q4, q10
1267
	vst1.8	{q0,q1}, [r1]!	@ write output
1268
	veor	q2, q2, q11
1269
	vst1.8	{q6}, [r1]!
1270
	vst1.8	{q4}, [r1]!
1271
	vst1.8	{q2}, [r1]!
1272
	b	.Lcbc_dec_done
1273
.align	4
1274
.Lcbc_dec_four:
1275
	sub	r0, r0, #0x40
1276
	bl	_bsaes_decrypt8
1277
	vldmia	r9, {q14}			@ reload IV
1278
	vld1.8	{q8,q9}, [r0]!	@ reload input
1279
	veor	q0, q0, q14	@ ^= IV
1280
	vld1.8	{q10}, [r0]!
1281
	veor	q1, q1, q8
1282
	veor	q6, q6, q9
1283
	vld1.8	{q15}, [r0]!
1284
	veor	q4, q4, q10
1285
	vst1.8	{q0,q1}, [r1]!	@ write output
1286
	vst1.8	{q6}, [r1]!
1287
	vst1.8	{q4}, [r1]!
1288
	b	.Lcbc_dec_done
1289
.align	4
1290
.Lcbc_dec_three:
1291
	sub	r0, r0, #0x30
1292
	bl	_bsaes_decrypt8
1293
	vldmia	r9, {q14}			@ reload IV
1294
	vld1.8	{q8,q9}, [r0]!	@ reload input
1295
	veor	q0, q0, q14	@ ^= IV
1296
	vld1.8	{q15}, [r0]!
1297
	veor	q1, q1, q8
1298
	veor	q6, q6, q9
1299
	vst1.8	{q0,q1}, [r1]!	@ write output
1300
	vst1.8	{q6}, [r1]!
1301
	b	.Lcbc_dec_done
1302
.align	4
1303
.Lcbc_dec_two:
1304
	sub	r0, r0, #0x20
1305
	bl	_bsaes_decrypt8
1306
	vldmia	r9, {q14}			@ reload IV
1307
	vld1.8	{q8}, [r0]!		@ reload input
1308
	veor	q0, q0, q14	@ ^= IV
1309
	vld1.8	{q15}, [r0]!		@ reload input
1310
	veor	q1, q1, q8
1311
	vst1.8	{q0,q1}, [r1]!	@ write output
1312
	b	.Lcbc_dec_done
1313
.align	4
1314
.Lcbc_dec_one:
1315
	sub	r0, r0, #0x10
1316
	mov	r10, r1			@ save original out pointer
1317
	mov	r1, r9			@ use the iv scratch space as out buffer
1318
	mov	r2, r3
1319
	vmov	q4,q15		@ just in case ensure that IV
1320
	vmov	q5,q0			@ and input are preserved
1321
	bl	AES_decrypt
1322
	vld1.8	{q0}, [r9]		@ load result
1323
	veor	q0, q0, q4	@ ^= IV
1324
	vmov	q15, q5		@ q5 holds input
1325
	vst1.8	{q0}, [r10]		@ write output
1326

1327
.Lcbc_dec_done:
1328
#ifndef	BSAES_ASM_EXTENDED_KEY
1329
	vmov.i32	q0, #0
1330
	vmov.i32	q1, #0
1331
.Lcbc_dec_bzero:@ wipe key schedule [if any]
1332
	vstmia	sp!, {q0,q1}
1333
	cmp	sp, r9
1334
	bne	.Lcbc_dec_bzero
1335
#endif
1336

1337
	mov	sp, r9
1338
	add	sp, #0x10			@ add sp,r9,#0x10 is no good for thumb
1339
	vst1.8	{q15}, [r8]		@ return IV
1340
	VFP_ABI_POP
1341
	ldmia	sp!, {r4,r5,r6,r7,r8,r9,r10, pc}
1342
.size	ossl_bsaes_cbc_encrypt,.-ossl_bsaes_cbc_encrypt
1343

1344
.globl	ossl_bsaes_ctr32_encrypt_blocks
1345
.type	ossl_bsaes_ctr32_encrypt_blocks,%function
1346
.align	5
1347
ossl_bsaes_ctr32_encrypt_blocks:
1348
	cmp	r2, #8			@ use plain AES for
1349
	blo	.Lctr_enc_short			@ small sizes
1350

1351
	mov	ip, sp
1352
	stmdb	sp!, {r4,r5,r6,r7,r8,r9,r10, lr}
1353
	VFP_ABI_PUSH
1354
	ldr	r8, [ip]			@ ctr is 1st arg on the stack
1355
	sub	sp, sp, #0x10			@ scratch space to carry over the ctr
1356
	mov	r9, sp				@ save sp
1357

1358
	ldr	r10, [r3, #240]		@ get # of rounds
1359
#ifndef	BSAES_ASM_EXTENDED_KEY
1360
	@ allocate the key schedule on the stack
1361
	sub	r12, sp, r10, lsl#7		@ 128 bytes per inner round key
1362
	add	r12, #96			@ size of bit-sliced key schedule
1363

1364
	@ populate the key schedule
1365
	mov	r4, r3			@ pass key
1366
	mov	r5, r10			@ pass # of rounds
1367
	mov	sp, r12				@ sp is sp
1368
	bl	_bsaes_key_convert
1369
	veor	q7,q7,q15	@ fix up last round key
1370
	vstmia	r12, {q7}			@ save last round key
1371

1372
	vld1.8	{q0}, [r8]		@ load counter
1373
#ifdef	__APPLE__
1374
	mov	r8, #:lower16:(.LREVM0SR-.LM0)
1375
	add	r8, r6, r8
1376
#else
1377
	add	r8, r6, #.LREVM0SR-.LM0	@ borrow r8
1378
#endif
1379
	vldmia	sp, {q4}		@ load round0 key
1380
#else
1381
	ldr	r12, [r3, #244]
1382
	eors	r12, #1
1383
	beq	0f
1384

1385
	@ populate the key schedule
1386
	str	r12, [r3, #244]
1387
	mov	r4, r3			@ pass key
1388
	mov	r5, r10			@ pass # of rounds
1389
	add	r12, r3, #248			@ pass key schedule
1390
	bl	_bsaes_key_convert
1391
	veor	q7,q7,q15	@ fix up last round key
1392
	vstmia	r12, {q7}			@ save last round key
1393

1394
.align	2
1395
0:	add	r12, r3, #248
1396
	vld1.8	{q0}, [r8]		@ load counter
1397
	add	r8, r6, #.LREVM0SR-.LM0	@ borrow r8
1398
	vldmia	r12, {q4}			@ load round0 key
1399
	sub	sp, #0x10			@ place for adjusted round0 key
1400
#endif
1401

1402
	vmov.i32	q8,#1		@ compose 1<<96
1403
	veor	q9,q9,q9
1404
	vrev32.8	q0,q0
1405
	vext.8	q8,q9,q8,#4
1406
	vrev32.8	q4,q4
1407
	vadd.u32	q9,q8,q8	@ compose 2<<96
1408
	vstmia	sp, {q4}		@ save adjusted round0 key
1409
	b	.Lctr_enc_loop
1410

1411
.align	4
1412
.Lctr_enc_loop:
1413
	vadd.u32	q10, q8, q9	@ compose 3<<96
1414
	vadd.u32	q1, q0, q8	@ +1
1415
	vadd.u32	q2, q0, q9	@ +2
1416
	vadd.u32	q3, q0, q10	@ +3
1417
	vadd.u32	q4, q1, q10
1418
	vadd.u32	q5, q2, q10
1419
	vadd.u32	q6, q3, q10
1420
	vadd.u32	q7, q4, q10
1421
	vadd.u32	q10, q5, q10	@ next counter
1422

1423
	@ Borrow prologue from _bsaes_encrypt8 to use the opportunity
1424
	@ to flip byte order in 32-bit counter
1425

1426
	vldmia	sp, {q9}		@ load round0 key
1427
#ifndef	BSAES_ASM_EXTENDED_KEY
1428
	add	r4, sp, #0x10		@ pass next round key
1429
#else
1430
	add	r4, r3, #264
1431
#endif
1432
	vldmia	r8, {q8}			@ .LREVM0SR
1433
	mov	r5, r10			@ pass rounds
1434
	vstmia	r9, {q10}			@ save next counter
1435
#ifdef	__APPLE__
1436
	mov	r6, #:lower16:(.LREVM0SR-.LSR)
1437
	sub	r6, r8, r6
1438
#else
1439
	sub	r6, r8, #.LREVM0SR-.LSR	@ pass constants
1440
#endif
1441

1442
	bl	_bsaes_encrypt8_alt
1443

1444
	subs	r2, r2, #8
1445
	blo	.Lctr_enc_loop_done
1446

1447
	vld1.8	{q8,q9}, [r0]!	@ load input
1448
	vld1.8	{q10,q11}, [r0]!
1449
	veor	q0, q8
1450
	veor	q1, q9
1451
	vld1.8	{q12,q13}, [r0]!
1452
	veor	q4, q10
1453
	veor	q6, q11
1454
	vld1.8	{q14,q15}, [r0]!
1455
	veor	q3, q12
1456
	vst1.8	{q0,q1}, [r1]!	@ write output
1457
	veor	q7, q13
1458
	veor	q2, q14
1459
	vst1.8	{q4}, [r1]!
1460
	veor	q5, q15
1461
	vst1.8	{q6}, [r1]!
1462
	vmov.i32	q8, #1			@ compose 1<<96
1463
	vst1.8	{q3}, [r1]!
1464
	veor	q9, q9, q9
1465
	vst1.8	{q7}, [r1]!
1466
	vext.8	q8, q9, q8, #4
1467
	vst1.8	{q2}, [r1]!
1468
	vadd.u32	q9,q8,q8		@ compose 2<<96
1469
	vst1.8	{q5}, [r1]!
1470
	vldmia	r9, {q0}			@ load counter
1471

1472
	bne	.Lctr_enc_loop
1473
	b	.Lctr_enc_done
1474

1475
.align	4
1476
.Lctr_enc_loop_done:
1477
	add	r2, r2, #8
1478
	vld1.8	{q8}, [r0]!	@ load input
1479
	veor	q0, q8
1480
	vst1.8	{q0}, [r1]!	@ write output
1481
	cmp	r2, #2
1482
	blo	.Lctr_enc_done
1483
	vld1.8	{q9}, [r0]!
1484
	veor	q1, q9
1485
	vst1.8	{q1}, [r1]!
1486
	beq	.Lctr_enc_done
1487
	vld1.8	{q10}, [r0]!
1488
	veor	q4, q10
1489
	vst1.8	{q4}, [r1]!
1490
	cmp	r2, #4
1491
	blo	.Lctr_enc_done
1492
	vld1.8	{q11}, [r0]!
1493
	veor	q6, q11
1494
	vst1.8	{q6}, [r1]!
1495
	beq	.Lctr_enc_done
1496
	vld1.8	{q12}, [r0]!
1497
	veor	q3, q12
1498
	vst1.8	{q3}, [r1]!
1499
	cmp	r2, #6
1500
	blo	.Lctr_enc_done
1501
	vld1.8	{q13}, [r0]!
1502
	veor	q7, q13
1503
	vst1.8	{q7}, [r1]!
1504
	beq	.Lctr_enc_done
1505
	vld1.8	{q14}, [r0]
1506
	veor	q2, q14
1507
	vst1.8	{q2}, [r1]!
1508

1509
.Lctr_enc_done:
1510
	vmov.i32	q0, #0
1511
	vmov.i32	q1, #0
1512
#ifndef	BSAES_ASM_EXTENDED_KEY
1513
.Lctr_enc_bzero:@ wipe key schedule [if any]
1514
	vstmia	sp!, {q0,q1}
1515
	cmp	sp, r9
1516
	bne	.Lctr_enc_bzero
1517
#else
1518
	vstmia	sp, {q0,q1}
1519
#endif
1520

1521
	mov	sp, r9
1522
	add	sp, #0x10		@ add sp,r9,#0x10 is no good for thumb
1523
	VFP_ABI_POP
1524
	ldmia	sp!, {r4,r5,r6,r7,r8,r9,r10, pc}	@ return
1525

1526
.align	4
1527
.Lctr_enc_short:
1528
	ldr	ip, [sp]		@ ctr pointer is passed on stack
1529
	stmdb	sp!, {r4,r5,r6,r7,r8, lr}
1530

1531
	mov	r4, r0		@ copy arguments
1532
	mov	r5, r1
1533
	mov	r6, r2
1534
	mov	r7, r3
1535
	ldr	r8, [ip, #12]		@ load counter .LSW
1536
	vld1.8	{q1}, [ip]		@ load whole counter value
1537
#ifdef __ARMEL__
1538
	rev	r8, r8
1539
#endif
1540
	sub	sp, sp, #0x10
1541
	vst1.8	{q1}, [sp]		@ copy counter value
1542
	sub	sp, sp, #0x10
1543

1544
.Lctr_enc_short_loop:
1545
	add	r0, sp, #0x10		@ input counter value
1546
	mov	r1, sp			@ output on the stack
1547
	mov	r2, r7			@ key
1548

1549
	bl	AES_encrypt
1550

1551
	vld1.8	{q0}, [r4]!	@ load input
1552
	vld1.8	{q1}, [sp]		@ load encrypted counter
1553
	add	r8, r8, #1
1554
#ifdef __ARMEL__
1555
	rev	r0, r8
1556
	str	r0, [sp, #0x1c]		@ next counter value
1557
#else
1558
	str	r8, [sp, #0x1c]		@ next counter value
1559
#endif
1560
	veor	q0,q0,q1
1561
	vst1.8	{q0}, [r5]!	@ store output
1562
	subs	r6, r6, #1
1563
	bne	.Lctr_enc_short_loop
1564

1565
	vmov.i32	q0, #0
1566
	vmov.i32	q1, #0
1567
	vstmia	sp!, {q0,q1}
1568

1569
	ldmia	sp!, {r4,r5,r6,r7,r8, pc}
1570
.size	ossl_bsaes_ctr32_encrypt_blocks,.-ossl_bsaes_ctr32_encrypt_blocks
1571
.globl	ossl_bsaes_xts_encrypt
1572
.type	ossl_bsaes_xts_encrypt,%function
1573
.align	4
1574
ossl_bsaes_xts_encrypt:
1575
	mov	ip, sp
1576
	stmdb	sp!, {r4,r5,r6,r7,r8,r9,r10, lr}		@ 0x20
1577
	VFP_ABI_PUSH
1578
	mov	r6, sp				@ future r3
1579

1580
	mov	r7, r0
1581
	mov	r8, r1
1582
	mov	r9, r2
1583
	mov	r10, r3
1584

1585
	sub	r0, sp, #0x10			@ 0x10
1586
	bic	r0, #0xf			@ align at 16 bytes
1587
	mov	sp, r0
1588

1589
#ifdef	XTS_CHAIN_TWEAK
1590
	ldr	r0, [ip]			@ pointer to input tweak
1591
#else
1592
	@ generate initial tweak
1593
	ldr	r0, [ip, #4]			@ iv[]
1594
	mov	r1, sp
1595
	ldr	r2, [ip, #0]			@ key2
1596
	bl	AES_encrypt
1597
	mov	r0,sp				@ pointer to initial tweak
1598
#endif
1599

1600
	ldr	r1, [r10, #240]		@ get # of rounds
1601
	mov	r3, r6
1602
#ifndef	BSAES_ASM_EXTENDED_KEY
1603
	@ allocate the key schedule on the stack
1604
	sub	r12, sp, r1, lsl#7		@ 128 bytes per inner round key
1605
	@ add	r12, #96			@ size of bit-sliced key schedule
1606
	sub	r12, #48			@ place for tweak[9]
1607

1608
	@ populate the key schedule
1609
	mov	r4, r10			@ pass key
1610
	mov	r5, r1			@ pass # of rounds
1611
	mov	sp, r12
1612
	add	r12, #0x90			@ pass key schedule
1613
	bl	_bsaes_key_convert
1614
	veor	q7, q7, q15	@ fix up last round key
1615
	vstmia	r12, {q7}			@ save last round key
1616
#else
1617
	ldr	r12, [r10, #244]
1618
	eors	r12, #1
1619
	beq	0f
1620

1621
	str	r12, [r10, #244]
1622
	mov	r4, r10			@ pass key
1623
	mov	r5, r1			@ pass # of rounds
1624
	add	r12, r10, #248			@ pass key schedule
1625
	bl	_bsaes_key_convert
1626
	veor	q7, q7, q15	@ fix up last round key
1627
	vstmia	r12, {q7}
1628

1629
.align	2
1630
0:	sub	sp, #0x90			@ place for tweak[9]
1631
#endif
1632

1633
	vld1.8	{q8}, [r0]			@ initial tweak
1634
	adr	r2, .Lxts_magic
1635

1636
	subs	r9, #0x80
1637
	blo	.Lxts_enc_short
1638
	b	.Lxts_enc_loop
1639

1640
.align	4
1641
.Lxts_enc_loop:
1642
	vldmia	r2, {q5}	@ load XTS magic
1643
	vshr.s64	q6, q8, #63
1644
	mov	r0, sp
1645
	vand	q6, q6, q5
1646
	vadd.u64	q9, q8, q8
1647
	vst1.64	{q8}, [r0,:128]!
1648
	vswp	d13,d12
1649
	vshr.s64	q7, q9, #63
1650
	veor	q9, q9, q6
1651
	vand	q7, q7, q5
1652
	vadd.u64	q10, q9, q9
1653
	vst1.64	{q9}, [r0,:128]!
1654
	vswp	d15,d14
1655
	vshr.s64	q6, q10, #63
1656
	veor	q10, q10, q7
1657
	vand	q6, q6, q5
1658
	vld1.8	{q0}, [r7]!
1659
	vadd.u64	q11, q10, q10
1660
	vst1.64	{q10}, [r0,:128]!
1661
	vswp	d13,d12
1662
	vshr.s64	q7, q11, #63
1663
	veor	q11, q11, q6
1664
	vand	q7, q7, q5
1665
	vld1.8	{q1}, [r7]!
1666
	veor	q0, q0, q8
1667
	vadd.u64	q12, q11, q11
1668
	vst1.64	{q11}, [r0,:128]!
1669
	vswp	d15,d14
1670
	vshr.s64	q6, q12, #63
1671
	veor	q12, q12, q7
1672
	vand	q6, q6, q5
1673
	vld1.8	{q2}, [r7]!
1674
	veor	q1, q1, q9
1675
	vadd.u64	q13, q12, q12
1676
	vst1.64	{q12}, [r0,:128]!
1677
	vswp	d13,d12
1678
	vshr.s64	q7, q13, #63
1679
	veor	q13, q13, q6
1680
	vand	q7, q7, q5
1681
	vld1.8	{q3}, [r7]!
1682
	veor	q2, q2, q10
1683
	vadd.u64	q14, q13, q13
1684
	vst1.64	{q13}, [r0,:128]!
1685
	vswp	d15,d14
1686
	vshr.s64	q6, q14, #63
1687
	veor	q14, q14, q7
1688
	vand	q6, q6, q5
1689
	vld1.8	{q4}, [r7]!
1690
	veor	q3, q3, q11
1691
	vadd.u64	q15, q14, q14
1692
	vst1.64	{q14}, [r0,:128]!
1693
	vswp	d13,d12
1694
	vshr.s64	q7, q15, #63
1695
	veor	q15, q15, q6
1696
	vand	q7, q7, q5
1697
	vld1.8	{q5}, [r7]!
1698
	veor	q4, q4, q12
1699
	vadd.u64	q8, q15, q15
1700
	vst1.64	{q15}, [r0,:128]!
1701
	vswp	d15,d14
1702
	veor	q8, q8, q7
1703
	vst1.64	{q8}, [r0,:128]		@ next round tweak
1704

1705
	vld1.8	{q6,q7}, [r7]!
1706
	veor	q5, q5, q13
1707
#ifndef	BSAES_ASM_EXTENDED_KEY
1708
	add	r4, sp, #0x90			@ pass key schedule
1709
#else
1710
	add	r4, r10, #248			@ pass key schedule
1711
#endif
1712
	veor	q6, q6, q14
1713
	mov	r5, r1			@ pass rounds
1714
	veor	q7, q7, q15
1715
	mov	r0, sp
1716

1717
	bl	_bsaes_encrypt8
1718

1719
	vld1.64	{q8,q9}, [r0,:128]!
1720
	vld1.64	{q10,q11}, [r0,:128]!
1721
	veor	q0, q0, q8
1722
	vld1.64	{q12,q13}, [r0,:128]!
1723
	veor	q1, q1, q9
1724
	veor	q8, q4, q10
1725
	vst1.8	{q0,q1}, [r8]!
1726
	veor	q9, q6, q11
1727
	vld1.64	{q14,q15}, [r0,:128]!
1728
	veor	q10, q3, q12
1729
	vst1.8	{q8,q9}, [r8]!
1730
	veor	q11, q7, q13
1731
	veor	q12, q2, q14
1732
	vst1.8	{q10,q11}, [r8]!
1733
	veor	q13, q5, q15
1734
	vst1.8	{q12,q13}, [r8]!
1735

1736
	vld1.64	{q8}, [r0,:128]		@ next round tweak
1737

1738
	subs	r9, #0x80
1739
	bpl	.Lxts_enc_loop
1740

1741
.Lxts_enc_short:
1742
	adds	r9, #0x70
1743
	bmi	.Lxts_enc_done
1744

1745
	vldmia	r2, {q5}	@ load XTS magic
1746
	vshr.s64	q7, q8, #63
1747
	mov	r0, sp
1748
	vand	q7, q7, q5
1749
	vadd.u64	q9, q8, q8
1750
	vst1.64	{q8}, [r0,:128]!
1751
	vswp	d15,d14
1752
	vshr.s64	q6, q9, #63
1753
	veor	q9, q9, q7
1754
	vand	q6, q6, q5
1755
	vadd.u64	q10, q9, q9
1756
	vst1.64	{q9}, [r0,:128]!
1757
	vswp	d13,d12
1758
	vshr.s64	q7, q10, #63
1759
	veor	q10, q10, q6
1760
	vand	q7, q7, q5
1761
	vld1.8	{q0}, [r7]!
1762
	subs	r9, #0x10
1763
	bmi	.Lxts_enc_1
1764
	vadd.u64	q11, q10, q10
1765
	vst1.64	{q10}, [r0,:128]!
1766
	vswp	d15,d14
1767
	vshr.s64	q6, q11, #63
1768
	veor	q11, q11, q7
1769
	vand	q6, q6, q5
1770
	vld1.8	{q1}, [r7]!
1771
	subs	r9, #0x10
1772
	bmi	.Lxts_enc_2
1773
	veor	q0, q0, q8
1774
	vadd.u64	q12, q11, q11
1775
	vst1.64	{q11}, [r0,:128]!
1776
	vswp	d13,d12
1777
	vshr.s64	q7, q12, #63
1778
	veor	q12, q12, q6
1779
	vand	q7, q7, q5
1780
	vld1.8	{q2}, [r7]!
1781
	subs	r9, #0x10
1782
	bmi	.Lxts_enc_3
1783
	veor	q1, q1, q9
1784
	vadd.u64	q13, q12, q12
1785
	vst1.64	{q12}, [r0,:128]!
1786
	vswp	d15,d14
1787
	vshr.s64	q6, q13, #63
1788
	veor	q13, q13, q7
1789
	vand	q6, q6, q5
1790
	vld1.8	{q3}, [r7]!
1791
	subs	r9, #0x10
1792
	bmi	.Lxts_enc_4
1793
	veor	q2, q2, q10
1794
	vadd.u64	q14, q13, q13
1795
	vst1.64	{q13}, [r0,:128]!
1796
	vswp	d13,d12
1797
	vshr.s64	q7, q14, #63
1798
	veor	q14, q14, q6
1799
	vand	q7, q7, q5
1800
	vld1.8	{q4}, [r7]!
1801
	subs	r9, #0x10
1802
	bmi	.Lxts_enc_5
1803
	veor	q3, q3, q11
1804
	vadd.u64	q15, q14, q14
1805
	vst1.64	{q14}, [r0,:128]!
1806
	vswp	d15,d14
1807
	vshr.s64	q6, q15, #63
1808
	veor	q15, q15, q7
1809
	vand	q6, q6, q5
1810
	vld1.8	{q5}, [r7]!
1811
	subs	r9, #0x10
1812
	bmi	.Lxts_enc_6
1813
	veor	q4, q4, q12
1814
	sub	r9, #0x10
1815
	vst1.64	{q15}, [r0,:128]		@ next round tweak
1816

1817
	vld1.8	{q6}, [r7]!
1818
	veor	q5, q5, q13
1819
#ifndef	BSAES_ASM_EXTENDED_KEY
1820
	add	r4, sp, #0x90			@ pass key schedule
1821
#else
1822
	add	r4, r10, #248			@ pass key schedule
1823
#endif
1824
	veor	q6, q6, q14
1825
	mov	r5, r1			@ pass rounds
1826
	mov	r0, sp
1827

1828
	bl	_bsaes_encrypt8
1829

1830
	vld1.64	{q8,q9}, [r0,:128]!
1831
	vld1.64	{q10,q11}, [r0,:128]!
1832
	veor	q0, q0, q8
1833
	vld1.64	{q12,q13}, [r0,:128]!
1834
	veor	q1, q1, q9
1835
	veor	q8, q4, q10
1836
	vst1.8	{q0,q1}, [r8]!
1837
	veor	q9, q6, q11
1838
	vld1.64	{q14}, [r0,:128]!
1839
	veor	q10, q3, q12
1840
	vst1.8	{q8,q9}, [r8]!
1841
	veor	q11, q7, q13
1842
	veor	q12, q2, q14
1843
	vst1.8	{q10,q11}, [r8]!
1844
	vst1.8	{q12}, [r8]!
1845

1846
	vld1.64	{q8}, [r0,:128]		@ next round tweak
1847
	b	.Lxts_enc_done
1848
.align	4
1849
.Lxts_enc_6:
1850
	veor	q4, q4, q12
1851
#ifndef	BSAES_ASM_EXTENDED_KEY
1852
	add	r4, sp, #0x90			@ pass key schedule
1853
#else
1854
	add	r4, r10, #248			@ pass key schedule
1855
#endif
1856
	veor	q5, q5, q13
1857
	mov	r5, r1			@ pass rounds
1858
	mov	r0, sp
1859

1860
	bl	_bsaes_encrypt8
1861

1862
	vld1.64	{q8,q9}, [r0,:128]!
1863
	vld1.64	{q10,q11}, [r0,:128]!
1864
	veor	q0, q0, q8
1865
	vld1.64	{q12,q13}, [r0,:128]!
1866
	veor	q1, q1, q9
1867
	veor	q8, q4, q10
1868
	vst1.8	{q0,q1}, [r8]!
1869
	veor	q9, q6, q11
1870
	veor	q10, q3, q12
1871
	vst1.8	{q8,q9}, [r8]!
1872
	veor	q11, q7, q13
1873
	vst1.8	{q10,q11}, [r8]!
1874

1875
	vld1.64	{q8}, [r0,:128]		@ next round tweak
1876
	b	.Lxts_enc_done
1877

1878
@ put this in range for both ARM and Thumb mode adr instructions
1879
.align	5
1880
.Lxts_magic:
1881
.quad	1, 0x87
1882

1883
.align	5
1884
.Lxts_enc_5:
1885
	veor	q3, q3, q11
1886
#ifndef	BSAES_ASM_EXTENDED_KEY
1887
	add	r4, sp, #0x90			@ pass key schedule
1888
#else
1889
	add	r4, r10, #248			@ pass key schedule
1890
#endif
1891
	veor	q4, q4, q12
1892
	mov	r5, r1			@ pass rounds
1893
	mov	r0, sp
1894

1895
	bl	_bsaes_encrypt8
1896

1897
	vld1.64	{q8,q9}, [r0,:128]!
1898
	vld1.64	{q10,q11}, [r0,:128]!
1899
	veor	q0, q0, q8
1900
	vld1.64	{q12}, [r0,:128]!
1901
	veor	q1, q1, q9
1902
	veor	q8, q4, q10
1903
	vst1.8	{q0,q1}, [r8]!
1904
	veor	q9, q6, q11
1905
	veor	q10, q3, q12
1906
	vst1.8	{q8,q9}, [r8]!
1907
	vst1.8	{q10}, [r8]!
1908

1909
	vld1.64	{q8}, [r0,:128]		@ next round tweak
1910
	b	.Lxts_enc_done
1911
.align	4
1912
.Lxts_enc_4:
1913
	veor	q2, q2, q10
1914
#ifndef	BSAES_ASM_EXTENDED_KEY
1915
	add	r4, sp, #0x90			@ pass key schedule
1916
#else
1917
	add	r4, r10, #248			@ pass key schedule
1918
#endif
1919
	veor	q3, q3, q11
1920
	mov	r5, r1			@ pass rounds
1921
	mov	r0, sp
1922

1923
	bl	_bsaes_encrypt8
1924

1925
	vld1.64	{q8,q9}, [r0,:128]!
1926
	vld1.64	{q10,q11}, [r0,:128]!
1927
	veor	q0, q0, q8
1928
	veor	q1, q1, q9
1929
	veor	q8, q4, q10
1930
	vst1.8	{q0,q1}, [r8]!
1931
	veor	q9, q6, q11
1932
	vst1.8	{q8,q9}, [r8]!
1933

1934
	vld1.64	{q8}, [r0,:128]		@ next round tweak
1935
	b	.Lxts_enc_done
1936
.align	4
1937
.Lxts_enc_3:
1938
	veor	q1, q1, q9
1939
#ifndef	BSAES_ASM_EXTENDED_KEY
1940
	add	r4, sp, #0x90			@ pass key schedule
1941
#else
1942
	add	r4, r10, #248			@ pass key schedule
1943
#endif
1944
	veor	q2, q2, q10
1945
	mov	r5, r1			@ pass rounds
1946
	mov	r0, sp
1947

1948
	bl	_bsaes_encrypt8
1949

1950
	vld1.64	{q8,q9}, [r0,:128]!
1951
	vld1.64	{q10}, [r0,:128]!
1952
	veor	q0, q0, q8
1953
	veor	q1, q1, q9
1954
	veor	q8, q4, q10
1955
	vst1.8	{q0,q1}, [r8]!
1956
	vst1.8	{q8}, [r8]!
1957

1958
	vld1.64	{q8}, [r0,:128]		@ next round tweak
1959
	b	.Lxts_enc_done
1960
.align	4
1961
.Lxts_enc_2:
1962
	veor	q0, q0, q8
1963
#ifndef	BSAES_ASM_EXTENDED_KEY
1964
	add	r4, sp, #0x90			@ pass key schedule
1965
#else
1966
	add	r4, r10, #248			@ pass key schedule
1967
#endif
1968
	veor	q1, q1, q9
1969
	mov	r5, r1			@ pass rounds
1970
	mov	r0, sp
1971

1972
	bl	_bsaes_encrypt8
1973

1974
	vld1.64	{q8,q9}, [r0,:128]!
1975
	veor	q0, q0, q8
1976
	veor	q1, q1, q9
1977
	vst1.8	{q0,q1}, [r8]!
1978

1979
	vld1.64	{q8}, [r0,:128]		@ next round tweak
1980
	b	.Lxts_enc_done
1981
.align	4
1982
.Lxts_enc_1:
1983
	mov	r0, sp
1984
	veor	q0, q0, q8
1985
	mov	r1, sp
1986
	vst1.8	{q0}, [sp,:128]
1987
	mov	r2, r10
1988
	mov	r4, r3				@ preserve fp
1989

1990
	bl	AES_encrypt
1991

1992
	vld1.8	{q0}, [sp,:128]
1993
	veor	q0, q0, q8
1994
	vst1.8	{q0}, [r8]!
1995
	mov	r3, r4
1996

1997
	vmov	q8, q9		@ next round tweak
1998

1999
.Lxts_enc_done:
2000
#ifndef	XTS_CHAIN_TWEAK
2001
	adds	r9, #0x10
2002
	beq	.Lxts_enc_ret
2003
	sub	r6, r8, #0x10
2004

2005
.Lxts_enc_steal:
2006
	ldrb	r0, [r7], #1
2007
	ldrb	r1, [r8, #-0x10]
2008
	strb	r0, [r8, #-0x10]
2009
	strb	r1, [r8], #1
2010

2011
	subs	r9, #1
2012
	bhi	.Lxts_enc_steal
2013

2014
	vld1.8	{q0}, [r6]
2015
	mov	r0, sp
2016
	veor	q0, q0, q8
2017
	mov	r1, sp
2018
	vst1.8	{q0}, [sp,:128]
2019
	mov	r2, r10
2020
	mov	r4, r3			@ preserve fp
2021

2022
	bl	AES_encrypt
2023

2024
	vld1.8	{q0}, [sp,:128]
2025
	veor	q0, q0, q8
2026
	vst1.8	{q0}, [r6]
2027
	mov	r3, r4
2028
#endif
2029

2030
.Lxts_enc_ret:
2031
	bic	r0, r3, #0xf
2032
	vmov.i32	q0, #0
2033
	vmov.i32	q1, #0
2034
#ifdef	XTS_CHAIN_TWEAK
2035
	ldr	r1, [r3, #0x20+VFP_ABI_FRAME]	@ chain tweak
2036
#endif
2037
.Lxts_enc_bzero:@ wipe key schedule [if any]
2038
	vstmia	sp!, {q0,q1}
2039
	cmp	sp, r0
2040
	bne	.Lxts_enc_bzero
2041

2042
	mov	sp, r3
2043
#ifdef	XTS_CHAIN_TWEAK
2044
	vst1.8	{q8}, [r1]
2045
#endif
2046
	VFP_ABI_POP
2047
	ldmia	sp!, {r4,r5,r6,r7,r8,r9,r10, pc}	@ return
2048

2049
.size	ossl_bsaes_xts_encrypt,.-ossl_bsaes_xts_encrypt
2050

2051
.globl	ossl_bsaes_xts_decrypt
2052
.type	ossl_bsaes_xts_decrypt,%function
2053
.align	4
2054
ossl_bsaes_xts_decrypt:
2055
	mov	ip, sp
2056
	stmdb	sp!, {r4,r5,r6,r7,r8,r9,r10, lr}		@ 0x20
2057
	VFP_ABI_PUSH
2058
	mov	r6, sp				@ future r3
2059

2060
	mov	r7, r0
2061
	mov	r8, r1
2062
	mov	r9, r2
2063
	mov	r10, r3
2064

2065
	sub	r0, sp, #0x10			@ 0x10
2066
	bic	r0, #0xf			@ align at 16 bytes
2067
	mov	sp, r0
2068

2069
#ifdef	XTS_CHAIN_TWEAK
2070
	ldr	r0, [ip]			@ pointer to input tweak
2071
#else
2072
	@ generate initial tweak
2073
	ldr	r0, [ip, #4]			@ iv[]
2074
	mov	r1, sp
2075
	ldr	r2, [ip, #0]			@ key2
2076
	bl	AES_encrypt
2077
	mov	r0, sp				@ pointer to initial tweak
2078
#endif
2079

2080
	ldr	r1, [r10, #240]		@ get # of rounds
2081
	mov	r3, r6
2082
#ifndef	BSAES_ASM_EXTENDED_KEY
2083
	@ allocate the key schedule on the stack
2084
	sub	r12, sp, r1, lsl#7		@ 128 bytes per inner round key
2085
	@ add	r12, #96			@ size of bit-sliced key schedule
2086
	sub	r12, #48			@ place for tweak[9]
2087

2088
	@ populate the key schedule
2089
	mov	r4, r10			@ pass key
2090
	mov	r5, r1			@ pass # of rounds
2091
	mov	sp, r12
2092
	add	r12, #0x90			@ pass key schedule
2093
	bl	_bsaes_key_convert
2094
	add	r4, sp, #0x90
2095
	vldmia	r4, {q6}
2096
	vstmia	r12,  {q15}		@ save last round key
2097
	veor	q7, q7, q6	@ fix up round 0 key
2098
	vstmia	r4, {q7}
2099
#else
2100
	ldr	r12, [r10, #244]
2101
	eors	r12, #1
2102
	beq	0f
2103

2104
	str	r12, [r10, #244]
2105
	mov	r4, r10			@ pass key
2106
	mov	r5, r1			@ pass # of rounds
2107
	add	r12, r10, #248			@ pass key schedule
2108
	bl	_bsaes_key_convert
2109
	add	r4, r10, #248
2110
	vldmia	r4, {q6}
2111
	vstmia	r12,  {q15}		@ save last round key
2112
	veor	q7, q7, q6	@ fix up round 0 key
2113
	vstmia	r4, {q7}
2114

2115
.align	2
2116
0:	sub	sp, #0x90			@ place for tweak[9]
2117
#endif
2118
	vld1.8	{q8}, [r0]			@ initial tweak
2119
	adr	r2, .Lxts_magic
2120

2121
#ifndef	XTS_CHAIN_TWEAK
2122
	tst	r9, #0xf			@ if not multiple of 16
2123
	it	ne				@ Thumb2 thing, sanity check in ARM
2124
	subne	r9, #0x10			@ subtract another 16 bytes
2125
#endif
2126
	subs	r9, #0x80
2127

2128
	blo	.Lxts_dec_short
2129
	b	.Lxts_dec_loop
2130

2131
.align	4
2132
.Lxts_dec_loop:
2133
	vldmia	r2, {q5}	@ load XTS magic
2134
	vshr.s64	q6, q8, #63
2135
	mov	r0, sp
2136
	vand	q6, q6, q5
2137
	vadd.u64	q9, q8, q8
2138
	vst1.64	{q8}, [r0,:128]!
2139
	vswp	d13,d12
2140
	vshr.s64	q7, q9, #63
2141
	veor	q9, q9, q6
2142
	vand	q7, q7, q5
2143
	vadd.u64	q10, q9, q9
2144
	vst1.64	{q9}, [r0,:128]!
2145
	vswp	d15,d14
2146
	vshr.s64	q6, q10, #63
2147
	veor	q10, q10, q7
2148
	vand	q6, q6, q5
2149
	vld1.8	{q0}, [r7]!
2150
	vadd.u64	q11, q10, q10
2151
	vst1.64	{q10}, [r0,:128]!
2152
	vswp	d13,d12
2153
	vshr.s64	q7, q11, #63
2154
	veor	q11, q11, q6
2155
	vand	q7, q7, q5
2156
	vld1.8	{q1}, [r7]!
2157
	veor	q0, q0, q8
2158
	vadd.u64	q12, q11, q11
2159
	vst1.64	{q11}, [r0,:128]!
2160
	vswp	d15,d14
2161
	vshr.s64	q6, q12, #63
2162
	veor	q12, q12, q7
2163
	vand	q6, q6, q5
2164
	vld1.8	{q2}, [r7]!
2165
	veor	q1, q1, q9
2166
	vadd.u64	q13, q12, q12
2167
	vst1.64	{q12}, [r0,:128]!
2168
	vswp	d13,d12
2169
	vshr.s64	q7, q13, #63
2170
	veor	q13, q13, q6
2171
	vand	q7, q7, q5
2172
	vld1.8	{q3}, [r7]!
2173
	veor	q2, q2, q10
2174
	vadd.u64	q14, q13, q13
2175
	vst1.64	{q13}, [r0,:128]!
2176
	vswp	d15,d14
2177
	vshr.s64	q6, q14, #63
2178
	veor	q14, q14, q7
2179
	vand	q6, q6, q5
2180
	vld1.8	{q4}, [r7]!
2181
	veor	q3, q3, q11
2182
	vadd.u64	q15, q14, q14
2183
	vst1.64	{q14}, [r0,:128]!
2184
	vswp	d13,d12
2185
	vshr.s64	q7, q15, #63
2186
	veor	q15, q15, q6
2187
	vand	q7, q7, q5
2188
	vld1.8	{q5}, [r7]!
2189
	veor	q4, q4, q12
2190
	vadd.u64	q8, q15, q15
2191
	vst1.64	{q15}, [r0,:128]!
2192
	vswp	d15,d14
2193
	veor	q8, q8, q7
2194
	vst1.64	{q8}, [r0,:128]		@ next round tweak
2195

2196
	vld1.8	{q6,q7}, [r7]!
2197
	veor	q5, q5, q13
2198
#ifndef	BSAES_ASM_EXTENDED_KEY
2199
	add	r4, sp, #0x90			@ pass key schedule
2200
#else
2201
	add	r4, r10, #248			@ pass key schedule
2202
#endif
2203
	veor	q6, q6, q14
2204
	mov	r5, r1			@ pass rounds
2205
	veor	q7, q7, q15
2206
	mov	r0, sp
2207

2208
	bl	_bsaes_decrypt8
2209

2210
	vld1.64	{q8,q9}, [r0,:128]!
2211
	vld1.64	{q10,q11}, [r0,:128]!
2212
	veor	q0, q0, q8
2213
	vld1.64	{q12,q13}, [r0,:128]!
2214
	veor	q1, q1, q9
2215
	veor	q8, q6, q10
2216
	vst1.8	{q0,q1}, [r8]!
2217
	veor	q9, q4, q11
2218
	vld1.64	{q14,q15}, [r0,:128]!
2219
	veor	q10, q2, q12
2220
	vst1.8	{q8,q9}, [r8]!
2221
	veor	q11, q7, q13
2222
	veor	q12, q3, q14
2223
	vst1.8	{q10,q11}, [r8]!
2224
	veor	q13, q5, q15
2225
	vst1.8	{q12,q13}, [r8]!
2226

2227
	vld1.64	{q8}, [r0,:128]		@ next round tweak
2228

2229
	subs	r9, #0x80
2230
	bpl	.Lxts_dec_loop
2231

2232
.Lxts_dec_short:
2233
	adds	r9, #0x70
2234
	bmi	.Lxts_dec_done
2235

2236
	vldmia	r2, {q5}	@ load XTS magic
2237
	vshr.s64	q7, q8, #63
2238
	mov	r0, sp
2239
	vand	q7, q7, q5
2240
	vadd.u64	q9, q8, q8
2241
	vst1.64	{q8}, [r0,:128]!
2242
	vswp	d15,d14
2243
	vshr.s64	q6, q9, #63
2244
	veor	q9, q9, q7
2245
	vand	q6, q6, q5
2246
	vadd.u64	q10, q9, q9
2247
	vst1.64	{q9}, [r0,:128]!
2248
	vswp	d13,d12
2249
	vshr.s64	q7, q10, #63
2250
	veor	q10, q10, q6
2251
	vand	q7, q7, q5
2252
	vld1.8	{q0}, [r7]!
2253
	subs	r9, #0x10
2254
	bmi	.Lxts_dec_1
2255
	vadd.u64	q11, q10, q10
2256
	vst1.64	{q10}, [r0,:128]!
2257
	vswp	d15,d14
2258
	vshr.s64	q6, q11, #63
2259
	veor	q11, q11, q7
2260
	vand	q6, q6, q5
2261
	vld1.8	{q1}, [r7]!
2262
	subs	r9, #0x10
2263
	bmi	.Lxts_dec_2
2264
	veor	q0, q0, q8
2265
	vadd.u64	q12, q11, q11
2266
	vst1.64	{q11}, [r0,:128]!
2267
	vswp	d13,d12
2268
	vshr.s64	q7, q12, #63
2269
	veor	q12, q12, q6
2270
	vand	q7, q7, q5
2271
	vld1.8	{q2}, [r7]!
2272
	subs	r9, #0x10
2273
	bmi	.Lxts_dec_3
2274
	veor	q1, q1, q9
2275
	vadd.u64	q13, q12, q12
2276
	vst1.64	{q12}, [r0,:128]!
2277
	vswp	d15,d14
2278
	vshr.s64	q6, q13, #63
2279
	veor	q13, q13, q7
2280
	vand	q6, q6, q5
2281
	vld1.8	{q3}, [r7]!
2282
	subs	r9, #0x10
2283
	bmi	.Lxts_dec_4
2284
	veor	q2, q2, q10
2285
	vadd.u64	q14, q13, q13
2286
	vst1.64	{q13}, [r0,:128]!
2287
	vswp	d13,d12
2288
	vshr.s64	q7, q14, #63
2289
	veor	q14, q14, q6
2290
	vand	q7, q7, q5
2291
	vld1.8	{q4}, [r7]!
2292
	subs	r9, #0x10
2293
	bmi	.Lxts_dec_5
2294
	veor	q3, q3, q11
2295
	vadd.u64	q15, q14, q14
2296
	vst1.64	{q14}, [r0,:128]!
2297
	vswp	d15,d14
2298
	vshr.s64	q6, q15, #63
2299
	veor	q15, q15, q7
2300
	vand	q6, q6, q5
2301
	vld1.8	{q5}, [r7]!
2302
	subs	r9, #0x10
2303
	bmi	.Lxts_dec_6
2304
	veor	q4, q4, q12
2305
	sub	r9, #0x10
2306
	vst1.64	{q15}, [r0,:128]		@ next round tweak
2307

2308
	vld1.8	{q6}, [r7]!
2309
	veor	q5, q5, q13
2310
#ifndef	BSAES_ASM_EXTENDED_KEY
2311
	add	r4, sp, #0x90			@ pass key schedule
2312
#else
2313
	add	r4, r10, #248			@ pass key schedule
2314
#endif
2315
	veor	q6, q6, q14
2316
	mov	r5, r1			@ pass rounds
2317
	mov	r0, sp
2318

2319
	bl	_bsaes_decrypt8
2320

2321
	vld1.64	{q8,q9}, [r0,:128]!
2322
	vld1.64	{q10,q11}, [r0,:128]!
2323
	veor	q0, q0, q8
2324
	vld1.64	{q12,q13}, [r0,:128]!
2325
	veor	q1, q1, q9
2326
	veor	q8, q6, q10
2327
	vst1.8	{q0,q1}, [r8]!
2328
	veor	q9, q4, q11
2329
	vld1.64	{q14}, [r0,:128]!
2330
	veor	q10, q2, q12
2331
	vst1.8	{q8,q9}, [r8]!
2332
	veor	q11, q7, q13
2333
	veor	q12, q3, q14
2334
	vst1.8	{q10,q11}, [r8]!
2335
	vst1.8	{q12}, [r8]!
2336

2337
	vld1.64	{q8}, [r0,:128]		@ next round tweak
2338
	b	.Lxts_dec_done
2339
.align	4
2340
.Lxts_dec_6:
2341
	vst1.64	{q14}, [r0,:128]		@ next round tweak
2342

2343
	veor	q4, q4, q12
2344
#ifndef	BSAES_ASM_EXTENDED_KEY
2345
	add	r4, sp, #0x90			@ pass key schedule
2346
#else
2347
	add	r4, r10, #248			@ pass key schedule
2348
#endif
2349
	veor	q5, q5, q13
2350
	mov	r5, r1			@ pass rounds
2351
	mov	r0, sp
2352

2353
	bl	_bsaes_decrypt8
2354

2355
	vld1.64	{q8,q9}, [r0,:128]!
2356
	vld1.64	{q10,q11}, [r0,:128]!
2357
	veor	q0, q0, q8
2358
	vld1.64	{q12,q13}, [r0,:128]!
2359
	veor	q1, q1, q9
2360
	veor	q8, q6, q10
2361
	vst1.8	{q0,q1}, [r8]!
2362
	veor	q9, q4, q11
2363
	veor	q10, q2, q12
2364
	vst1.8	{q8,q9}, [r8]!
2365
	veor	q11, q7, q13
2366
	vst1.8	{q10,q11}, [r8]!
2367

2368
	vld1.64	{q8}, [r0,:128]		@ next round tweak
2369
	b	.Lxts_dec_done
2370
.align	4
2371
.Lxts_dec_5:
2372
	veor	q3, q3, q11
2373
#ifndef	BSAES_ASM_EXTENDED_KEY
2374
	add	r4, sp, #0x90			@ pass key schedule
2375
#else
2376
	add	r4, r10, #248			@ pass key schedule
2377
#endif
2378
	veor	q4, q4, q12
2379
	mov	r5, r1			@ pass rounds
2380
	mov	r0, sp
2381

2382
	bl	_bsaes_decrypt8
2383

2384
	vld1.64	{q8,q9}, [r0,:128]!
2385
	vld1.64	{q10,q11}, [r0,:128]!
2386
	veor	q0, q0, q8
2387
	vld1.64	{q12}, [r0,:128]!
2388
	veor	q1, q1, q9
2389
	veor	q8, q6, q10
2390
	vst1.8	{q0,q1}, [r8]!
2391
	veor	q9, q4, q11
2392
	veor	q10, q2, q12
2393
	vst1.8	{q8,q9}, [r8]!
2394
	vst1.8	{q10}, [r8]!
2395

2396
	vld1.64	{q8}, [r0,:128]		@ next round tweak
2397
	b	.Lxts_dec_done
2398
.align	4
2399
.Lxts_dec_4:
2400
	veor	q2, q2, q10
2401
#ifndef	BSAES_ASM_EXTENDED_KEY
2402
	add	r4, sp, #0x90			@ pass key schedule
2403
#else
2404
	add	r4, r10, #248			@ pass key schedule
2405
#endif
2406
	veor	q3, q3, q11
2407
	mov	r5, r1			@ pass rounds
2408
	mov	r0, sp
2409

2410
	bl	_bsaes_decrypt8
2411

2412
	vld1.64	{q8,q9}, [r0,:128]!
2413
	vld1.64	{q10,q11}, [r0,:128]!
2414
	veor	q0, q0, q8
2415
	veor	q1, q1, q9
2416
	veor	q8, q6, q10
2417
	vst1.8	{q0,q1}, [r8]!
2418
	veor	q9, q4, q11
2419
	vst1.8	{q8,q9}, [r8]!
2420

2421
	vld1.64	{q8}, [r0,:128]		@ next round tweak
2422
	b	.Lxts_dec_done
2423
.align	4
2424
.Lxts_dec_3:
2425
	veor	q1, q1, q9
2426
#ifndef	BSAES_ASM_EXTENDED_KEY
2427
	add	r4, sp, #0x90			@ pass key schedule
2428
#else
2429
	add	r4, r10, #248			@ pass key schedule
2430
#endif
2431
	veor	q2, q2, q10
2432
	mov	r5, r1			@ pass rounds
2433
	mov	r0, sp
2434

2435
	bl	_bsaes_decrypt8
2436

2437
	vld1.64	{q8,q9}, [r0,:128]!
2438
	vld1.64	{q10}, [r0,:128]!
2439
	veor	q0, q0, q8
2440
	veor	q1, q1, q9
2441
	veor	q8, q6, q10
2442
	vst1.8	{q0,q1}, [r8]!
2443
	vst1.8	{q8}, [r8]!
2444

2445
	vld1.64	{q8}, [r0,:128]		@ next round tweak
2446
	b	.Lxts_dec_done
2447
.align	4
2448
.Lxts_dec_2:
2449
	veor	q0, q0, q8
2450
#ifndef	BSAES_ASM_EXTENDED_KEY
2451
	add	r4, sp, #0x90			@ pass key schedule
2452
#else
2453
	add	r4, r10, #248			@ pass key schedule
2454
#endif
2455
	veor	q1, q1, q9
2456
	mov	r5, r1			@ pass rounds
2457
	mov	r0, sp
2458

2459
	bl	_bsaes_decrypt8
2460

2461
	vld1.64	{q8,q9}, [r0,:128]!
2462
	veor	q0, q0, q8
2463
	veor	q1, q1, q9
2464
	vst1.8	{q0,q1}, [r8]!
2465

2466
	vld1.64	{q8}, [r0,:128]		@ next round tweak
2467
	b	.Lxts_dec_done
2468
.align	4
2469
.Lxts_dec_1:
2470
	mov	r0, sp
2471
	veor	q0, q0, q8
2472
	mov	r1, sp
2473
	vst1.8	{q0}, [sp,:128]
2474
	mov	r5, r2			@ preserve magic
2475
	mov	r2, r10
2476
	mov	r4, r3				@ preserve fp
2477

2478
	bl	AES_decrypt
2479

2480
	vld1.8	{q0}, [sp,:128]
2481
	veor	q0, q0, q8
2482
	vst1.8	{q0}, [r8]!
2483
	mov	r3, r4
2484
	mov	r2, r5
2485

2486
	vmov	q8, q9		@ next round tweak
2487

2488
.Lxts_dec_done:
2489
#ifndef	XTS_CHAIN_TWEAK
2490
	adds	r9, #0x10
2491
	beq	.Lxts_dec_ret
2492

2493
	@ calculate one round of extra tweak for the stolen ciphertext
2494
	vldmia	r2, {q5}
2495
	vshr.s64	q6, q8, #63
2496
	vand	q6, q6, q5
2497
	vadd.u64	q9, q8, q8
2498
	vswp	d13,d12
2499
	veor	q9, q9, q6
2500

2501
	@ perform the final decryption with the last tweak value
2502
	vld1.8	{q0}, [r7]!
2503
	mov	r0, sp
2504
	veor	q0, q0, q9
2505
	mov	r1, sp
2506
	vst1.8	{q0}, [sp,:128]
2507
	mov	r2, r10
2508
	mov	r4, r3			@ preserve fp
2509

2510
	bl	AES_decrypt
2511

2512
	vld1.8	{q0}, [sp,:128]
2513
	veor	q0, q0, q9
2514
	vst1.8	{q0}, [r8]
2515

2516
	mov	r6, r8
2517
.Lxts_dec_steal:
2518
	ldrb	r1, [r8]
2519
	ldrb	r0, [r7], #1
2520
	strb	r1, [r8, #0x10]
2521
	strb	r0, [r8], #1
2522

2523
	subs	r9, #1
2524
	bhi	.Lxts_dec_steal
2525

2526
	vld1.8	{q0}, [r6]
2527
	mov	r0, sp
2528
	veor	q0, q8
2529
	mov	r1, sp
2530
	vst1.8	{q0}, [sp,:128]
2531
	mov	r2, r10
2532

2533
	bl	AES_decrypt
2534

2535
	vld1.8	{q0}, [sp,:128]
2536
	veor	q0, q0, q8
2537
	vst1.8	{q0}, [r6]
2538
	mov	r3, r4
2539
#endif
2540

2541
.Lxts_dec_ret:
2542
	bic	r0, r3, #0xf
2543
	vmov.i32	q0, #0
2544
	vmov.i32	q1, #0
2545
#ifdef	XTS_CHAIN_TWEAK
2546
	ldr	r1, [r3, #0x20+VFP_ABI_FRAME]	@ chain tweak
2547
#endif
2548
.Lxts_dec_bzero:@ wipe key schedule [if any]
2549
	vstmia	sp!, {q0,q1}
2550
	cmp	sp, r0
2551
	bne	.Lxts_dec_bzero
2552

2553
	mov	sp, r3
2554
#ifdef	XTS_CHAIN_TWEAK
2555
	vst1.8	{q8}, [r1]
2556
#endif
2557
	VFP_ABI_POP
2558
	ldmia	sp!, {r4,r5,r6,r7,r8,r9,r10, pc}	@ return
2559

2560
.size	ossl_bsaes_xts_decrypt,.-ossl_bsaes_xts_decrypt
2561
#endif
2562

2563
Product

Resources

Company
