Book a Demo!
CoCalc Logo Icon
StoreFeaturesDocsShareSupportNewsAboutPoliciesSign UpSign In
torvalds
GitHub Repository: torvalds/linux
 Path: blob/master/arch/sparc/lib/GENmemcpy.S
26424 views
1
/* SPDX-License-Identifier: GPL-2.0 */

2
/* GENmemcpy.S: Generic sparc64 memcpy.

3
 *

4
 * Copyright (C) 2007 David S. Miller ([email protected])

5
 */

6


7
#ifdef __KERNEL__

8
#include <linux/linkage.h>

9
#define GLOBAL_SPARE	%g7

10
#else

11
#define GLOBAL_SPARE	%g5

12
#endif

13


14
#ifndef EX_LD

15
#define EX_LD(x,y)	x

16
#endif

17


18
#ifndef EX_ST

19
#define EX_ST(x,y)	x

20
#endif

21


22
#ifndef LOAD

23
#define LOAD(type,addr,dest)	type [addr], dest

24
#endif

25


26
#ifndef STORE

27
#define STORE(type,src,addr)	type src, [addr]

28
#endif

29


30
#ifndef FUNC_NAME

31
#define FUNC_NAME	GENmemcpy

32
#endif

33


34
#ifndef PREAMBLE

35
#define PREAMBLE

36
#endif

37


38
#ifndef XCC

39
#define XCC xcc

40
#endif

41


42
	.register	%g2,#scratch

43
	.register	%g3,#scratch

44


45
	.text

46


47
#ifndef EX_RETVAL

48
#define EX_RETVAL(x)	x

49
ENTRY(GEN_retl_o4_1)

50
	add	%o4, %o2, %o4

51
	retl

52
	 add	%o4, 1, %o0

53
ENDPROC(GEN_retl_o4_1)

54
ENTRY(GEN_retl_g1_8)

55
	add	%g1, %o2, %g1

56
	retl

57
	 add	%g1, 8, %o0

58
ENDPROC(GEN_retl_g1_8)

59
ENTRY(GEN_retl_o2_4)

60
	retl

61
	 add	%o2, 4, %o0

62
ENDPROC(GEN_retl_o2_4)

63
ENTRY(GEN_retl_o2_1)

64
	retl

65
	 add	%o2, 1, %o0

66
ENDPROC(GEN_retl_o2_1)

67
#endif

68


69
	.align		64

70


71
	.globl	FUNC_NAME

72
	.type	FUNC_NAME,#function

73
FUNC_NAME:	/* %o0=dst, %o1=src, %o2=len */

74
	srlx		%o2, 31, %g2

75
	cmp		%g2, 0

76
	tne		%XCC, 5

77
	PREAMBLE

78
	mov		%o0, GLOBAL_SPARE

79


80
	cmp		%o2, 0

81
	be,pn		%XCC, 85f

82
	 or		%o0, %o1, %o3

83
	cmp		%o2, 16

84
	blu,a,pn	%XCC, 80f

85
	 or		%o3, %o2, %o3

86


87
	xor		%o0, %o1, %o4

88
	andcc		%o4, 0x7, %g0

89
	bne,a,pn	%XCC, 90f

90
	 sub		%o0, %o1, %o3

91


92
	and		%o0, 0x7, %o4

93
	sub		%o4, 0x8, %o4

94
	sub		%g0, %o4, %o4

95
	sub		%o2, %o4, %o2

96
1:	subcc		%o4, 1, %o4

97
	EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1)

98
	EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1)

99
	add		%o1, 1, %o1

100
	bne,pt		%XCC, 1b

101
	add		%o0, 1, %o0

102


103
	andn		%o2, 0x7, %g1

104
	sub		%o2, %g1, %o2

105
1:	subcc		%g1, 0x8, %g1

106
	EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8)

107
	EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8)

108
	add		%o1, 0x8, %o1

109
	bne,pt		%XCC, 1b

110
	 add		%o0, 0x8, %o0

111


112
	brz,pt		%o2, 85f

113
	 sub		%o0, %o1, %o3

114
	ba,a,pt		%XCC, 90f

115


116
	.align		64

117
80: /* 0 < len <= 16 */

118
	andcc		%o3, 0x3, %g0

119
	bne,pn		%XCC, 90f

120
	 sub		%o0, %o1, %o3

121


122
1:

123
	subcc		%o2, 4, %o2

124
	EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4)

125
	EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4)

126
	bgu,pt		%XCC, 1b

127
	 add		%o1, 4, %o1

128


129
85:	retl

130
	 mov		EX_RETVAL(GLOBAL_SPARE), %o0

131


132
	.align		32

133
90:

134
	subcc		%o2, 1, %o2

135
	EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1)

136
	EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1)

137
	bgu,pt		%XCC, 90b

138
	 add		%o1, 1, %o1

139
	retl

140
	 mov		EX_RETVAL(GLOBAL_SPARE), %o0

141


142
	.size		FUNC_NAME, .-FUNC_NAME

143


144