Book a Demo!
CoCalc Logo Icon
StoreFeaturesDocsShareSupportNewsAboutPoliciesSign UpSign In
awilliam
GitHub Repository: awilliam/linux-vfio
 Path: blob/master/arch/sparc/lib/GENbzero.S
10817 views
1
/* GENbzero.S: Generic sparc64 memset/clear_user.

2
 *

3
 * Copyright (C) 2007 David S. Miller ([email protected])

4
 */

5
#include <asm/asi.h>

6


7
#define EX_ST(x,y)		\

8
98:	x,y;			\

9
	.section __ex_table,"a";\

10
	.align 4;		\

11
	.word 98b, __retl_o1;	\

12
	.text;			\

13
	.align 4;

14


15
	.align	32

16
	.text

17


18
	.globl		GENmemset

19
	.type		GENmemset, #function

20
GENmemset:		/* %o0=buf, %o1=pat, %o2=len */

21
	and		%o1, 0xff, %o3

22
	mov		%o2, %o1

23
	sllx		%o3, 8, %g1

24
	or		%g1, %o3, %o2

25
	sllx		%o2, 16, %g1

26
	or		%g1, %o2, %o2

27
	sllx		%o2, 32, %g1

28
	ba,pt		%xcc, 1f

29
	 or		%g1, %o2, %o2

30


31
	.globl		GENbzero

32
	.type		GENbzero, #function

33
GENbzero:

34
	clr		%o2

35
1:	brz,pn		%o1, GENbzero_return

36
	 mov		%o0, %o3

37


38
	/* %o5: saved %asi, restored at GENbzero_done

39
	 * %o4:	store %asi to use

40
	 */

41
	rd		%asi, %o5

42
	mov		ASI_P, %o4

43
	wr		%o4, 0x0, %asi

44


45
GENbzero_from_clear_user:

46
	cmp		%o1, 15

47
	bl,pn		%icc, GENbzero_tiny

48
	 andcc		%o0, 0x7, %g1

49
	be,pt		%xcc, 2f

50
	 mov		8, %g2

51
	sub		%g2, %g1, %g1

52
	sub		%o1, %g1, %o1

53
1:	EX_ST(stba %o2, [%o0 + 0x00] %asi)

54
	subcc		%g1, 1, %g1

55
	bne,pt		%xcc, 1b

56
	 add		%o0, 1, %o0

57
2:	cmp		%o1, 128

58
	bl,pn		%icc, GENbzero_medium

59
	 andcc		%o0, (64 - 1), %g1

60
	be,pt		%xcc, GENbzero_pre_loop

61
	 mov		64, %g2

62
	sub		%g2, %g1, %g1

63
	sub		%o1, %g1, %o1

64
1:	EX_ST(stxa %o2, [%o0 + 0x00] %asi)

65
	subcc		%g1, 8, %g1

66
	bne,pt		%xcc, 1b

67
	 add		%o0, 8, %o0

68


69
GENbzero_pre_loop:

70
	andn		%o1, (64 - 1), %g1

71
	sub		%o1, %g1, %o1

72
GENbzero_loop:

73
	EX_ST(stxa %o2, [%o0 + 0x00] %asi)

74
	EX_ST(stxa %o2, [%o0 + 0x08] %asi)

75
	EX_ST(stxa %o2, [%o0 + 0x10] %asi)

76
	EX_ST(stxa %o2, [%o0 + 0x18] %asi)

77
	EX_ST(stxa %o2, [%o0 + 0x20] %asi)

78
	EX_ST(stxa %o2, [%o0 + 0x28] %asi)

79
	EX_ST(stxa %o2, [%o0 + 0x30] %asi)

80
	EX_ST(stxa %o2, [%o0 + 0x38] %asi)

81
	subcc		%g1, 64, %g1

82
	bne,pt		%xcc, GENbzero_loop

83
	 add		%o0, 64, %o0

84


85
	membar		#Sync

86
	wr		%o4, 0x0, %asi

87
	brz,pn		%o1, GENbzero_done

88
GENbzero_medium:

89
	 andncc		%o1, 0x7, %g1

90
	be,pn		%xcc, 2f

91
	 sub		%o1, %g1, %o1

92
1:	EX_ST(stxa %o2, [%o0 + 0x00] %asi)

93
	subcc		%g1, 8, %g1

94
	bne,pt		%xcc, 1b

95
	 add		%o0, 8, %o0

96
2:	brz,pt		%o1, GENbzero_done

97
	 nop

98


99
GENbzero_tiny:

100
1:	EX_ST(stba %o2, [%o0 + 0x00] %asi)

101
	subcc		%o1, 1, %o1

102
	bne,pt		%icc, 1b

103
	 add		%o0, 1, %o0

104


105
	/* fallthrough */

106


107
GENbzero_done:

108
	wr		%o5, 0x0, %asi

109


110
GENbzero_return:

111
	retl

112
	 mov		%o3, %o0

113
	.size		GENbzero, .-GENbzero

114
	.size		GENmemset, .-GENmemset

115


116
	.globl		GENclear_user

117
	.type		GENclear_user, #function

118
GENclear_user:		/* %o0=buf, %o1=len */

119
	rd		%asi, %o5

120
	brz,pn		%o1, GENbzero_done

121
	 clr		%o3

122
	cmp		%o5, ASI_AIUS

123
	bne,pn		%icc, GENbzero

124
	 clr		%o2

125
	ba,pt		%xcc, GENbzero_from_clear_user

126
	 mov		ASI_AIUS, %o4

127
	.size		GENclear_user, .-GENclear_user

128


129
#define BRANCH_ALWAYS	0x10680000

130
#define NOP		0x01000000

131
#define GEN_DO_PATCH(OLD, NEW)	\

132
	sethi	%hi(NEW), %g1; \

133
	or	%g1, %lo(NEW), %g1; \

134
	sethi	%hi(OLD), %g2; \

135
	or	%g2, %lo(OLD), %g2; \

136
	sub	%g1, %g2, %g1; \

137
	sethi	%hi(BRANCH_ALWAYS), %g3; \

138
	sll	%g1, 11, %g1; \

139
	srl	%g1, 11 + 2, %g1; \

140
	or	%g3, %lo(BRANCH_ALWAYS), %g3; \

141
	or	%g3, %g1, %g3; \

142
	stw	%g3, [%g2]; \

143
	sethi	%hi(NOP), %g3; \

144
	or	%g3, %lo(NOP), %g3; \

145
	stw	%g3, [%g2 + 0x4]; \

146
	flush	%g2;

147


148
	.globl	generic_patch_bzero

149
	.type	generic_patch_bzero,#function

150
generic_patch_bzero:

151
	GEN_DO_PATCH(memset, GENmemset)

152
	GEN_DO_PATCH(__bzero, GENbzero)

153
	GEN_DO_PATCH(__clear_user, GENclear_user)

154
	retl

155
	 nop

156
	.size	generic_patch_bzero,.-generic_patch_bzero

157


158