1; RUN: opt -mtriple=armv8m.main-none-none-eabi -mattr=+dsp < %s -arm-parallel-dsp -S | FileCheck %s 2; 3; The Cortex-M0 does not support unaligned accesses: 4; RUN: opt -mtriple=armv6m-none-none-eabi < %s -arm-parallel-dsp -S | FileCheck %s --check-prefix=CHECK-UNSUPPORTED 5; 6; Check DSP extension: 7; RUN: opt -mtriple=armv8m.main-none-none-eabi -mattr=-dsp < %s -arm-parallel-dsp -S | FileCheck %s --check-prefix=CHECK-UNSUPPORTED 8 9define dso_local i64 @OneReduction(i32 %arg, ptr nocapture readnone %arg1, ptr nocapture readonly %arg2, ptr nocapture readonly %arg3) { 10; 11; CHECK-LABEL: @OneReduction 12; CHECK: %mac1{{\.}}026 = phi i64 [ [[V8:%[0-9]+]], %for.body ], [ 0, %for.body.preheader ] 13; CHECK: [[V7:%[0-9]+]] = load i32, ptr %arrayidx, align 2 14; CHECK: [[V5:%[0-9]+]] = load i32, ptr %arrayidx3, align 2 15; CHECK: [[V8]] = call i64 @llvm.arm.smlald(i32 [[V5]], i32 [[V7]], i64 %mac1{{\.}}026) 16; CHECK-NOT: call i64 @llvm.arm.smlald 17; 18; CHECK-UNSUPPORTED-NOT: call i64 @llvm.arm.smlald 19; 20entry: 21 %cmp24 = icmp sgt i32 %arg, 0 22 br i1 %cmp24, label %for.body.preheader, label %for.cond.cleanup 23 24for.body.preheader: 25 %.pre = load i16, ptr %arg3, align 2 26 %.pre27 = load i16, ptr %arg2, align 2 27 br label %for.body 28 29for.cond.cleanup: 30 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add11, %for.body ] 31 ret i64 %mac1.0.lcssa 32 33for.body: 34; One reduction statement here: 35 %mac1.026 = phi i64 [ %add11, %for.body ], [ 0, %for.body.preheader ] 36 37 %i.025 = phi i32 [ %add, %for.body ], [ 0, %for.body.preheader ] 38 %arrayidx = getelementptr inbounds i16, ptr %arg3, i32 %i.025 39 %0 = load i16, ptr %arrayidx, align 2 40 %add = add nuw nsw i32 %i.025, 1 41 %arrayidx1 = getelementptr inbounds i16, ptr %arg3, i32 %add 42 %1 = load i16, ptr %arrayidx1, align 2 43 %arrayidx3 = getelementptr inbounds i16, ptr %arg2, i32 %i.025 44 %2 = load i16, ptr %arrayidx3, align 2 45 %conv = sext i16 %2 to i32 46 %conv4 = sext i16 %0 to i32 47 %mul = mul nsw i32 %conv, %conv4 48 %sext0 = sext i32 %mul to i64 49 %arrayidx6 = getelementptr inbounds i16, ptr %arg2, i32 %add 50 %3 = load i16, ptr %arrayidx6, align 2 51 %conv7 = sext i16 %3 to i32 52 %conv8 = sext i16 %1 to i32 53 %mul9 = mul nsw i32 %conv7, %conv8 54 %sext1 = sext i32 %mul9 to i64 55 %add10 = add i64 %sext0, %mac1.026 56 57; Here the Mul is the LHS, and the Add the RHS. 58 %add11 = add i64 %sext1, %add10 59 60 %exitcond = icmp ne i32 %add, %arg 61 br i1 %exitcond, label %for.body, label %for.cond.cleanup 62} 63 64define dso_local arm_aapcs_vfpcc i64 @TwoReductions(i32 %arg, ptr nocapture readnone %arg1, ptr nocapture readonly %arg2, ptr nocapture readonly %arg3) { 65; 66; CHECK-LABEL: @TwoReductions 67; 68; CHECK: %mac1{{\.}}058 = phi i64 [ [[V10:%[0-9]+]], %for.body ], [ 0, %for.body.preheader ] 69; CHECK: %mac2{{\.}}057 = phi i64 [ [[V17:%[0-9]+]], %for.body ], [ 0, %for.body.preheader ] 70; CHECK: [[V10]] = call i64 @llvm.arm.smlald(i32 %{{.*}}, i32 %{{.*}}, i64 %mac1{{\.}}058) 71; CHECK: [[V17]] = call i64 @llvm.arm.smlald(i32 %{{.*}}, i32 %{{.*}}, i64 %mac2{{\.}}057) 72; CHECK-NOT: call i64 @llvm.arm.smlald 73; 74entry: 75 %cmp55 = icmp sgt i32 %arg, 0 76 br i1 %cmp55, label %for.body.preheader, label %for.cond.cleanup 77 78for.cond.cleanup: 79 %mac2.0.lcssa = phi i64 [ 0, %entry ], [ %add28, %for.body ] 80 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add16, %for.body ] 81 %add30 = add nsw i64 %mac1.0.lcssa, %mac2.0.lcssa 82 ret i64 %add30 83 84for.body.preheader: 85 br label %for.body 86 87for.body: 88; And two reduction statements here: 89 %mac1.058 = phi i64 [ %add16, %for.body ], [ 0, %for.body.preheader ] 90 %mac2.057 = phi i64 [ %add28, %for.body ], [ 0, %for.body.preheader ] 91 92 %i.056 = phi i32 [ %add29, %for.body ], [ 0, %for.body.preheader ] 93 %arrayidx = getelementptr inbounds i16, ptr %arg3, i32 %i.056 94 %0 = load i16, ptr %arrayidx, align 2 95 %add1 = or disjoint i32 %i.056, 1 96 %arrayidx2 = getelementptr inbounds i16, ptr %arg3, i32 %add1 97 %1 = load i16, ptr %arrayidx2, align 2 98 %add3 = or disjoint i32 %i.056, 2 99 %arrayidx4 = getelementptr inbounds i16, ptr %arg3, i32 %add3 100 %2 = load i16, ptr %arrayidx4, align 2 101 102 %add5 = or disjoint i32 %i.056, 3 103 %arrayidx6 = getelementptr inbounds i16, ptr %arg3, i32 %add5 104 %3 = load i16, ptr %arrayidx6, align 2 105 %arrayidx8 = getelementptr inbounds i16, ptr %arg2, i32 %i.056 106 %4 = load i16, ptr %arrayidx8, align 2 107 %conv = sext i16 %4 to i32 108 %conv9 = sext i16 %0 to i32 109 %mul = mul nsw i32 %conv, %conv9 110 %sext0 = sext i32 %mul to i64 111 %arrayidx11 = getelementptr inbounds i16, ptr %arg2, i32 %add1 112 %5 = load i16, ptr %arrayidx11, align 2 113 %conv12 = sext i16 %5 to i32 114 %conv13 = sext i16 %1 to i32 115 %mul14 = mul nsw i32 %conv12, %conv13 116 %sext1 = sext i32 %mul14 to i64 117 %add15 = add i64 %sext0, %mac1.058 118 %add16 = add i64 %add15, %sext1 119 %arrayidx18 = getelementptr inbounds i16, ptr %arg2, i32 %add3 120 %6 = load i16, ptr %arrayidx18, align 2 121 %conv19 = sext i16 %6 to i32 122 %conv20 = sext i16 %2 to i32 123 %mul21 = mul nsw i32 %conv19, %conv20 124 %sext2 = sext i32 %mul21 to i64 125 %arrayidx23 = getelementptr inbounds i16, ptr %arg2, i32 %add5 126 %7 = load i16, ptr %arrayidx23, align 2 127 %conv24 = sext i16 %7 to i32 128 %conv25 = sext i16 %3 to i32 129 %mul26 = mul nsw i32 %conv24, %conv25 130 %sext3 = sext i32 %mul26 to i64 131 %add27 = add i64 %sext2, %mac2.057 132 %add28 = add i64 %add27, %sext3 133 %add29 = add nuw nsw i32 %i.056, 4 134 %cmp = icmp slt i32 %add29, %arg 135 br i1 %cmp, label %for.body, label %for.cond.cleanup 136} 137 138define i64 @zext_mul_reduction(i32 %arg, ptr nocapture readnone %arg1, ptr nocapture readonly %arg2, ptr nocapture readonly %arg3) { 139; CHECK-LABEL: @zext_mul_reduction 140; CHECK-NOT: call i64 @llvm.arm.smlald 141; CHECK-NOT: call i32 @llvm.arm.smlad 142entry: 143 %cmp24 = icmp sgt i32 %arg, 0 144 br i1 %cmp24, label %for.body.preheader, label %for.cond.cleanup 145 146for.body.preheader: 147 %.pre = load i16, ptr %arg3, align 2 148 %.pre27 = load i16, ptr %arg2, align 2 149 br label %for.body 150 151for.cond.cleanup: 152 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add11, %for.body ] 153 ret i64 %mac1.0.lcssa 154 155for.body: 156 %mac1.026 = phi i64 [ %add11, %for.body ], [ 0, %for.body.preheader ] 157 %i.025 = phi i32 [ %add, %for.body ], [ 0, %for.body.preheader ] 158 %arrayidx = getelementptr inbounds i16, ptr %arg3, i32 %i.025 159 %0 = load i16, ptr %arrayidx, align 2 160 %add = add nuw nsw i32 %i.025, 1 161 %arrayidx1 = getelementptr inbounds i16, ptr %arg3, i32 %add 162 %1 = load i16, ptr %arrayidx1, align 2 163 %arrayidx3 = getelementptr inbounds i16, ptr %arg2, i32 %i.025 164 %2 = load i16, ptr %arrayidx3, align 2 165 %conv = zext i16 %2 to i32 166 %conv4 = sext i16 %0 to i32 167 %mul = mul nsw i32 %conv, %conv4 168 %sext0 = sext i32 %mul to i64 169 %arrayidx6 = getelementptr inbounds i16, ptr %arg2, i32 %add 170 %3 = load i16, ptr %arrayidx6, align 2 171 %conv7 = zext i16 %3 to i32 172 %conv8 = sext i16 %1 to i32 173 %mul9 = mul nsw i32 %conv7, %conv8 174 %sext1 = sext i32 %mul9 to i64 175 %add10 = add i64 %sext0, %mac1.026 176 %add11 = add i64 %sext1, %add10 177 %exitcond = icmp ne i32 %add, %arg 178 br i1 %exitcond, label %for.body, label %for.cond.cleanup 179} 180 181define i64 @zext_add_reduction(i32 %arg, ptr nocapture readnone %arg1, ptr nocapture readonly %arg2, ptr nocapture readonly %arg3) { 182; CHECK-LABEL: @zext_add_reduction 183; CHECK-NOT: call i64 @llvm.arm.smlald 184; CHECK-NOT: call i32 @llvm.arm.smlad 185entry: 186 %cmp24 = icmp sgt i32 %arg, 0 187 br i1 %cmp24, label %for.body.preheader, label %for.cond.cleanup 188 189for.body.preheader: 190 %.pre = load i16, ptr %arg3, align 2 191 %.pre27 = load i16, ptr %arg2, align 2 192 br label %for.body 193 194for.cond.cleanup: 195 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add11, %for.body ] 196 ret i64 %mac1.0.lcssa 197 198for.body: 199 %mac1.026 = phi i64 [ %add11, %for.body ], [ 0, %for.body.preheader ] 200 %i.025 = phi i32 [ %add, %for.body ], [ 0, %for.body.preheader ] 201 %arrayidx = getelementptr inbounds i16, ptr %arg3, i32 %i.025 202 %0 = load i16, ptr %arrayidx, align 2 203 %add = add nuw nsw i32 %i.025, 1 204 %arrayidx1 = getelementptr inbounds i16, ptr %arg3, i32 %add 205 %1 = load i16, ptr %arrayidx1, align 2 206 %arrayidx3 = getelementptr inbounds i16, ptr %arg2, i32 %i.025 207 %2 = load i16, ptr %arrayidx3, align 2 208 %conv = sext i16 %2 to i32 209 %conv4 = sext i16 %0 to i32 210 %mul = mul nsw i32 %conv, %conv4 211 %sext0 = zext i32 %mul to i64 212 %arrayidx6 = getelementptr inbounds i16, ptr %arg2, i32 %add 213 %3 = load i16, ptr %arrayidx6, align 2 214 %conv7 = sext i16 %3 to i32 215 %conv8 = sext i16 %1 to i32 216 %mul9 = mul nsw i32 %conv7, %conv8 217 %sext1 = zext i32 %mul9 to i64 218 %add10 = add i64 %sext0, %mac1.026 219 %add11 = add i64 %sext1, %add10 220 %exitcond = icmp ne i32 %add, %arg 221 br i1 %exitcond, label %for.body, label %for.cond.cleanup 222} 223