117642c76SKrzysztof Pszeniczny; REQUIRES: x86_64-linux 217642c76SKrzysztof Pszeniczny; REQUIRES: asserts 3e06d6ed1SKrzysztof Pszeniczny; RUN: opt < %s -passes=sample-profile -sample-profile-file=%S/Inputs/non-probe-stale-profile-matching.prof --salvage-stale-profile -S --debug-only=sample-profile,sample-profile-matcher,sample-profile-impl -profile-isfs 2>&1 | FileCheck %s 417642c76SKrzysztof Pszeniczny 517642c76SKrzysztof Pszeniczny; The profiled source code: 617642c76SKrzysztof Pszeniczny 717642c76SKrzysztof Pszeniczny; volatile int x = 1; 817642c76SKrzysztof Pszeniczny; __attribute__((noinline)) int bar(int p) { 917642c76SKrzysztof Pszeniczny; return p; 1017642c76SKrzysztof Pszeniczny; } 1117642c76SKrzysztof Pszeniczny 1217642c76SKrzysztof Pszeniczny; __attribute__((always_inline)) int foo(int i, int p) { 1317642c76SKrzysztof Pszeniczny; if (i % 10) return bar(p); 1417642c76SKrzysztof Pszeniczny; else return bar(p + 1); 1517642c76SKrzysztof Pszeniczny; } 1617642c76SKrzysztof Pszeniczny 1717642c76SKrzysztof Pszeniczny; int main() { 1817642c76SKrzysztof Pszeniczny; for (int i = 0; i < 1000 * 1000; i++) { 1917642c76SKrzysztof Pszeniczny; x += foo(i, x); 2017642c76SKrzysztof Pszeniczny; x += bar(x); 2117642c76SKrzysztof Pszeniczny; x += foo(i, x); 2217642c76SKrzysztof Pszeniczny; x += bar(x); 2317642c76SKrzysztof Pszeniczny; } 2417642c76SKrzysztof Pszeniczny; } 2517642c76SKrzysztof Pszeniczny 2617642c76SKrzysztof Pszeniczny; The source code for the current build: 2717642c76SKrzysztof Pszeniczny 2817642c76SKrzysztof Pszeniczny; volatile int x = 1; 2917642c76SKrzysztof Pszeniczny; __attribute__((noinline)) int bar(int p) { 3017642c76SKrzysztof Pszeniczny; return p; 3117642c76SKrzysztof Pszeniczny; } 3217642c76SKrzysztof Pszeniczny 3317642c76SKrzysztof Pszeniczny; __attribute__((always_inline)) int foo(int i, int p) { 3417642c76SKrzysztof Pszeniczny; if (i % 10) return bar(p); 3517642c76SKrzysztof Pszeniczny; else return bar(p + 1); 3617642c76SKrzysztof Pszeniczny; } 3717642c76SKrzysztof Pszeniczny 3817642c76SKrzysztof Pszeniczny; int main() { 3917642c76SKrzysztof Pszeniczny; if (x == 0) // code change 4017642c76SKrzysztof Pszeniczny; return 0; // code change 4117642c76SKrzysztof Pszeniczny; for (int i = 0; i < 1000 * 1000; i++) { 4217642c76SKrzysztof Pszeniczny; x += foo(i, x); 4317642c76SKrzysztof Pszeniczny; x += bar(x); 4417642c76SKrzysztof Pszeniczny; if (i < 0) // code change 4517642c76SKrzysztof Pszeniczny; return 0; // code change 4617642c76SKrzysztof Pszeniczny; x += foo(i, x); 4717642c76SKrzysztof Pszeniczny; x += bar(x); 4817642c76SKrzysztof Pszeniczny; } 4917642c76SKrzysztof Pszeniczny; } 5017642c76SKrzysztof Pszeniczny 5117642c76SKrzysztof Pszeniczny; CHECK: Run stale profile matching for main 5217642c76SKrzysztof Pszeniczny; CHECK: Callsite with callee:foo is matched from 4 to 2 5317642c76SKrzysztof Pszeniczny; CHECK: Callsite with callee:bar is matched from 5 to 3 5417642c76SKrzysztof Pszeniczny; CHECK: Callsite with callee:foo is matched from 8 to 4 5517642c76SKrzysztof Pszeniczny; CHECK: Callsite with callee:bar is matched from 9 to 5 5617642c76SKrzysztof Pszeniczny 57*18cdfa72SLei Wang; CHECK: Run stale profile matching for foo 58*18cdfa72SLei Wang; CHECK: Callsite with callee:bar is matched from 1.15 to 1.15 59*18cdfa72SLei Wang; CHECK: Callsite with callee:bar is matched from 2 to 2 60*18cdfa72SLei Wang 61*18cdfa72SLei Wang; CHECK: Run stale profile matching for bar 62*18cdfa72SLei Wang 6317642c76SKrzysztof Pszenicznytarget datalayout = "e-m:e-p270:32:32-p271:32:32-p272:64:64-i64:64-i128:128-f80:128-n8:16:32:64-S128" 6417642c76SKrzysztof Pszenicznytarget triple = "x86_64-unknown-linux-gnu" 6517642c76SKrzysztof Pszeniczny 6617642c76SKrzysztof Pszeniczny@x = dso_local global i32 1, align 4 6717642c76SKrzysztof Pszeniczny 6817642c76SKrzysztof Pszeniczny; Function Attrs: noinline nounwind uwtable 6917642c76SKrzysztof Pszenicznydefine dso_local i32 @bar(i32 noundef %p) #0 !dbg !9 { 7017642c76SKrzysztof Pszenicznyentry: 7117642c76SKrzysztof Pszeniczny ret i32 %p, !dbg !13 7217642c76SKrzysztof Pszeniczny} 7317642c76SKrzysztof Pszeniczny 7417642c76SKrzysztof Pszeniczny; Function Attrs: alwaysinline nounwind uwtable 7517642c76SKrzysztof Pszenicznydefine dso_local i32 @foo(i32 noundef %i, i32 noundef %p) #1 !dbg !14 { 7617642c76SKrzysztof Pszenicznyentry: 7717642c76SKrzysztof Pszeniczny %rem = srem i32 %i, 10, !dbg !15 7817642c76SKrzysztof Pszeniczny %tobool = icmp ne i32 %rem, 0, !dbg !15 7917642c76SKrzysztof Pszeniczny br i1 %tobool, label %if.then, label %if.else, !dbg !16 8017642c76SKrzysztof Pszeniczny 8117642c76SKrzysztof Pszenicznyif.then: ; preds = %entry 8217642c76SKrzysztof Pszeniczny %call = call i32 @bar(i32 noundef %p), !dbg !17 8317642c76SKrzysztof Pszeniczny br label %return, !dbg !19 8417642c76SKrzysztof Pszeniczny 8517642c76SKrzysztof Pszenicznyif.else: ; preds = %entry 8617642c76SKrzysztof Pszeniczny %add = add nsw i32 %p, 1, !dbg !20 8717642c76SKrzysztof Pszeniczny %call1 = call i32 @bar(i32 noundef %add), !dbg !21 8817642c76SKrzysztof Pszeniczny br label %return, !dbg !22 8917642c76SKrzysztof Pszeniczny 9017642c76SKrzysztof Pszenicznyreturn: ; preds = %if.else, %if.then 9117642c76SKrzysztof Pszeniczny %retval.0 = phi i32 [ %call, %if.then ], [ %call1, %if.else ], !dbg !23 9217642c76SKrzysztof Pszeniczny ret i32 %retval.0, !dbg !24 9317642c76SKrzysztof Pszeniczny} 9417642c76SKrzysztof Pszeniczny 9517642c76SKrzysztof Pszeniczny; Function Attrs: nounwind uwtable 9617642c76SKrzysztof Pszenicznydefine dso_local i32 @main() #2 !dbg !25 { 9717642c76SKrzysztof Pszenicznyentry: 9817642c76SKrzysztof Pszeniczny %0 = load volatile i32, ptr @x, align 4, !dbg !26, !tbaa !27 9917642c76SKrzysztof Pszeniczny %cmp = icmp eq i32 %0, 0, !dbg !31 10017642c76SKrzysztof Pszeniczny br i1 %cmp, label %if.then, label %if.end, !dbg !26 10117642c76SKrzysztof Pszeniczny 10217642c76SKrzysztof Pszenicznyif.then: ; preds = %entry 10317642c76SKrzysztof Pszeniczny br label %for.end, !dbg !32 10417642c76SKrzysztof Pszeniczny 10517642c76SKrzysztof Pszenicznyif.end: ; preds = %entry 10617642c76SKrzysztof Pszeniczny br label %for.cond, !dbg !33 10717642c76SKrzysztof Pszeniczny 10817642c76SKrzysztof Pszenicznyfor.cond: ; preds = %if.end6, %if.end 10917642c76SKrzysztof Pszeniczny %i.0 = phi i32 [ 0, %if.end ], [ %inc, %if.end6 ], !dbg !34 11017642c76SKrzysztof Pszeniczny %cmp1 = icmp slt i32 %i.0, 1000000, !dbg !35 11117642c76SKrzysztof Pszeniczny br i1 %cmp1, label %for.body, label %for.cond.cleanup, !dbg !37 11217642c76SKrzysztof Pszeniczny 11317642c76SKrzysztof Pszenicznyfor.cond.cleanup: ; preds = %for.cond 11417642c76SKrzysztof Pszeniczny br label %cleanup, !dbg !38 11517642c76SKrzysztof Pszeniczny 11617642c76SKrzysztof Pszenicznyfor.body: ; preds = %for.cond 11717642c76SKrzysztof Pszeniczny %1 = load volatile i32, ptr @x, align 4, !dbg !40, !tbaa !27 11817642c76SKrzysztof Pszeniczny %call = call i32 @foo(i32 noundef %i.0, i32 noundef %1), !dbg !41 11917642c76SKrzysztof Pszeniczny %2 = load volatile i32, ptr @x, align 4, !dbg !42, !tbaa !27 12017642c76SKrzysztof Pszeniczny %add = add nsw i32 %2, %call, !dbg !42 12117642c76SKrzysztof Pszeniczny store volatile i32 %add, ptr @x, align 4, !dbg !42, !tbaa !27 12217642c76SKrzysztof Pszeniczny %3 = load volatile i32, ptr @x, align 4, !dbg !43, !tbaa !27 12317642c76SKrzysztof Pszeniczny %call2 = call i32 @bar(i32 noundef %3), !dbg !44 12417642c76SKrzysztof Pszeniczny %4 = load volatile i32, ptr @x, align 4, !dbg !45, !tbaa !27 12517642c76SKrzysztof Pszeniczny %add3 = add nsw i32 %4, %call2, !dbg !45 12617642c76SKrzysztof Pszeniczny store volatile i32 %add3, ptr @x, align 4, !dbg !45, !tbaa !27 12717642c76SKrzysztof Pszeniczny br i1 false, label %if.then5, label %if.end6, !dbg !46 12817642c76SKrzysztof Pszeniczny 12917642c76SKrzysztof Pszenicznyif.then5: ; preds = %for.body 13017642c76SKrzysztof Pszeniczny br label %cleanup, !dbg !47 13117642c76SKrzysztof Pszeniczny 13217642c76SKrzysztof Pszenicznyif.end6: ; preds = %for.body 13317642c76SKrzysztof Pszeniczny %5 = load volatile i32, ptr @x, align 4, !dbg !48, !tbaa !27 13417642c76SKrzysztof Pszeniczny %call7 = call i32 @foo(i32 noundef %i.0, i32 noundef %5), !dbg !49 13517642c76SKrzysztof Pszeniczny %6 = load volatile i32, ptr @x, align 4, !dbg !50, !tbaa !27 13617642c76SKrzysztof Pszeniczny %add8 = add nsw i32 %6, %call7, !dbg !50 13717642c76SKrzysztof Pszeniczny store volatile i32 %add8, ptr @x, align 4, !dbg !50, !tbaa !27 13817642c76SKrzysztof Pszeniczny %7 = load volatile i32, ptr @x, align 4, !dbg !51, !tbaa !27 13917642c76SKrzysztof Pszeniczny %call9 = call i32 @bar(i32 noundef %7), !dbg !52 14017642c76SKrzysztof Pszeniczny %8 = load volatile i32, ptr @x, align 4, !dbg !53, !tbaa !27 14117642c76SKrzysztof Pszeniczny %add10 = add nsw i32 %8, %call9, !dbg !53 14217642c76SKrzysztof Pszeniczny store volatile i32 %add10, ptr @x, align 4, !dbg !53, !tbaa !27 14317642c76SKrzysztof Pszeniczny %inc = add nsw i32 %i.0, 1, !dbg !54 14417642c76SKrzysztof Pszeniczny br label %for.cond, !dbg !56, !llvm.loop !57 14517642c76SKrzysztof Pszeniczny 14617642c76SKrzysztof Pszenicznycleanup: ; preds = %if.then5, %for.cond.cleanup 14717642c76SKrzysztof Pszeniczny br label %for.end 14817642c76SKrzysztof Pszeniczny 14917642c76SKrzysztof Pszenicznyfor.end: ; preds = %cleanup, %if.then 15017642c76SKrzysztof Pszeniczny ret i32 0, !dbg !61 15117642c76SKrzysztof Pszeniczny} 15217642c76SKrzysztof Pszeniczny 15317642c76SKrzysztof Pszeniczny; Function Attrs: mustprogress nocallback nofree nosync nounwind willreturn memory(argmem: readwrite) 15417642c76SKrzysztof Pszenicznydeclare void @llvm.lifetime.start.p0(i64 immarg, ptr nocapture) #3 15517642c76SKrzysztof Pszeniczny 15617642c76SKrzysztof Pszeniczny; Function Attrs: mustprogress nocallback nofree nosync nounwind willreturn memory(argmem: readwrite) 15717642c76SKrzysztof Pszenicznydeclare void @llvm.lifetime.end.p0(i64 immarg, ptr nocapture) #3 15817642c76SKrzysztof Pszeniczny 15917642c76SKrzysztof Pszenicznyattributes #0 = { noinline nounwind uwtable "min-legal-vector-width"="0" "no-trapping-math"="true" "stack-protector-buffer-size"="8" "target-cpu"="x86-64" "target-features"="+cmov,+cx8,+fxsr,+mmx,+sse,+sse2,+x87" "tune-cpu"="generic" "use-sample-profile" } 16017642c76SKrzysztof Pszenicznyattributes #1 = { alwaysinline nounwind uwtable "min-legal-vector-width"="0" "no-trapping-math"="true" "stack-protector-buffer-size"="8" "target-cpu"="x86-64" "target-features"="+cmov,+cx8,+fxsr,+mmx,+sse,+sse2,+x87" "tune-cpu"="generic" "use-sample-profile" } 16117642c76SKrzysztof Pszenicznyattributes #2 = { nounwind uwtable "min-legal-vector-width"="0" "no-trapping-math"="true" "stack-protector-buffer-size"="8" "target-cpu"="x86-64" "target-features"="+cmov,+cx8,+fxsr,+mmx,+sse,+sse2,+x87" "tune-cpu"="generic" "use-sample-profile" } 16217642c76SKrzysztof Pszenicznyattributes #3 = { mustprogress nocallback nofree nosync nounwind willreturn memory(argmem: readwrite) } 16317642c76SKrzysztof Pszeniczny 16417642c76SKrzysztof Pszeniczny!llvm.dbg.cu = !{!0} 16517642c76SKrzysztof Pszeniczny!llvm.module.flags = !{!2, !3, !4, !5, !6, !7} 16617642c76SKrzysztof Pszeniczny!llvm.ident = !{!8} 16717642c76SKrzysztof Pszeniczny 16817642c76SKrzysztof Pszeniczny!0 = distinct !DICompileUnit(language: DW_LANG_C11, file: !1, producer: "clang version 19.0.0git", isOptimized: true, runtimeVersion: 0, emissionKind: LineTablesOnly, splitDebugInlining: false, debugInfoForProfiling: true, nameTableKind: None) 16917642c76SKrzysztof Pszeniczny!1 = !DIFile(filename: "test.c", directory: "path") 17017642c76SKrzysztof Pszeniczny!2 = !{i32 7, !"Dwarf Version", i32 5} 17117642c76SKrzysztof Pszeniczny!3 = !{i32 2, !"Debug Info Version", i32 3} 17217642c76SKrzysztof Pszeniczny!4 = !{i32 1, !"wchar_size", i32 4} 17317642c76SKrzysztof Pszeniczny!5 = !{i32 8, !"PIC Level", i32 2} 17417642c76SKrzysztof Pszeniczny!6 = !{i32 7, !"PIE Level", i32 2} 17517642c76SKrzysztof Pszeniczny!7 = !{i32 7, !"uwtable", i32 2} 17617642c76SKrzysztof Pszeniczny!8 = !{!"clang version 19.0.0git"} 17717642c76SKrzysztof Pszeniczny!9 = distinct !DISubprogram(name: "bar", scope: !10, file: !10, line: 2, type: !11, scopeLine: 2, flags: DIFlagPrototyped | DIFlagAllCallsDescribed, spFlags: DISPFlagDefinition | DISPFlagOptimized, unit: !0) 17817642c76SKrzysztof Pszeniczny!10 = !DIFile(filename: "test.c", directory: "path") 17917642c76SKrzysztof Pszeniczny!11 = !DISubroutineType(types: !12) 18017642c76SKrzysztof Pszeniczny!12 = !{} 18117642c76SKrzysztof Pszeniczny!13 = !DILocation(line: 3, column: 3, scope: !9) 18217642c76SKrzysztof Pszeniczny!14 = distinct !DISubprogram(name: "foo", scope: !10, file: !10, line: 6, type: !11, scopeLine: 6, flags: DIFlagPrototyped | DIFlagAllCallsDescribed, spFlags: DISPFlagDefinition | DISPFlagOptimized, unit: !0) 18317642c76SKrzysztof Pszeniczny!15 = !DILocation(line: 7, column: 9, scope: !14) 18417642c76SKrzysztof Pszeniczny!16 = !DILocation(line: 7, column: 7, scope: !14) 18517642c76SKrzysztof Pszeniczny!17 = !DILocation(line: 7, column: 23, scope: !18) 186e06d6ed1SKrzysztof Pszeniczny!18 = !DILexicalBlockFile(scope: !14, file: !10, discriminator: 15) 18717642c76SKrzysztof Pszeniczny!19 = !DILocation(line: 7, column: 15, scope: !18) 18817642c76SKrzysztof Pszeniczny!20 = !DILocation(line: 8, column: 21, scope: !14) 18917642c76SKrzysztof Pszeniczny!21 = !DILocation(line: 8, column: 15, scope: !14) 19017642c76SKrzysztof Pszeniczny!22 = !DILocation(line: 8, column: 8, scope: !14) 19117642c76SKrzysztof Pszeniczny!23 = !DILocation(line: 0, scope: !14) 19217642c76SKrzysztof Pszeniczny!24 = !DILocation(line: 9, column: 1, scope: !14) 19317642c76SKrzysztof Pszeniczny!25 = distinct !DISubprogram(name: "main", scope: !10, file: !10, line: 11, type: !11, scopeLine: 11, flags: DIFlagAllCallsDescribed, spFlags: DISPFlagDefinition | DISPFlagOptimized, unit: !0) 19417642c76SKrzysztof Pszeniczny!26 = !DILocation(line: 12, column: 7, scope: !25) 19517642c76SKrzysztof Pszeniczny!27 = !{!28, !28, i64 0} 19617642c76SKrzysztof Pszeniczny!28 = !{!"int", !29, i64 0} 19717642c76SKrzysztof Pszeniczny!29 = !{!"omnipotent char", !30, i64 0} 19817642c76SKrzysztof Pszeniczny!30 = !{!"Simple C/C++ TBAA"} 19917642c76SKrzysztof Pszeniczny!31 = !DILocation(line: 12, column: 9, scope: !25) 20017642c76SKrzysztof Pszeniczny!32 = !DILocation(line: 13, column: 5, scope: !25) 20117642c76SKrzysztof Pszeniczny!33 = !DILocation(line: 14, column: 8, scope: !25) 20217642c76SKrzysztof Pszeniczny!34 = !DILocation(line: 14, scope: !25) 20317642c76SKrzysztof Pszeniczny!35 = !DILocation(line: 14, column: 21, scope: !36) 204e06d6ed1SKrzysztof Pszeniczny!36 = !DILexicalBlockFile(scope: !25, file: !10, discriminator: 15) 20517642c76SKrzysztof Pszeniczny!37 = !DILocation(line: 14, column: 3, scope: !36) 20617642c76SKrzysztof Pszeniczny!38 = !DILocation(line: 14, column: 3, scope: !39) 20717642c76SKrzysztof Pszeniczny!39 = !DILexicalBlockFile(scope: !25, file: !10, discriminator: 4) 20817642c76SKrzysztof Pszeniczny!40 = !DILocation(line: 15, column: 18, scope: !25) 20917642c76SKrzysztof Pszeniczny!41 = !DILocation(line: 15, column: 11, scope: !25) 21017642c76SKrzysztof Pszeniczny!42 = !DILocation(line: 15, column: 8, scope: !25) 21117642c76SKrzysztof Pszeniczny!43 = !DILocation(line: 16, column: 15, scope: !25) 21217642c76SKrzysztof Pszeniczny!44 = !DILocation(line: 16, column: 11, scope: !25) 21317642c76SKrzysztof Pszeniczny!45 = !DILocation(line: 16, column: 8, scope: !25) 21417642c76SKrzysztof Pszeniczny!46 = !DILocation(line: 17, column: 10, scope: !25) 21517642c76SKrzysztof Pszeniczny!47 = !DILocation(line: 18, column: 8, scope: !25) 21617642c76SKrzysztof Pszeniczny!48 = !DILocation(line: 19, column: 18, scope: !25) 21717642c76SKrzysztof Pszeniczny!49 = !DILocation(line: 19, column: 11, scope: !25) 21817642c76SKrzysztof Pszeniczny!50 = !DILocation(line: 19, column: 8, scope: !25) 21917642c76SKrzysztof Pszeniczny!51 = !DILocation(line: 20, column: 15, scope: !25) 22017642c76SKrzysztof Pszeniczny!52 = !DILocation(line: 20, column: 11, scope: !25) 22117642c76SKrzysztof Pszeniczny!53 = !DILocation(line: 20, column: 8, scope: !25) 22217642c76SKrzysztof Pszeniczny!54 = !DILocation(line: 14, column: 37, scope: !55) 22317642c76SKrzysztof Pszeniczny!55 = !DILexicalBlockFile(scope: !25, file: !10, discriminator: 6) 22417642c76SKrzysztof Pszeniczny!56 = !DILocation(line: 14, column: 3, scope: !55) 22517642c76SKrzysztof Pszeniczny!57 = distinct !{!57, !58, !59, !60} 22617642c76SKrzysztof Pszeniczny!58 = !DILocation(line: 14, column: 3, scope: !25) 22717642c76SKrzysztof Pszeniczny!59 = !DILocation(line: 21, column: 3, scope: !25) 22817642c76SKrzysztof Pszeniczny!60 = !{!"llvm.loop.mustprogress"} 22917642c76SKrzysztof Pszeniczny!61 = !DILocation(line: 22, column: 1, scope: !25) 230