Lines Matching defs:ContainerVT
6493 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
6494 EVT WhileVT = ContainerVT.changeElementType(MVT::i1);
6498 SDValue MaskAsInt = DAG.getNode(ISD::SIGN_EXTEND, dl, ContainerVT, Mask);
6716 EVT ContainerVT = getContainerForFixedLengthVector(DAG, PromotedVT);
6719 MemVT = ContainerVT.changeVectorElementType(MemVT.getVectorElementType());
6720 Index = convertToScalableVector(DAG, ContainerVT, Index);
6722 PassThru = PassThru->isUndef() ? DAG.getUNDEF(ContainerVT)
6723 : DAG.getConstant(0, DL, ContainerVT);
6728 DAG.getMaskedGather(DAG.getVTList(ContainerVT, MVT::Other), MemVT, DL,
6807 EVT ContainerVT = getContainerForFixedLengthVector(DAG, PromotedVT);
6810 MemVT = ContainerVT.changeVectorElementType(MemVT.getVectorElementType());
6811 Index = convertToScalableVector(DAG, ContainerVT, Index);
6813 StoreVal = convertToScalableVector(DAG, ContainerVT, StoreVal);
7102 EVT ContainerVT = getSVEContainerType(VecVT);
7107 if (ContainerVT != VecVT) {
7109 Vec = DAG.getNode(ISD::ANY_EXTEND, DL, ContainerVT, Vec);
7135 FixedVecVT.changeVectorElementType(ContainerVT.getVectorElementType()),
7142 if (ContainerVT != VecVT) {
10675 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
10677 In1 = convertToScalableVector(DAG, ContainerVT, In1);
10678 In2 = convertToScalableVector(DAG, ContainerVT, In2);
10680 SDValue Res = DAG.getNode(ISD::FCOPYSIGN, DL, ContainerVT, In1, In2);
14667 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
14671 SDValue Start = DAG.getConstant(SeqInfo->first, DL, ContainerVT);
14672 SDValue Steps = DAG.getStepVector(DL, ContainerVT, SeqInfo->second);
14673 SDValue Seq = DAG.getNode(ISD::ADD, DL, ContainerVT, Start, Steps);
14695 Op->op_values(), [&, Undef = DAG.getUNDEF(ContainerVT)](SDValue Op) {
14698 ContainerVT, Undef, Op, ZeroI64);
14701 ElementCount ZipEC = ContainerVT.getVectorElementCount();
14718 SDValue Vec = DAG.getBitcast(ContainerVT, Intermediates[0]);
22581 EVT ContainerVT = VT;
22582 if (ContainerVT.isInteger())
22583 ContainerVT = getSVEContainerType(ContainerVT);
22585 SDVTList VTs = DAG.getVTList(ContainerVT, MVT::Other);
22594 if (ContainerVT.isInteger() && (VT != ContainerVT))
28442 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
28443 EVT LoadVT = ContainerVT;
28449 LoadVT = ContainerVT.changeTypeToInteger();
28460 EVT ExtendVT = ContainerVT.changeVectorElementType(
28464 Result = DAG.getNode(AArch64ISD::FP_EXTEND_MERGE_PASSTHRU, DL, ContainerVT,
28465 Pg, Result, DAG.getUNDEF(ContainerVT));
28467 Result = DAG.getNode(ISD::BITCAST, DL, ContainerVT, Result);
28479 EVT ContainerVT = getContainerForFixedLengthVector(DAG, InVT);
28486 auto Op1 = convertToScalableVector(DAG, ContainerVT, Mask);
28487 auto Op2 = DAG.getConstant(0, DL, ContainerVT);
28500 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
28516 PassThru = DAG.getUNDEF(ContainerVT);
28519 if (ContainerVT.isInteger())
28520 PassThru = DAG.getConstant(0, DL, ContainerVT);
28522 PassThru = DAG.getConstantFP(0, DL, ContainerVT);
28528 ContainerVT, DL, Load->getChain(), Load->getBasePtr(), Load->getOffset(),
28535 convertToScalableVector(DAG, ContainerVT, Load->getPassThru());
28536 Result = DAG.getSelect(DL, ContainerVT, Mask, Result, OldPassThru);
28551 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
28555 auto NewValue = convertToScalableVector(DAG, ContainerVT, Store->getValue());
28558 EVT TruncVT = ContainerVT.changeVectorElementType(
28565 getSVESafeBitCast(ContainerVT.changeTypeToInteger(), NewValue, DAG);
28569 getSVESafeBitCast(ContainerVT.changeTypeToInteger(), NewValue, DAG);
28584 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
28586 auto NewValue = convertToScalableVector(DAG, ContainerVT, Store->getValue());
28607 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
28608 SDValue Op1 = convertToScalableVector(DAG, ContainerVT, Op.getOperand(0));
28613 DAG.getNode(AArch64ISD::SRAD_MERGE_OP1, dl, ContainerVT, Pg, Op1, Op2);
28615 Res = DAG.getNode(ISD::SUB, dl, ContainerVT,
28616 DAG.getConstant(0, dl, ContainerVT), Res);
28668 EVT ContainerVT = getContainerForFixedLengthVector(DAG, Val.getValueType());
28669 Val = convertToScalableVector(DAG, ContainerVT, Val);
28675 switch (ContainerVT.getSimpleVT().SimpleTy) {
28704 EVT ContainerVT = getContainerForFixedLengthVector(DAG, Val.getValueType());
28705 Val = convertToScalableVector(DAG, ContainerVT, Val);
28708 switch (ContainerVT.getSimpleVT().SimpleTy) {
28740 EVT ContainerVT = getContainerForFixedLengthVector(DAG, InVT);
28741 SDValue Op0 = convertToScalableVector(DAG, ContainerVT, Op->getOperand(0));
28753 EVT ContainerVT = getContainerForFixedLengthVector(DAG, InVT);
28754 SDValue Op0 = convertToScalableVector(DAG, ContainerVT, Op->getOperand(0));
28756 auto ScalableRes = DAG.getNode(ISD::INSERT_VECTOR_ELT, DL, ContainerVT, Op0,
28774 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
28786 EVT NewVTArg = ContainerVT.changeVectorElementType(VTArg);
28793 Operands.push_back(convertToScalableVector(DAG, ContainerVT, V));
28797 Operands.push_back(DAG.getUNDEF(ContainerVT));
28799 auto ScalableRes = DAG.getNode(NewOp, DL, ContainerVT, Operands);
28827 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
28844 Ops.push_back(convertToScalableVector(DAG, ContainerVT, V));
28847 auto ScalableRes = DAG.getNode(Op.getOpcode(), SDLoc(Op), ContainerVT, Ops);
28859 EVT ContainerVT = SrcVT;
28861 ContainerVT = getContainerForFixedLengthVector(DAG, SrcVT);
28862 VecOp = convertToScalableVector(DAG, ContainerVT, VecOp);
28869 AccOp = DAG.getNode(ISD::INSERT_VECTOR_ELT, DL, ContainerVT,
28870 DAG.getUNDEF(ContainerVT), AccOp, Zero);
28873 SDValue Rdx = DAG.getNode(AArch64ISD::FADDA_PRED, DL, ContainerVT,
28932 EVT ContainerVT = getContainerForFixedLengthVector(DAG, SrcVT);
28933 VecOp = convertToScalableVector(DAG, ContainerVT, VecOp);
28976 EVT ContainerVT = getContainerForFixedLengthVector(DAG, InVT);
28977 SDValue Op1 = convertToScalableVector(DAG, ContainerVT, Op->getOperand(1));
28978 SDValue Op2 = convertToScalableVector(DAG, ContainerVT, Op->getOperand(2));
28988 auto ScalableRes = DAG.getNode(ISD::VSELECT, DL, ContainerVT,
28998 EVT ContainerVT = getContainerForFixedLengthVector(DAG, InVT);
29005 auto Op1 = convertToScalableVector(DAG, ContainerVT, Op.getOperand(0));
29006 auto Op2 = convertToScalableVector(DAG, ContainerVT, Op.getOperand(1));
29013 EVT PromoteVT = ContainerVT.changeTypeToInteger();
29056 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
29059 SrcOp1 = convertToScalableVector(DAG, ContainerVT, SrcOp1);
29060 SrcOp2 = convertToScalableVector(DAG, ContainerVT, SrcOp2);
29062 Op = DAG.getNode(AArch64ISD::SPLICE, DL, ContainerVT, Pg, SrcOp1, SrcOp2);
29077 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
29078 EVT ExtendVT = ContainerVT.changeVectorElementType(
29084 Val = convertToScalableVector(DAG, ContainerVT.changeTypeToInteger(), Val);
29086 Val = DAG.getNode(AArch64ISD::FP_EXTEND_MERGE_PASSTHRU, DL, ContainerVT,
29087 Pg, Val, DAG.getUNDEF(ContainerVT));
29298 EVT ContainerVT, SelectionDAG &DAG) {
29378 DAG.getNode(ISD::INTRINSIC_WO_CHAIN, DL, ContainerVT,
29400 DAG.getNode(ISD::INTRINSIC_WO_CHAIN, DL, ContainerVT,
29420 EVT ContainerVT = getContainerForFixedLengthVector(DAG, VT);
29421 Op1 = convertToScalableVector(DAG, ContainerVT, Op1);
29422 Op2 = convertToScalableVector(DAG, ContainerVT, Op2);
29435 Op = DAG.getNode(ISD::SPLAT_VECTOR, DL, ContainerVT, SplatEl);
29449 Op = DAG.getNode(AArch64ISD::INSR, DL, ContainerVT, Op2, Scalar);
29468 Op = DAG.getNode(ISD::BITCAST, DL, ContainerVT, Op);
29481 Op = DAG.getNode(ISD::BITCAST, DL, ContainerVT, Op);
29489 DAG, VT, DAG.getNode(AArch64ISD::ZIP1, DL, ContainerVT, Op1, Op2));
29494 DAG, VT, DAG.getNode(Opc, DL, ContainerVT, Op1, Op2));
29499 DAG, VT, DAG.getNode(AArch64ISD::ZIP1, DL, ContainerVT, Op1, Op1));
29504 DAG, VT, DAG.getNode(Opc, DL, ContainerVT, Op1, Op1));
29530 Op = DAG.getNode(ISD::VECTOR_REVERSE, DL, ContainerVT, Op1);
29537 DAG, VT, DAG.getNode(AArch64ISD::ZIP2, DL, ContainerVT, Op1, Op2));
29542 DAG, VT, DAG.getNode(Opc, DL, ContainerVT, Op1, Op2));
29547 DAG, VT, DAG.getNode(AArch64ISD::ZIP2, DL, ContainerVT, Op1, Op1));
29552 DAG, VT, DAG.getNode(Opc, DL, ContainerVT, Op1, Op1));
29565 return GenerateFixedLengthSVETBL(Op, Op1, Op2, ShuffleMask, VT, ContainerVT,