处理多维数据集的有效方法

分块处理分区

最后一步是创建一个Forloop容器并对其进行配置，如下图所示：

InitExpression：@intCurrent = 0

EvalExpression：@intCurrent <@intCount

AssignExpression = @intCurrent + @p_MaxParallel

在For Loop容器内，添加一个脚本任务以准备XMLA查询，并添加两个Analysis Services处理任务，如下图所示：

在脚本任务，选择p_Cube，p_Database，p_MaxParallel，p_MeasureGroup为只读变量，并选择strProcessData，strProcessIndexes如读写变量。

在脚本编辑器中，编写以下脚本：

脚本是准备分别处理分区数据和索引所需的XMLA命令

#region Namespaces
using System;
using System.Data;
using System.Data.SqlClient;
using Microsoft.SqlServer.Dts.Runtime;
using System.Linq;
using System.Windows.Forms;
using Microsoft.AnalysisServices;
#endregion

namespace ST_00ad89f595124fa7bee9beb04b6ad3d9
{

    [Microsoft.SqlServer.Dts.Tasks.ScriptTask.SSISScriptTaskEntryPointAttribute]
    public partial class ScriptMain : Microsoft.SqlServer.Dts.Tasks.ScriptTask.VSTARTScriptObjectModelBase
    {


        public void Main()
        {
            Server myServer = new Server();

            string COnnStr= Dts.Connections["ssas"].ConnectionString;
            myServer.Connect(ConnStr);

            Database db = myServer.Databases.GetByName(Dts.Variables["p_Database"].Value.ToString());
            Cube objCube = db.Cubes.FindByName(Dts.Variables["p_Cube"].Value.ToString());
            MeasureGroup objMeasureGroup = objCube.MeasureGroups[Dts.Variables["p_MeasureGroup"].Value.ToString()];
            int maxparallel = (int)Dts.Variables["p_MaxParallel"].Value;


            int intcount = objMeasureGroup.Partitions.Cast().Where(x => x.State != AnalysisState.Processed).Count();

            if (intcount > maxparallel)
            {
                intcount = maxparallel;
            }

            var partitiOns= objMeasureGroup.Partitions.Cast().Where(x => x.State != AnalysisState.Processed).OrderBy(y => y.Name).Take(intcount);

            string strData, strIndexes;

            strData = " \r\n  \r\n";
            strIndexes = " \r\n  \r\n";

            string SQLCOnnStr= Dts.Variables["User::p_DatabaseConnection"].Value.ToString();



            foreach (Partition prt in partitions)
            {


                strData +=
                 "     \r\n " +
                 "       \r\n " +
                 "      ProcessData \r\n " +
                 "      UseExisting \r\n " +
                 "     \r\n";

                strIndexes +=
                "     \r\n " +
                "       \r\n " +
                "      ProcessIndexes \r\n " +
                "      UseExisting \r\n " +
                "     \r\n";



            }

            strData += "  \r\n";
            strIndexes += "  \r\n";

            Dts.Variables["strProcessData"].Value = strData;
            Dts.Variables["strProcessIndexes"].Value = strIndexes;

            Dts.TaskResult = (int)ScriptResults.Success;
        }

        #region ScriptResults declaration

        enum ScriptResults
        {
            Success = Microsoft.SqlServer.Dts.Runtime.DTSExecResult.Success,
            Failure = Microsoft.SqlServer.Dts.Runtime.DTSExecResult.Failure
        };
        #endregion

    }
}

现在，打开两个Analysis Services处理任务并手动定义任何任务（仅用于验证任务）。然后转到expression并将strProcessData变量分配给ProcessingCommandsFirst Task中的属性，并将strProcessIndexes变量分配给ProcessingCommands。

现在，您可以执行该程序包，如果发生错误，则仅当前批次将回滚（10个分区）。

可能的改善

您可以添加一些日志记录任务来跟踪软件包的进度，尤其是在处理大量分区时。

由于它包含有用的详细信息，因此我在个人博客上发布了此答案：

SSAS-处理多维数据集的有效方法

我还发表了一篇有关SQLShack的更多详细信息的文章：

处理SSAS多维OLAP多维数据集的有效方法