本发明涉及一种监控视频多维度行人行为智能分析系统及方法，该系统包括个体行为分析模块、小群组行为分析模块、群组行为分析模块、场景分析模块、行人行为维度评估模块、智能网关、应用逻辑集成模块和视频来源管理模块。该方法为：获取监控视频数据流，从监控视频数据流中提取视频帧，使用关键视频帧数据进行场景分类和行人行为维度的选择；合并场景和行人行为维度信息；进行行人行为分析模块选择的决策及管理数据的传输；通过选定的行为维度下的行人行为分析模块中集成的一种场景的行人行为分析模型，进行智能行为识别，输出最终行人行为识别结果。本发明可支持各种复杂监控场景和行人行为维度的行人行为识别。