题目：Markov decision process and reinforcement learning for intelligent operation and maintenance

报告人：刘斌

讲座时间：2022年12月11日（星期日），10：30-11：30

讲座地点：综合楼644会议室

报告人简介：

刘斌博士，思克莱德大学管理科学系讲师（助理教授）。刘斌博士于2013年7月获浙江大学控制科学与工程专业工学学士学位；2017年8月在香港城市大学系统工程与工程管理系取得博士学位，从事系统可靠性及维护策略研究；2018年2月至2019年1月，在加拿大滑铁卢大学从事博士后研究；2019年1月至今，在英国思克莱德大学管理科学系任教，担任讲师（助理教授）。研究兴趣包括风险及可靠性分析，智能运维管理及数据驱动的决策分析。

摘要：

本次报告主要针对智能运维中的建模优化问题。首先基于前期研究，我将讨论基于马尔可夫决策过程的有限周期的视情维护策略。考虑二元件系统以及系统元件的退化过程具有随机相关性，用二元伽马过程来描述系统退化过程。系统元件服从周期性检测，当元件的退化程度超过预防性维护阈值时，其会被替换。该维护问题可以表示成马尔可夫决策过程并可用动态规划来求解。不同于无限周期的维护策略，有限周期的最优策略是动态的，其在每次检测都会变化。我们从理论上得出最优策略的性质并给出各种维护方式的界限。之后，我将简单讨论下在线强化学习及深度强化学习在智能运维中的运用，最终期望实现运维的自动化。