Resource orchestration and configuration parameter search are key concerns for container-based infrastructure in cloud data centers. Large configuration search space and cloud uncertainties are often mitigated using contextual bandit techniques for resource orchestration including the state-of-the-art Drone orchestrator. Complexity in the cloud provider environment due to varying numbers of virtual machines introduces variability in workloads and resource metrics, making orchestration decisions less accurate due to increased nonlinearity and noise. Ksurf, a state-of-the-art variance-minimizing estimator method ideal for highly variable cloud data, enables optimal resource estimation under conditions of high cloud variability. This work evaluates the performance of Ksurf on estimation-based resource orchestration tasks involving highly variable workloads when employed as a contextual multi-armed bandit objective function model for cloud scenarios using Drone. Ksurf enables significantly lower latency variance of $41\%$ at p95 and $47\%$ at p99, demonstrates a $4\%$ reduction in CPU usage and 7 MB reduction in master node memory usage on Kubernetes, resulting in a $7\%$ cost savings in average worker pod count on VarBench Kubernetes benchmark.


翻译:资源编排与配置参数搜索是云数据中心容器化基础设施的核心问题。针对大规模配置搜索空间与云环境不确定性,业界常采用上下文多臂赌博机技术进行资源编排,其中先进的Drone编排器即为代表。云服务商环境中虚拟机数量的动态变化导致工作负载与资源指标的波动性增强,非线性与噪声的增加降低了编排决策的准确性。Ksurf作为一种先进的方差最小化估计方法,特别适用于高波动性云数据场景,能在强变异性条件下实现最优资源估计。本研究评估了Ksurf在基于估计的资源编排任务中的性能,该任务涉及高波动性工作负载,并通过Drone作为上下文多臂赌博机目标函数模型应用于云场景。实验表明:Ksurf在p95分位数下实现延迟方差降低41%,p99分位数降低47%;在Kubernetes集群中CPU使用率降低4%,主节点内存使用减少7MB;基于VarBench Kubernetes基准测试,平均工作节点Pod数量实现7%的成本节约。

0
下载
关闭预览

相关内容

专知会员服务
22+阅读 · 2021年8月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员