• 房奴!房奴!亚历山大幸福吗? 2019-07-17
  • 听语音判断酒有没有装满 人工智能技术推进杭企实现智能制造 2019-07-17
  • 爱因斯坦是种族主义者?其亚洲日记充满对中国人的偏见 2019-07-17
  • 【学习时刻】颜晓峰少将:加快把人民军队建设成为世界一流军队的强军纲领 2019-07-17
  • 四川省社会科学院一行到访杭州城研中心 2019-07-16
  • 王春刚任天津市和平区人民政府副区长 2019-07-16
  • 你才是“蠢货”!土地是自然存在的地球的一部分,并不是人类劳动成果,哪来价值?土地不是劳动成果,没有价值,正如空气和阳光不是劳动成果,没有价值一样。懂吗... 2019-07-01
  • 努比亚Z17(尊享版全网通)图片 2019-06-21
  • 孙杰解读世界经济黄皮书2018年世界经济形势分析与预测 2019-06-20
  • 小米之家南京旗舰店今日正式开业 2019-06-09
  • 湖州:“最多跑一次”利民惠企提速15条出台 2019-06-09
  • “会生气的存钱罐”获日本最佳创意玩具奖 2019-06-09
  • 网售私房粽游走法律边缘 打养生旗号难以说清依据 2019-06-08
  • 江苏省级机关br“‘两聚一高’先锋行动队”党支部书记培训班在河南大学举办 2019-06-08
  • 回复@信马克.blog:伪教授一边卖萌去…… 2019-06-07
  •  

    记一次流量暴增造成的“生产事故”优化经历!

    威士忌冰球技巧联龙科技认为

    威士忌冰球技巧 www.wlyqh.tw 在一次正常的活动促销之后,客服开始陆续反馈有用户反应在抢标的时候打不开网页或者 APP,在打开的时候标的就已经被抢光了。

    刚开始没有特别的上心,觉得抢标不就是这样吗,抢小米手机的时候不也是这样吗?

    随着活动继续推进,有更多的用户强烈抗议,用户领了加息券或者抵现券之后抢不上标的,认为是平台作假故意不让他们使用以达到节省资源。

    分析过程

    以前也会有陆续的用户反馈不减少的情况,给客户以小米抢手机为例子解释就过去了,这次用户反馈太过强烈,才让我们重视了起来。

    我们前端一共有三款产品:APP、官网和 H5,其中 APP 使用量最大,官网其次,H5 平时使用量极少但是做活动期间流量会暴增(活动一般都是 H5 游戏居多,H5 也便于推广营销)。

    前端的三款产品都是分别使用 LVS 负载到后端的两台 Web 服务器中(如下图),这次用户反馈基本在 Web 和 APP 端,所以重点观察这四台服务器。

    首先怀疑网络带宽是否被涌满,找到网络工程师通过工具来监控,在抢标的时候带宽最高使用率只有 70% 左右,随排除之。

    再次怀疑 Web 服务器是否抗不住了,使用 top 命令查看官网负载的两台服务器,在抢标的瞬间会飙到 6-8 左右,抢标后也慢慢的恢复了正常,APP 两台服务器高峰到 10-12,随后也恢复正常。

    跟踪 Web 服务器业务日志,发现在数据库更新层报请求不到新的数据库连接或者数据库连接已经用完,认为是数据库的最大连接数太小,于是调整 MySQL 数据库最大连接数为以往的 3 倍。

    下次抢标的时候继续观察业务日志,发现已经不报数据库连接的相关错误了,但还是很多用户反馈抢标时候打不开页面。

    继续跟踪 Web 服务器,在抢标时使用命令(ps -ef|grep httpd|wc -l)查看 httpd 的连接数有 1000 左右,随机查看 Apache 配置文件中设置的最大连接数为 1024(Apache 默认的最大连接数为 256)。

    原来抢标期间连接数已经到达最大连接数,很多用户在抢标的过程中已经获取不到 http 连接导致页面无响应或者 APP 一直在等待中。于是调整 Apache 配置文件中的最大连接数为 1024*3。

    在抢标过程中继续观察,Apache 的连接数在抢标的时候仍然可以飙到 2600-2800 之间,根据客服反馈,仍然有很多用户反馈抢标的问题,但比之前稍微好一点,但是有零星的用户反馈已经抢到标的,最后又给回退了。

    然后继续观察数据库服务器,使用 top 命令和 MySQL Workbench 查看 MySQL 主库和从库的各项负载吓一跳(如下图),MySQL 服务器主库的各项指标均已经达到峰值,而从库几乎没有太大压力。

    跟踪代码发现,三端的业务代码全部连接主库,从库只有后台的查询业务在使用,于是立刻启动改造。

    在一次正常的活动促销之后,客服开始陆续反馈有用户反应在抢标的时候打不开网页或者 APP,在打开的时候标的就已经被抢光了。

    刚开始没有特别的上心,觉得抢标不就是这样吗,抢小米手机的时候不也是这样吗?

    随着活动继续推进,有更多的用户强烈抗议,用户领了加息券或者抵现券之后抢不上标的,认为是平台作假故意不让他们使用以达到节省资源。

    分析过程

    以前也会有陆续的用户反馈不减少的情况,给客户以小米抢手机为例子解释就过去了,这次用户反馈太过强烈,才让我们重视了起来。

    我们前端一共有三款产品:APP、官网和 H5,其中 APP 使用量最大,官网其次,H5 平时使用量极少但是做活动期间流量会暴增(活动一般都是 H5 游戏居多,H5 也便于推广营销)。

    前端的三款产品都是分别使用 LVS 负载到后端的两台 Web 服务器中(如下图),这次用户反馈基本在 Web 和 APP 端,所以重点观察这四台服务器。

    首先怀疑网络带宽是否被涌满,找到网络工程师通过工具来监控,在抢标的时候带宽最高使用率只有 70% 左右,随排除之。

    再次怀疑 Web 服务器是否抗不住了,使用 top 命令查看官网负载的两台服务器,在抢标的瞬间会飙到 6-8 左右,抢标后也慢慢的恢复了正常,APP 两台服务器高峰到 10-12,随后也恢复正常。

    跟踪 Web 服务器业务日志,发现在数据库更新层报请求不到新的数据库连接或者数据库连接已经用完,认为是数据库的最大连接数太小,于是调整 MySQL 数据库最大连接数为以往的 3 倍。

    下次抢标的时候继续观察业务日志,发现已经不报数据库连接的相关错误了,但还是很多用户反馈抢标时候打不开页面。

    继续跟踪 Web 服务器,在抢标时使用命令(ps -ef|grep httpd|wc -l)查看 httpd 的连接数有 1000 左右,随机查看 Apache 配置文件中设置的最大连接数为 1024(Apache 默认的最大连接数为 256)。

    原来抢标期间连接数已经到达最大连接数,很多用户在抢标的过程中已经获取不到 http 连接导致页面无响应或者 APP 一直在等待中。于是调整 Apache 配置文件中的最大连接数为 1024*3。

    在抢标过程中继续观察,Apache 的连接数在抢标的时候仍然可以飙到 2600-2800 之间,根据客服反馈,仍然有很多用户反馈抢标的问题,但比之前稍微好一点,但是有零星的用户反馈已经抢到标的,最后又给回退了。

    然后继续观察数据库服务器,使用 top 命令和 MySQL Workbench 查看 MySQL 主库和从库的各项负载吓一跳(如下图),MySQL 服务器主库的各项指标均已经达到峰值,而从库几乎没有太大压力。

    跟踪代码发现,三端的业务代码全部连接主库,从库只有后台的查询业务在使用,于是立刻启动改造。

    在一次正常的活动促销之后,客服开始陆续反馈有用户反应在抢标的时候打不开网页或者 APP,在打开的时候标的就已经被抢光了。

    刚开始没有特别的上心,觉得抢标不就是这样吗,抢小米手机的时候不也是这样吗?

    随着活动继续推进,有更多的用户强烈抗议,用户领了加息券或者抵现券之后抢不上标的,认为是平台作假故意不让他们使用以达到节省资源。

    分析过程

    以前也会有陆续的用户反馈不减少的情况,给客户以小米抢手机为例子解释就过去了,这次用户反馈太过强烈,才让我们重视了起来。

    我们前端一共有三款产品:APP、官网和 H5,其中 APP 使用量最大,官网其次,H5 平时使用量极少但是做活动期间流量会暴增(活动一般都是 H5 游戏居多,H5 也便于推广营销)。

    前端的三款产品都是分别使用 LVS 负载到后端的两台 Web 服务器中(如下图),这次用户反馈基本在 Web 和 APP 端,所以重点观察这四台服务器。

    首先怀疑网络带宽是否被涌满,找到网络工程师通过工具来监控,在抢标的时候带宽最高使用率只有 70% 左右,随排除之。

    再次怀疑 Web 服务器是否抗不住了,使用 top 命令查看官网负载的两台服务器,在抢标的瞬间会飙到 6-8 左右,抢标后也慢慢的恢复了正常,APP 两台服务器高峰到 10-12,随后也恢复正常。

    跟踪 Web 服务器业务日志,发现在数据库更新层报请求不到新的数据库连接或者数据库连接已经用完,认为是数据库的最大连接数太小,于是调整 MySQL 数据库最大连接数为以往的 3 倍。

    下次抢标的时候继续观察业务日志,发现已经不报数据库连接的相关错误了,但还是很多用户反馈抢标时候打不开页面。

    继续跟踪 Web 服务器,在抢标时使用命令(ps -ef|grep httpd|wc -l)查看 httpd 的连接数有 1000 左右,随机查看 Apache 配置文件中设置的最大连接数为 1024(Apache 默认的最大连接数为 256)。

    原来抢标期间连接数已经到达最大连接数,很多用户在抢标的过程中已经获取不到 http 连接导致页面无响应或者 APP 一直在等待中。于是调整 Apache 配置文件中的最大连接数为 1024*3。

    在抢标过程中继续观察,Apache 的连接数在抢标的时候仍然可以飙到 2600-2800 之间,根据客服反馈,仍然有很多用户反馈抢标的问题,但比之前稍微好一点,但是有零星的用户反馈已经抢到标的,最后又给回退了。

    然后继续观察数据库服务器,使用 top 命令和 MySQL Workbench 查看 MySQL 主库和从库的各项负载吓一跳(如下图),MySQL 服务器主库的各项指标均已经达到峰值,而从库几乎没有太大压力。

    跟踪代码发现,三端的业务代码全部连接主库,从库只有后台的查询业务在使用,于是立刻启动改造。

    无锡联龙科技专业无锡做网站公司欢迎新老客户洽谈与合作!
     
     
    联龙科技Copyright @ 2008-2017 威士忌冰球技巧 Technology lnc. All permissions are reserved.
    备案号:苏ICP备12001015号 法律声明 网站地图 工商查询
    无锡网络公司
    news
    more
  • 房奴!房奴!亚历山大幸福吗? 2019-07-17
  • 听语音判断酒有没有装满 人工智能技术推进杭企实现智能制造 2019-07-17
  • 爱因斯坦是种族主义者?其亚洲日记充满对中国人的偏见 2019-07-17
  • 【学习时刻】颜晓峰少将:加快把人民军队建设成为世界一流军队的强军纲领 2019-07-17
  • 四川省社会科学院一行到访杭州城研中心 2019-07-16
  • 王春刚任天津市和平区人民政府副区长 2019-07-16
  • 你才是“蠢货”!土地是自然存在的地球的一部分,并不是人类劳动成果,哪来价值?土地不是劳动成果,没有价值,正如空气和阳光不是劳动成果,没有价值一样。懂吗... 2019-07-01
  • 努比亚Z17(尊享版全网通)图片 2019-06-21
  • 孙杰解读世界经济黄皮书2018年世界经济形势分析与预测 2019-06-20
  • 小米之家南京旗舰店今日正式开业 2019-06-09
  • 湖州:“最多跑一次”利民惠企提速15条出台 2019-06-09
  • “会生气的存钱罐”获日本最佳创意玩具奖 2019-06-09
  • 网售私房粽游走法律边缘 打养生旗号难以说清依据 2019-06-08
  • 江苏省级机关br“‘两聚一高’先锋行动队”党支部书记培训班在河南大学举办 2019-06-08
  • 回复@信马克.blog:伪教授一边卖萌去…… 2019-06-07
  • 捕鱼达人电子 弗赖堡多特蒙德 斯巴达闯关 50弥勒 德甲球队名称 昂热球队 魔法元素怎么玩 十一运夺金开奖规则 798游戏龙王捕鱼 毕尔巴鄂开车到图卢兹