1、BOSS
中间件部署
133.96.63.11---16营业中间件。133.96.63.17、18为备用环境
Kmyy1：310邯郸、314承德 （kmyy7、kmyy8）
Kmyy2：311石家庄、313张家口 （kmyy8、kmyy7）
上海双一流Kmyy3：312保定 （kmyy7、kmyy8）
Kmyy4：315唐山、319邢台 （kmyy8、kmyy7）
Kmyy5：316廊坊、318衡水 （kmyy7、kmyy8）
TUXEDO 维护
2012年4月17日
16:13
Kmyy6：317沧州、335秦皇岛 （kmyy8、kmyy7）
133.96.63.19、20是短信的中间件。两台服务器互备
tuxint：
破解qq空间相册133.96.63.21、22是外部接口的中间件。两台服务器互备
tuxdp，tuxint
133.96.63.23、24是客服的中间件。两台服务器互备
Tuxkf,tuxkfdp
133.96.63.25、26是账务的中间件。两台服务器互备
斯琴高娃
2、备用关系：
备用关系：
tuxyy（营业中间件）：备用服务器为133.96.63.17和133.96.63.18.
其中133.96.63.17节点负责接管奇数地市的服务。133.96.63.18则接管偶数地市的服务。
短信和掌厅务器为133.96.63.19和133.96.63.20，两台设备互备
其中133.96.63.19节点负责接管奇数地市的服务。133.96.63.20则接管偶数地市的服务。
接口中间件：服务器为133.96.63.21和133.96.63.22，两台设备互备
其中133.96.63.19节点负责接管奇数地市的服务。133.96.63.20则接管偶数地市的服务。
客服中间件：服务器为133.96.63.23和133.96.63.24，两台设备互备
其中133.96.63.21节点负责接管奇数地市的服务。133.96.63.22则接管偶数地市的服务。
网厅中间件：
备用服务器为133.96.44.11和133.96.44.12 ，两台设备互备
其中133.96.44.23节点负责接管奇数地市的服务。133.96.44.24则接管偶数地市的服务。
3、监控方式
1、通过133.96.64.32/GM/页面，用web的方式进行监控。页面刷新频率为5分钟一次。
2、手机短信：重点关注kmyy系列主机的内存、CPU及积压的告警短信
3、直接登录主机，执行tmadmin -> pq命令，检查有无队列积压
4、常用脚本
2499小游戏1、位置：用户名/apps/downwsl.sh 用途：停止域连接
2、位置：用户名/apps/kill_ipsc.sh 用途：在执行tmshutdown后无法成功终止tuxedo进程的情况下，使用此命令清除tuxedo的信号
量，强制终止tuxedo。此命令需慎用
3 、位置：/tuxyy/beamon/BEAMON.sh用途：可以用来分析中间件在一段时间内完成的交易数。进而可以分析中间件的负载情况
4、
5、常见故障
1、内存使用过高
故障特征：主机内存使用率上升，一般达到98%-100%
导致问题的原因：
a、主机中TUXEDO中间件的服务数过多
b、存在内存泄露
2、队列堆积
故障特征：在tmadmin -》pq命令中 q ueued列中出现长时间不为0的情况
联系人头像故障原因：
1、数据库故障导致交易无法及时完成。
2、业务增加阴道炎的症状表现
3、内存即将耗尽-----重启，或者找使用内存较大的进程（非中间件的）kill
4、CPU使用率过高------找出进程，具体分析。
5、网络阻塞、丢包-----找网管解决。
6、故障解决动漫电脑高清壁纸
内存使用过高
故障特征：主机内存使用率上升，一般达到98%-100%，进而导致服务器宕机。
问题1、主机中TUXEDO中间件的服务数过多
1、检查TUXEDO中间件的服务的内存使用情况：ps aux|head -1;ps aux |grep tuxyy |sort –rnk 6
其中第六项RSS项为服务占用。一般一个rver占用内存为100-200M，另外需要注意进程的开始时间，如果发生内存泄露，一般都是近期发生的。检查无内存泄露的情况下，则基本确认为服务数过多
2、与华为维护人员沟通，确认是否最近有人调整SERVER数
3、停止发生故障的服务器的域连接命令：用户目录/apps/downwsl.sh
4、停止TUXEDO中间件运行：命令：tmshutdown -cy -w1
备注：执行此命令时，需要注意令的返回值，注意tuxedo是否成功停止。如果无法停止，且在紧急情况下执行：kill_ipsc.sh脚本，直接杀死tuxedo的信号量。
5、导出配置文件 tmunloadcf > 文件名
6、修改配置文件，降低配置SERVER的并发数
7、Tmloadcf -y 文件名导入配置文件
8、tmboot -y 启动tuxedo。
9、在服务器中监视内存使用情况，内存占用在80%下即可。
问题2、存在内存泄露
1、检查TUXEDO中间件的服务的内存使用情况：
其中第六项RSS项为服务占用。一般一个rver占用内存为100-200M
2、目前用户名/app/rver.ini中设置的men_max_size=200M，说明当一个rver中内存占用超过200M时，系统将自动回收
重启后生效
3、确认内存泄露的rver：首先将用户名/app/rver.ini中log_level提高，修改成63可能（设置为63将生成大量的日志，需要时刻关注
文件系统的使用情况），然后通过分析日志找到具体的SERVER
在正式环境中，一般不出现内存泄露。
队列堆积
故障特征：在tmadmin -》pq命令中 q ueued列中出现长时间不为0的情况
故障原因：
1、数据库故障导致交易无法及时完成。
2、业务增加
3、内存即将耗尽
4、CPU使用率过高。
5、网络阻塞、丢包。
问题1、数据库故障导致交易无法及时完成
1、执行tmadmin -> pq判断是否存在积压。
2、根据pq命令中返回的存在积压的队列的queue name 执行psr -q “queuename”
找到积压的队列的ID号
3、执行ps -ef|grep queuename|grep ID 找到相关的进程
4、执行Procstack 进程号查看相关的信息，从中找到业务相关的信息。
问题2、业务增加
1、执行tmadmin -> pq判断是否存在积压，如存在大量积压，则记住其中queue name列的
2、tmunloadcf 导出配置文件
3、检查积压的“queue name”在配置文件的配置，注意SRVID及MIN、MAX项，如果min不等于max
则可以临时性的增加rver数，
例如 SRVID =100 max=100 min-50
命令tmboot -I 151 -i152-i153.。。。。。。。
此命令是临时性增加rver数。tuxedo重启后，将丢失。因此如果是要永久性改变还是要更改配置文件。
4、永久性增加需要重启tuxedo
问题3、内存即将耗尽
1、情况允许的情况下，可以尝试重启tuxedo，以释放一些内存
2、ps aux|head -1;ps aux |grep -v tuxyy |sort –rnk 6：找到占用内存较大的进程，在确认可行的情况下，可以将其kill掉。
2012/9/12 13:46补充
兼收并蓄的意思修改Tuxedo连接的数据库实例
症状：数据库实例存在问题，导致中间件无法连接到数据库实例
修改方法：
1、首先终止WSL连接，apps/downwsl.sh
2、导出配置文件，tmunloadcf &fig
3、修改配置文件，具体的修改方法是在fig的GROTP段，修改相应的“SqlNet=XXXXX”其中XXXXX是数据库的实例名
4、停止中间件进程，tmshutdown -cy -w1。
5、tmipcrm -y 杀死信号量
6、重新加载配置文件tmloadcf -y fig
7、启动中间件tmboot -y
2012/9/27 15:23 补充
重启主机后，启动TUXEDO步骤
1.
刷共享内存
1、使用shm用户登录，密码shm_ng01
2、cd /shm/lib
3、先执行dbc_load.sh，然后执行brf_load.sh
检查：dbc_admin dbc_conf.ini进入命令行后输入desc，看一下多少张表，一般是134张。按q退出。
正常重启tuxedo
2.
2012/6/1 10:17
tuxedo故障补充
1、应用挂起
症状：
Server处理完的请求数不变 ( 使用name命令，发现ID列中数据不变，说明该rve一直在处理同一个rver）
Server一直在处理一个请求 ( 使用echo pq|tmadmin发现队列积压，使用echo psr|tmadmin |grep rver name命令，发现load done列中数据不变，说明该rve一直在处理同一个rver)
可能的分析：
Server代码中有死循环
对数据的访问长时间无法完成
网络连接意外断开
阻塞在内核函数调用中
