1
文檔 /
從Oracle數據庫故障到AIX內存管理.docx
從Oracle數據庫故障到AIX內存管理.docx
免費下載
某日，數據庫告警最最最核心的一套數據庫
1
節點
hang
，立馬打開連接窗口，查看當
前系統負載，發現
topas
已經無法執行，過濾
LOCAL=NO
會話
kill
掉已經無法執行，報
錯無法分配內存，無法連接數據庫，無奈只能重啟操作系統，恢復服務。
事后最終定位問題，發現在執行下面命令報錯無法分配內存，其實早已指明了故障原
因，服務器相關指標也早已指名內存不足，只是由于以下兩方面原因導致定位問題走了許
多彎路，甚至一度只能猜測原因：
?
AIX
內存由于大部分情況下有很大一部分
le cache
，導致監控長期顯示內存使
用率均在
90%
以上，所以并未真正注意
AIX
內存各個部分占用，導致故障服務器
內存其實早已在危險邊緣試探，而我們并未及時回應服務器，調整內存。
?
對
AIX
內存各個部分占比、管理方式、相關參數設置一知半解，導致未從監控數
據相關信息中發現這是由于內存不足
-
會話增長
-
內存耗盡導致。
下面就故障分析過程以及
AIX
內存管理分享，供大家參考。
1.
故障現象
?
監控系統告警數據庫
hang
，通過已連接
ssh
會話查看
CPU 100%
，服務器
hang
。
?
除已經連接用戶外，無法再通過
ssh
、
sqlplus
連接服務器。
環境概述
數據庫版本
11.2.0.4
，操作系統
AIX 7.1
2.
初步分析，是
Oracle
還是
OS
出了問題？
一般對于遠程連接無法執行命令，根據經驗一般為
swap
頻繁
page in
、
page out
，內存
耗盡導致，那到底是哪兒出了問題呢？下面就需要結合下面兩部分進行分析：
?
操作系統
nmon
、
oswatcher
數據
?
Oracle
集群日志、數據庫日志進行診斷。、
2.1
數據庫日志以及
ASH
分析
數據庫以及集群日志
?
故障節點
alert
日志
?
在故障前
alert
日志并無異常，故障期間，可以看到
alert
日志如下，
15:29
分之前日
志并無異常，未截取。
?
結合報錯
Error 1013 during filling up usn avail cache
，
Oracle Mos
有文檔，但是與
發生故障
Oracle
版本并不對應，現象也不匹配，所以可以僅僅作為參考。
Mon Jan 11 15:29:56 2021
AP01: warning -- apply server 20, sid 6085 waiting for event (since 731 seconds):
AP01: warning -- apply server 42, sid 6126 waiting for event (since 354 seconds):
AP01: warning -- apply server 45, sid 3788 waiting for event (since 342 seconds):
AP01: warning -- apply server 44, sid 3530 waiting for event (since 564 seconds):
AP01: warning -- apply server 40, sid 2419 waiting for event (since 343 seconds):
AP01: warning -- apply server 33, sid 4578 waiting for event (since 344 seconds):
Mon Jan 11 15:30:30 2021
AP01: warning -- apply server 31, sid 1049 waiting for event (since 435 seconds):
Mon Jan 11 15:32:07 2021
Mon Jan 11 15:32:07 2021
Mon Jan 11 15:32:07 2021
[27328748] Error 1013 during filling up usn avail cacheMon Jan 11 15:32:07 2021
[19595412] Error 1013 during filling up usn avail cache
***********************************************************************
***********************************************************************
Mon Jan 11 15:32:17 2021
[16058276] Error 1013 during filling up usn avail cache
Mon Jan 11 15:32:12 2021
[11799172] Error 1013 during filling up usn avail cache
Mon Jan 11 15:32:19 2021
[2886074] Error 1013 during filling up usn avail cache
Mon Jan 11 15:32:16 2021
?
集群日志
?
可以看到是在節點
1
告警
hang
之后，集群監測到了異常。
?
集群日志并無相關報錯信息，只是監測到
1
節點資源無法確定狀態，置為
unknown
，在其集群其他
crsd
、
cssd
、
agent
日志中均類似，并無相關資源或
進程報錯。
2021-01-11 15:30:48.975: [UiServer][11311]{1:44279:29645} Done for ctx=132437ab0
2021-01-11 15:32:27.616: [ COMMCRS][11568]clsc_auth_send: (1325a2470) Connection not active
of 11
免費下載
【版權聲明】本文為墨天輪用戶原創內容，轉載時必須標注文檔的來源（墨天輪），文檔鏈接，文檔作者等基本信息，否則作者和墨天輪有權追究責任。如果您發現墨天輪中有涉嫌抄襲或者侵權的內容，歡迎發送郵件至：contact@modb.pro進行舉報，并提供相關證據，一經查實，墨天輪將立刻刪除相關內容。
下載排行榜
文檔被以下合輯收錄
評論