問題描述

https://access.redhat.com/solutions/31453

https://access.redhat.com/zh_CN/solutions/695633

系統(tǒng)變?yōu)闊o響應狀態(tài)并產(chǎn)生以下信息 "INFO: task <process>:<pid> blocked for more than 120 seconds".

Solution 已驗證 - 已更新 2018年三月20日07:56 - 
中文 (中國)

環(huán)境

²  Red Hat Enterprise Linux (RHEL) 5.5 (kernel-2.6.18-194) 或更高版本

²  Red Hat Enterprise Linux (RHEL) 6

²  Red Hat Enterprise Linux (RHEL) 7

²  進程處于無法中斷的睡眠狀態(tài) (D state)

問題

²  在系統(tǒng)變?yōu)闊o響應前，/var/log/messages 中記錄了以下信息：

Raw

INFO: task <process>:<pid> blocked for more than 120 seconds

²  是什么原因?qū)е庐a(chǎn)生上面的信息？在對這個問題進行故障排除時需要什么信息？

決議

• 這些信息通常意味著，系統(tǒng)存在磁盤或內(nèi)存阻塞問題，進程無法獲得可用的資源。
• 請參閱 "How do I use hung task check?" 中 CAUTIONS 一段的內(nèi)容。
• 這些信息通常用來提示用戶注意與操作優(yōu)化有關(guān)的問題。這些信息并不一定代表出現(xiàn)了嚴重的問題，而被阻塞的進程通常會在系統(tǒng)恢復正常狀態(tài)時被處理。
• 如果需要進一步的故障診斷，根據(jù) How do I use hung task check in RHEL ? 的內(nèi)容產(chǎn)生一個 vmcore，并和紅帽的技術(shù)支持一起合作分析 vmcore。
• 如果處于掛起狀態(tài)的任務是第三方的應用程序，請同時請求相關(guān)應用程序廠商的支持。
• 如果您已了解到這些任務掛起信息是因為特定錯誤造成的，您也可以禁止產(chǎn)生這些信息。但是，我們并不建議這樣做，這也不可能防止任務掛起問題的出現(xiàn)。如果您需要禁止產(chǎn)生這些信息，請進行以下操作：

# sysctl kernel.hung_task_timeout_secs=0

• 如果任務掛起導致系統(tǒng)崩潰，而且您已知道了造成這個問題的原因，則可以通過把以下內(nèi)容添加到 /etc/sysctl.conf 中來避免系統(tǒng)崩潰。在進行改變后，需要運行 'sysctl -p' 以使改變生效。

Raw

kernel.hung_task_panic = 0

根源

• Red Hat Enterprise Linux 5.5 使用的內(nèi)核版本 2.6.18-194 中增加了一個 Detect Hung Task 內(nèi)核線程 (khungtaskd)，它的功能是檢測到那些已處于 D-state ( Uninterruptible Sleep (UN) ) 狀態(tài)超過了一定時間（默認是 120 秒）的任務，并把以下類型的信息記錄到系統(tǒng)日志文件中（例如，/var/log/messages）。

Raw

"INFO: task <process>:<pid> blocked for more than 120 seconds"

• khungtaskd 內(nèi)核線程會監(jiān)控進程的狀態(tài)，并檢查是否有進程已處于不可中斷的狀態(tài)超過了 "kernel.hung_task_timeout_secs" sysctl 參數(shù)所設定的時間長度（這個系統(tǒng)參數(shù)的默認值是 120 秒）。如果存在這樣的進程，它會在日志中記錄這個情況，并記錄下阻塞進程的調(diào)用回溯信息。為了防止產(chǎn)生大量的日志數(shù)據(jù)，在默認情況下，這個監(jiān)控進程只會報告檢測到的最先發(fā)生的 10 個掛起任務，以后將不再報告。因此，即使不再產(chǎn)生相關(guān)的信息，仍然有可能存在阻塞的任務。
• 檢查與以下類似的信息：

診斷步驟

Raw

INFO: task syslogd:2643 blocked for more than 120 seconds.  

"echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.  

syslogd D ffff81000237eaa0 0 2643 1 2646 2634  

(NOTLB)  

ffff8101352c3d88 0000000000000086 ffff8101352c3d98 ffffffff80063ff8  

0000000000001000 0000000000000009 ffff81013d2c57e0 ffff810102ac1820  

0000340b30708992 0000000000000571 ffff81013d2c59c8 000000010000089f  

Call Trace:  

[<ffffffff80063ff8>] thread_return+0x62/0xfe  

[<ffffffff88036d8a>] :jbd:log_wait_commit+0xa3/0xf5  

[<ffffffff800a1ba4>] autoremove_wake_function+0x0/0x2e  

[<ffffffff8803178a>] :jbd:journal_stop+0x1cf/0x1ff  

[<ffffffff8002ff40>] __writeback_single_inode+0x1e9/0x328  

[<ffffffff800e1464>] do_readv_writev+0x26e/0x291  

[<ffffffff800f3d9d>] sync_inode+0x24/0x33  

[<ffffffff8804c36d>] :ext3:ext3_sync_file+0xc9/0xdc  

[<ffffffff8005073a>] do_fsync+0x52/0xa4  

[<ffffffff800e1ce9>] __do_fsync+0x23/0x36  

[<ffffffff8005e28d>] tracesys+0xd5/0xe0

• 在發(fā)生問題時獲取以下數(shù)據(jù)：

Raw

# uname -a > /tmp/uname.out

# ifconfig > /tmp/ifcongfig.out

# top -n 5 -b > /tmp/top.out

# vmstat 1 50 > /tmp/vm.out

# iostat -x 2 10 > /tmp/io.out

# ps aux > /tmp/ps.out

# ps auxH > /tmp/psh.out

# sar -A > /tmp/sar.out

# free > /tmp/free.out

# lsof > /tmp/lsof.out

運行以下命令以提供相關(guān)的數(shù)據(jù)：
Raw

# tar -cjvf outputs.tar.bz2 /tmp/*.out

# tar -cjvf message.tar.bz2 /var/log/message*

• 檢查這個問題是否是因為使用遠程文件系統(tǒng)（如 NFS）造成處理延遲。例如，如果有大量 NFS 服務器請求，就可能會造成這個問題。

Raw

$ grep MYAPP lsof | grep oracle

MYAPP    7096     1062  cwd    DIR    0,18     0     558301 /oracle/prd/fs_ne/inst/conc/log

...

$ grep nfs mount

remotehost@:/ on /oracle/prd/fs_ne/inst type nfs (rw,nosuid)