برنامهای روی سرور کند است یا با خطایی مبهم مانند «Permission denied» متوقف میشود، اما لاگ چیزی نمیگوید و کد منبع هم در دسترس نیست. در چنین شرایطی strace یکی از قدرتمندترین ابزارهای مدیر سیستم است: این ابزار تمام فراخوانیهای سیستمی (System Call) یک فرایند را، یعنی هر درخواستی که برنامه از کرنل برای باز کردن فایل، خواندن شبکه یا تخصیص حافظه میکند، لحظهبهلحظه نشان میدهد. با strace میتوانید ببینید برنامه دقیقاً کدام فایل را نمیتواند باز کند، روی کدام اتصال شبکه منتظر مانده و چقدر از وقتش صرف چه چیزی میشود. در این مقاله مفهوم فراخوانی سیستمی، گزینههای مهم strace، روش خواندن خروجی آن و چند سناریوی واقعی عیبیابی را میآموزید.
فراخوانی سیستمی چیست و چرا ردیابی آن پاسخ میدهد؟
در لینوکس هیچ برنامهای نمیتواند مستقیماً فایل بخواند، به شبکه بنویسد یا حافظه بگیرد؛ همه این کارها باید از طریق کرنل انجام شوند. مرز بین فضای کاربر (User Space) و کرنل، فراخوانی سیستمی است: توابعی مانند open، read، write، connect، mmap و futex. هر برنامهای، فارغ از اینکه به PHP، Python، Go یا C نوشته شده باشد، در نهایت با همین چند صد تابع با سیستمعامل حرف میزند. به همین دلیل ردیابی فراخوانیهای سیستمی زبانمستقل است و برای عیبیابی باینریهایی که سورس ندارند هم کار میکند.
سازوکار ptrace و هزینه آن
strace با استفاده از رابط ptrace کرنل، فرایند هدف را در هر ورود و خروج از فراخوانی سیستمی متوقف میکند، آرگومانها را میخواند و سپس اجازه ادامه میدهد. این توقف و ادامه برای هر فراخوانی هزینه دارد: برنامهای که با نرخ دهها هزار فراخوانی بر ثانیه، با کرنل تعامل دارد، زیر strace میتواند چند برابر کندتر شود. این سربار را به خاطر بسپارید؛ در بخش نکات ایمنی به آن بازمیگردیم.
نصب strace و دو روش اجرای آن
strace در مخازن همه توزیعها هست و حجم ناچیزی دارد:
sudo apt install strace # Debian / Ubuntu
sudo dnf install strace # AlmaLinux / Rocky
اجرای برنامه از ابتدا زیر strace
سادهترین حالت این است که نام برنامه را بعد از strace بنویسید. از همان لحظه execve تا خروج، هر فراخوانی چاپ میشود. برای ذخیره خروجی در فایل، گزینه -o را اضافه کنید تا خروجی برنامه با خروجی strace قاطی نشود:
strace -o /tmp/trace.txt php artisan migrate
strace -f -o /tmp/trace.txt ./myapp # -f فرایندهای فرزند را هم دنبال میکند
اتصال به فرایندی که در حال اجراست
برای سرویسهایی که از قبل بالا هستند، با -p به شناسه فرایند (PID) متصل میشوید. این کار به دسترسی root یا مالکیت فرایند نیاز دارد و روی Ubuntu به دلیل تنظیم امنیتی ptrace_scope، حتی برای فرایندهای خودتان ممکن است sudo لازم باشد:
sudo strace -f -p $(pgrep -o nginx) -e trace=network
sudo strace -p 1234 -s 200 -tt -T
با Ctrl+C از فرایند جدا میشوید و برنامه بدون آسیب به کار ادامه میدهد.
گزینههای strace که باید بشناسید
| گزینه | کارکرد | چه زمانی لازم است |
|---|---|---|
| -f | دنبال کردن فرایندهای فرزند و نخها | تقریباً در هر مورد؛ وبسرورها و php-fpm چندفرایندیاند |
| -p PID | اتصال به فرایند در حال اجرا | سرویسهای production |
| -e trace=file,network | فیلتر دستهای از فراخوانیها | کاهش نویز خروجی |
| -o FILE | نوشتن خروجی در فایل | ردیابیهای طولانی و تحلیل بعدی |
| -s N | طول رشتههای نمایشدادهشده (پیشفرض 32) | دیدن محتوای کامل کوئری یا درخواست HTTP |
| -T | زمان صرفشده داخل هر فراخوانی | پیدا کردن فراخوانیهای کند |
| -tt / -r | مهر زمانی مطلق / فاصله از فراخوانی قبلی | یافتن وقفهها و مکثها |
| -c | خلاصه آماری به جای خروجی خطبهخط | نگاه کلی سریع |
| -y | نمایش مسیر فایل کنار شماره توصیفگر (fd) | فهم اینکه read(7) از کدام فایل میخواند |
| -k | چاپ پشته فراخوانی برای هر syscall | یافتن تابعی که فراخوانی را صادر کرده |
خواندن خروجی strace: ساختار هر خط
هر خط خروجی سه بخش دارد: نام فراخوانی و آرگومانها، علامت مساوی و مقدار بازگشتی، و در صورت خطا نام ثابت errno به همراه توضیح. مثال:
openat(AT_FDCWD, "/etc/app/config.yml", O_RDONLY) = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/var/www/.env", O_RDONLY) = -1 EACCES (Permission denied)
connect(5, {sa_family=AF_INET, sin_port=htons(3306), sin_addr=inet_addr("10.0.0.5")}, 16) = -1 ETIMEDOUT
read(3, "SELECT * FROM orders WHERE"..., 8192) = 8192 <0.000042>
futex(0x7f3a1c000b60, FUTEX_WAIT_PRIVATE, 0, NULL) = 0 <4.998123>
مقدار بازگشتی منفی همراه با errno یعنی خطا؛ ENOENT فایل وجود ندارد، EACCES دسترسی رد شده، ETIMEDOUT و ECONNREFUSED مشکلات شبکه و EAGAIN معمولاً خطا نیست بلکه یعنی دادهای هنوز آماده نیست. عدد داخل < > که با -T ظاهر میشود مدت زمان فراخوانی (به ثانیه) است؛ در مثال بالا futex تقریباً پنج ثانیهای است، یعنی برنامه منتظر قفل یا نخ دیگری بوده است. توجه کنید که بسیاری از خطاهای ENOENT طبیعیاند، چون برنامهها معمولاً چند مسیر را به ترتیب امتحان میکنند تا فایل پیکربندی را پیدا کنند.
سناریوهای واقعی عیبیابی با strace
برنامه کند است و معلوم نیست وقتش کجا میرود
با گزینه -c ابتدا یک جمعبندی بگیرید: کدام فراخوانی بیشترین تعداد و بیشترین زمان را دارد؟ اگر زمان در read و write روی سوکت است، گلوگاه دیتابیس یا سرویس خارجی است؛ اگر در futex است، قفل داخلی یا انتظار برای نخ دیگر؛ اگر هزاران stat و openat میبینید، احتمالاً اپلیکیشن در هر درخواست صدها فایل را بررسی میکند (مشکل رایج PHP بدون OPcache یا با realpath_cache کوچک). سپس با -T -tt خروجی کامل بگیرید و خطوطی با زمان بالا را با awk پیدا کنید.
sudo strace -c -f -w -p $(pgrep -o php-fpm) # -w زمان واقعی بهجای زمان CPU
sudo strace -f -T -tt -o /tmp/slow.txt -p 1234
awk -F'<' '{ t=$NF; sub(/>/, "", t); if (t+0 > 0.5) print }' /tmp/slow.txt
خطای Permission denied بدون ذکر نام فایل
بسیاری از برنامهها فقط میگویند «نمیتوانم فایل را باز کنم» بدون اینکه بگویند کدام فایل. فیلتر -e trace=file تنها فراخوانیهای مربوط به مسیر فایل را نشان میدهد و اولین EACCES یا ENOENT معمولاً پاسخ است. این روش بهویژه وقتی مفید است که سرویس زیر یک کاربر محدود (www-data) اجرا میشود و پوشهای را به اشتباه با مالکیت root ساختهاید.
کدام فایل پیکربندی واقعاً خوانده میشود؟
سوال کلاسیک «php.ini من کجاست؟» یا «چرا تغییرم در nginx.conf اثر نکرد؟» با strace -e trace=openat در چند لحظه پاسخ میگیرد. ترتیب openat ها دقیقاً نشان میدهد برنامه کدام مسیرها را امتحان کرده و کدام یکی را با موفقیت باز کرده است. برای فایلهای include شده هم همین روش کار میکند.
اتصال شبکه که معلق میماند
اگر برنامه در لحظه اتصال به دیتابیس، Redis یا یک API خارجی گیر میکند، -e trace=network نشان میدهد connect به کدام آدرس و پورت رفته و چه نتیجهای گرفته است. تفاوت ECONNREFUSED (سرویس روی آن پورت گوش نمیدهد) و ETIMEDOUT (فایروال بستهها را دور میریزد) مسیر عیبیابی را کاملاً عوض میکند. همچنین اگر ببینید برنامه به 127.0.0.1 وصل میشود در حالی که انتظار داشتید به سرور دیگری برود، مشکل در پیکربندی است نه شبکه.
محدودیتهای strace و ابزارهای جایگزین
strace فقط مرز کاربر و کرنل را میبیند. اگر برنامه در حال محاسبه سنگین داخل خود کد است (مثلاً یک حلقه PHP که میلیونها بار تکرار میشود)، در خروجی strace چیزی جز سکوت نمیبینید. برای این موارد ابزار ltrace فراخوانی توابع کتابخانهای را نشان میدهد و perf نمونهبرداری از پردازنده را انجام میدهد. برای سرورهای production با فشار بالا، perf trace و ابزارهای مبتنی بر eBPF مانند bpftrace همان اطلاعات را با سربار بسیار کمتر میدهند، چون فرایند را متوقف نمیکنند.
نکات ایمنی هنگام استفاده از strace روی سرور production
- هرگز بدون محدودیت زمانی به فرایند اصلی یک سرویس شلوغ متصل نشوید؛ از timeout 30 strace ... یا Ctrl+C سریع استفاده کنید تا کندی ناشی از ptrace طولانی نشود.
- به جای master process، به یک worker خاص متصل شوید تا فقط بخش کوچکی از ترافیک تحت تأثیر قرار گیرد.
- همواره خروجی را با -o در فایل بنویسید و بعداً با grep و awk تحلیل کنید؛ چاپ روی ترمینال SSH خودش کند است و سربار اضافه میکند.
- از -s با مقدار بزرگ آگاهانه استفاده کنید: خروجی ممکن است شامل رمز عبور دیتابیس، توکن یا داده کاربران باشد. فایل ردیابی را پس از کار حذف کنید.
- اگر کرنل اجازه اتصال نمیدهد، مقدار kernel.yama.ptrace_scope را بررسی کنید و پس از پایان کار آن را به مقدار قبلی برگردانید.
- روی یک سرور مجازی تست با همان نسخه نرمافزار، سناریو را بازتولید کنید تا نیازی به ردیابی روی سرور اصلی نباشد.
جمعبندی
strace پنجرهای به گفتوگوی برنامه با کرنل است و به همین دلیل برای هر زبان و هر باینری کار میکند. سه گزینه -f، -p و -e trace= بیشترین کاربرد را دارند، -T و -c زمان را آشکار میکنند و -y و -s خروجی را خوانا میسازند. خطاهای ENOENT، EACCES، ECONNREFUSED و ETIMEDOUT در خروجی، معمولاً مستقیماً به ریشه مشکل اشاره میکنند. سربار ptrace را جدی بگیرید و روی سرورهای پرترافیک ردیابی را کوتاه، هدفمند و روی یک worker انجام دهید.
سوالات متداول
آیا strace برنامه را کند میکند؟
بله. هر فراخوانی سیستمی باعث دو توقف و ادامه از طریق ptrace میشود و برای برنامههایی با فراخوانیهای زیاد، کندی چند برابری رایج است. این اثر فقط تا زمانی که strace متصل است وجود دارد و پس از جدا شدن از بین میرود. برای ردیابی بلندمدت در production از perf trace یا ابزارهای eBPF استفاده کنید.
چرا strace -p میگوید Operation not permitted؟
یا فرایند متعلق به کاربر دیگری است و به sudo نیاز دارید، یا ماژول امنیتی Yama با تنظیم ptrace_scope برابر 1 اجازه اتصال به فرایندهای غیرفرزند را نمیدهد. در حالت دوم با sudo اجرا کنید یا بهطور موقت مقدار را با sysctl تغییر دهید. داخل کانتینرها نیز ممکن است قابلیت SYS_PTRACE حذف شده باشد.
تفاوت strace و ltrace چیست؟
strace فراخوانیهای سیستمی یعنی تماس با کرنل را نشان میدهد، در حالی که ltrace فراخوانی توابع کتابخانههای اشتراکی مانند libc یا libssl را ثبت میکند. وقتی مشکل در منطق برنامه یا تابعی خاص است، ltrace مفیدتر است؛ وقتی مشکل در فایل، شبکه یا دسترسی است، strace انتخاب درست است.
چگونه با strace بفهمم برنامه کدام فایلها را باز میکند؟
از strace -f -e trace=openat,open,stat -y استفاده کنید. گزینه -y مسیر فایل را کنار شماره توصیفگر چاپ میکند و با فیلتر file تمام فراخوانیهایی که آرگومان مسیر دارند دیده میشوند. برای برنامههای در حال اجرا، این دستور را با -p و PID ترکیب کنید.