← تمام مضامین پر واپس

3,744 سطری پائپ لائن کو کھولنا، اور پھر اسی پر لانچ ویک اینڈ گزارنا

شائع کردہ: آخری تازہ کاری:
candyrushci-cdtoolingevidence

اگست میں CandyRush کی Unity بلڈ پائپ لائن ایک ہی 3,744 سطری ci.yml تھی۔ یہی ایک فائل ٹیسٹ سویٹس، چار پلیٹ فارم بلڈز، آرٹیفیکٹ کی اشاعت، آرٹیفیکٹس کے درمیان ڈیٹرمنزم کی تصدیق، کارکردگی میں گراوٹ کا گیٹ، Discord اعلانات، اور تین Steam depot لینیں چلاتی تھی۔ میں نے اسے کھول کر الگ کیا۔ دس ہفتے بعد اسی نے گیم کو Steam لانچ تک پہنچایا۔

یہ ہے جو بدلا، GitHub API سے حاصل کیے گئے 1,290 workflow رنز سے ناپا گیا (جون تا نومبر 2026؛ تنظیمِ نو تقریباً 26 اگست کو مکمل ہوئی):

پہلے (جولائی تا 25 اگست)بعد میں (26 اگست تا 2 نومبر)
پل ریکوئسٹ چیکس، کامیابی کی شرح6% (جولائی)، 66% (1-25 اگست)93% (ستمبر)، 100% (اکتوبر، نومبر)
پل ریکوئسٹ چیکس، درمیانی وقتتقریباً 28 منٹ، ہر PR پر مکمل Unity سویٹتقریباً 1 منٹ؛ سویٹ ہر push پر ایک بار چلتا ہے
ہر فعال دن پائپ لائن کا کل وقت348 منٹ (اگست کے شروع میں)207 منٹ (اکتوبر)
ریلیز (main) ڈیپلائے—8 میں سے 8 کامیاب، بشمول 1-2 نومبر، لانچ ویک اینڈ

پائپ لائن نیچے سے بدلتی رہی مگر کام کی رفتار برقرار رہی: اگست میں 144 پل ریکوئسٹس مرج ہوئیں، ستمبر میں 80، اکتوبر میں 82۔

باقی تحریر یہ بتاتی ہے کہ یہ کیسے ہوا، بشمول وہ متوازی تقسیم جسے میں نے ناپ کر واپس لیا، اور وہ چار نقص جن میں سے ہر ایک مستقل گیٹ بن گیا۔

آغاز کہاں سے ہوا

ایسی فائل ہمیشہ اسی طرح بڑھتی ہے۔ اگست کے شروع میں 1,039 سطریں۔ 19 تاریخ تک 2,082۔ 22 تاریخ کو 3,547، اور اسی دن عروج پر 3,744۔

اصل مسئلہ حجم نہیں تھا۔ تکرار تھی:

  • rclone کی تیاری: دس ہو بہو نقلیں
  • Unity mutex + لانچ + نتیجہ جانچنے والا بلاک: سات نقلیں
  • R2 ماحولیاتی بلاک: چودہ نقلیں

اور یہ نقلیں ایک دوسرے سے ہٹ چکی تھیں۔ کچھ rclone نقلیں خاموشی سے ٹول کیش پر واپس چلی جاتی تھیں، کچھ انسٹال کا لاگ لکھتی تھیں، اور macOS والی نقلوں میں ایک آرکیٹیکچر سوئچ تھا جو Windows والی میں نہیں تھا۔ سات Unity بلڈ بلاکس میں سے صرف کچھ ہی یہ جانچتے تھے کہ واقعی کوئی پلیئر بنا یا نہیں، اور یہ اہم ہے، کیونکہ Unity کچھ بنائے بغیر صفر پر ختم ہو جائے، ایسا اس سے کہیں زیادہ ہوتا ہے جتنا کوئی چاہے گا۔

اصل محرک صفائی نہیں تھا۔ دوسری گیم تھی۔ لکھا ہوا ہدف یہ تھا: اگلا پروجیکٹ صرف .github/ کاپی کر کے اور چند ریپوزٹری متغیرات سیٹ کر کے کھڑا ہو، YAML میں کوئی ترمیم نہ ہو۔ ہر ہارڈ کوڈڈ Steam app ID، depot نمبر، بلڈر namespace اور bucket prefix اس ہدف کی راہ میں رکاوٹ تھا۔

پہلی لہر: تقسیم سے پہلے ناپیں

سویٹ ایک ہی job کے طور پر چلتا تھا (پہلے EditMode، پھر PlayMode، پھر بلڈز)، کل وقت 72 منٹ۔ واضح قدم یہ تھا کہ اسے تین متوازی jobs میں بانٹ دیا جائے۔

حساب درست لگتا تھا۔ ہر job کی ابتدائی تیاری (ورک اسپیس کی صفائی، vendor پیک، پیکج مینی فیسٹ، ایڈیٹر کی تلاش) 21 سیکنڈ ناپی گئی۔ اسے تین بار ادا کرنے سے تقریباً 42 سیکنڈ اضافی لگتے، اور بدلے میں اہم راستے سے تقریباً دس منٹ کم ہو جاتے۔

اسے رکھنے سے پہلے میں نے اسے ناپا:

ڈیزائنEditModePlayModeبلڈزکل وقت
یک سنگی (ایک job)10m14s15m31s~46m72m09s
تین طرفہ تقسیم24m25s18m27s69m23s69m
دو طرفہ (سویٹس ∥ بلڈز)مجموعی 46m03s~55m

تین طرفہ تقسیم سے تقریباً 4% فائدہ ہوا۔ دو طرفہ تقسیم سے 25%، اور یہی لائیو ہوئی۔

پیمائش نے وجہ بھی بتا دی۔ CPU پر منحصر EditMode سویٹ تین طرفہ تقسیم میں 2.4 گنا سست چلا، کیونکہ تینوں runner سلاٹس ایک ہی فزیکل مشین پر چلنے والی مثالیں ہیں۔ تیسرے بیک وقت چلنے والے Unity ایڈیٹر نے کوئی گنجائش نہیں بڑھائی؛ اس نے اسی مشین کو مزید بانٹ دیا۔

ابتدائی تیاری کا حساب درست تھا مگر غیر متعلق۔ سوال کبھی تقسیم کی لاگت کا نہیں تھا۔ سوال یہ تھا کہ کیا مشین میں اتنی گنجائش ہے کہ اس میں تقسیم کی جا سکے۔

دو سلاٹس پر طے ہونے سے وہ مشینری بھی ختم ہو گئی جو صرف تین طرفہ تقسیم کے لیے موجود تھی: ایک پورا report job، نتائج کی XML فائلوں کی منتقلی، اور ہر سویٹ کے دو خلاصہ اقدامات۔ پیمائش اب workflow کے اپنے ابتدائی تبصرے میں درج ہے، تاکہ کوئی غلطی سے یہ تجربہ دوبارہ نہ کرے۔ اس دوران نکالا گیا composite action برقرار رہا، اور دہرائی گئی تیاری دوبارہ کبھی واپس نہیں آئی۔

دوسری لہر: تحلیل

تین دن بعد اصل تنظیمِ نو ہوئی:

 .github/actionlint.yaml      |   27 +
 .github/workflows/_tests.yml |  419 +++++
 .github/workflows/cd.yml     | 2532 ++++++++++++++++++++++++++++++
 .github/workflows/ci.yml     | 3530 ++++--------------------------------------
 4 files changed, 3319 insertions(+), 3189 deletions(-)

ci.yml کی 3,273 سطریں گھٹ کر 425 رہ گئیں۔

زنجیر سے نہیں، محرک سے تقسیم

فطری خیال یہ ہوتا ہے کہ CI کو workflow_run کے ذریعے CD سے جوڑ دیا جائے۔ ایسا نہ کریں۔ یہ محرک workflow کی ڈیفالٹ برانچ والی نقل چلاتا ہے اور محرک ref کھو دیتا ہے، جس سے فیچر برانچ سے کی جانے والی ہر dispatch ٹوٹ جاتی ہے۔

اس کے بجائے تقسیم محرک کی بنیاد پر ہے۔ ci.yml پل ریکوئسٹس پر چلتی ہے؛ cd.yml dev/qa/main پر push اور دستی dispatch پر چلتی ہے۔ ہر واقعے پر ان میں سے صرف ایک چلتی ہے۔ ٹیسٹ سویٹ ایک دوبارہ قابلِ استعمال _tests.yml میں ہے جو ہر push پر سب سے پہلے اور صرف ایک بار چلتا ہے، اور ڈیپلائے لینیں اس کے نتائج پر منحصر ہیں۔ اسی لیے پل ریکوئسٹ چیکس تقریباً ایک منٹ پر آ گئے: ایک ہی تبدیلی کے لیے سویٹ اب دو بار نہیں چلتا۔

تین لینیں، ایک نفاذ

git dev  -> Steam "development"       automatic
git qa   -> Steam "qualityassurance"  automatic - the merge into qa IS the gate
git main -> default branch            uploads only; promotion is a human

Steam برانچوں کے نام git ناموں جیسے نہیں ہو سکتے: Steamworks 4 سے 32 حروف کی شرط لگاتا ہے، اس لیے dev اور qa دونوں بنانے کے وقت ہی مسترد ہو جاتے ہیں۔ یہ مجھے ایک ایسا نقشہ جوڑنے کے بعد پتا چلا جو کبھی کام کر ہی نہیں سکتا تھا۔

یہ لینیں ایک job کیوں نہیں بن سکتیں: Actions میں needs: جامد ہے۔ ایک job "جو جوڑا بھی چلا" اس کا انتظار نہیں کر سکتا۔ ایک واحد ڈیپلائے job کو پانچوں اوپری jobs پر منحصر ہونا پڑتا، اور ساتھ برانچنگ منطق بھی چاہیے ہوتی کہ وہ کس لین میں ہے؛ یہ وہ شکل ہے جو ٹھیک لگتی ہے اور پھر ناقابلِ فہم طریقے سے ناکام ہوتی ہے۔ اس لیے 452 سطری ڈیپلائے job ایک 694 سطری دوبارہ قابلِ استعمال workflow بن گیا، جسے چار پتلے کالرز بلاتے ہیں جو صرف پیرامیٹرز میں مختلف ہیں۔

پالیسی کے فرق ان پٹس ہیں، کوڈ کی شاخیں نہیں۔ dev لین جان بوجھ کر ٹیسٹ سویٹ پر منحصر نہیں: سرخ سویٹ کی وجہ سے آرٹیفیکٹس ضائع نہیں ہونے چاہییں۔ پروڈکشن لین منحصر ہے، کیونکہ خراب dev بلڈ کی قیمت صرف دوبارہ ڈیپلائے ہے، جبکہ qa یا main پر خراب Steam بلڈ مستقل ہوتا ہے۔

always() کبھی نہیں

ایک صفائی میں job گراف سے پانچ جگہوں پر always() ہٹایا گیا۔ وجہ مخصوص ہے: always() اس وقت بھی true لوٹاتا ہے جب پورا رن منسوخ ہو چکا ہو، اور CD کا concurrency گروپ جاری رنز کو منسوخ کر دیتا ہے۔ یعنی: dev push A کے دونوں بلڈز کامیاب ہوتے ہیں، push B اس کی جگہ لے کر رن A کو منسوخ کر دیتا ہے، اور رن A کا ڈیپلائے پھر بھی چل جاتا ہے، ایک پرانا کمٹ Steam پر بھیج کر اسے لائیو کر دیتا ہے۔ Steam بلڈز حذف نہیں کیے جا سکتے۔ متبادل !cancelled() ہے۔

پانچ composite actions

ہر ایک نے ایسی تکرار کی جگہ لی جو پہلے ہی ایک دوسرے سے ہٹ چکی تھی:

  • unity-workspace (272 سطریں): checkout سے ایڈیٹر بلانے تک سب کچھ۔ جان بوجھ کر ریپو checkout نہیں کرتا، کیونکہ لوکل action ورک اسپیس سے لوڈ ہوتا ہے۔
  • unity/build-player (144 سطریں): میزبان کی عالمی lock کے تحت ایک Unity بیچ بلڈ، جو دیانت دارانہ نتیجہ بتاتا ہے۔ غیر صفر exit سرخ ہے، اور صفر exit جس سے کوئی پلیئر نہ بنا ہو، وہ بھی اتنا ہی سرخ ہے۔ یہ خود ہمیشہ 0 پر ختم ہوتا ہے اور نتیجہ output کے ذریعے بتاتا ہے، تاکہ ٹوٹا ہوا Linux بلڈ Windows zip کو نقصان نہ پہنچائے۔
  • rclone/setup (134 سطریں): ہر runner پر rclone کو ایک بار ٹول کیش میں لاتا ہے۔ جان بوجھ کر R2 اسناد کو ان پٹ کے طور پر نہیں لیتا: ایسا کرنے سے چھ سطریں بچانے کے لیے اسناد کا دائرہ ایک قدم سے بڑھ کر پورے job تک پھیل جاتا۔
  • git-bash (76 سطریں): سیلف ہوسٹڈ Windows runner پر PATH میں موجود bash دراصل WSL لانچر ہے، جو Windows اسکرپٹ کا راستہ بگاڑ دیتا ہے۔
  • unsparse-workspace (51 سطریں): نیچے دیکھیں۔

دو پابندیوں نے ان سب کی شکل طے کی: composite actions کالر کے job اور ورک اسپیس کے اندر چلتے ہیں (دوبارہ قابلِ استعمال workflows اپنے runners پر مکمل jobs ہوتے ہیں)، اور composite actions secrets سیاق و سباق نہیں پڑھ سکتے۔

چار نقص، چار مستقل گیٹ

اتنی بڑی تنظیمِ نو نقص سامنے لاتی ہے۔ ہدف یہ تھا کہ ہر نقص صرف ایک بار انسان پکڑے اور اس کے بعد ہمیشہ مشین۔ ان میں سے ہر ایک اب ایسی جانچ ہے جو غیر صفر پر ختم ہوتی ہے۔

وضاحتی فیلڈ میں expression

unity-workspace نکالنے کے بعد پہلا رن: تینوں Unity jobs ایک منٹ کے اندر Unrecognized named-value: 'secrets' کے ساتھ رک گئے۔ action.yml کی سطر 19، یعنی ان پٹ کی وضاحت، میں لکھا تھا "کالر کو ${{ secrets.UTOOLS_PAT }} دینا ہوگا"۔ GitHub وضاحتی فیلڈز میں بھی template expressions کو evaluate کرتا ہے، اور action کے پاس secrets سیاق و سباق نہیں ہوتا۔

وہی قسم، شیل تبصرے میں

تین دن بعد ایک run: بلاک کے اندر ایک وضاحتی تبصرے میں لکھا تھا "کالر ${{ vars.VENDOR_PACK_HOST_ROOT }} دیتا ہے"۔ runner کے لیے شیل تبصرہ، تبصرہ نہیں ہوتا: expression اس وقت جانچا جاتا ہے جب action لوڈ ہوتا ہے۔

یہ تین مختلف اندھے مقامات کی وجہ سے نہیں پکڑا گیا: actionlint action.yml فائلوں کو بالکل lint نہیں کرتا؛ ہمارا syntax چیکر پارس کرنے سے پہلے ہر ${{ }} کو ایک سادہ ٹوکن سے بدل دیتا ہے، اس لیے expression پہلے ہی غائب ہو چکا تھا؛ اور ہمارا workflow linter صرف doc['jobs'] دیکھتا تھا۔ تینوں خلا اب بند ہیں۔

لاگ میں PASSED کے ساتھ جھوٹا سرخ

GitHub ہر shell: powershell قدم کے آخر میں exit $LASTEXITCODE جوڑ دیتا ہے۔ PowerShell cmdlets $LASTEXITCODE کو ری سیٹ نہیں کرتے۔ اس لیے جو قدم کوئی native کمانڈ چلائے، اس کی ناکامی کو غیر مہلک قرار دے، اور پھر cmdlets کے ساتھ ختم ہو، وہ پھر بھی ناکام ہوگا، اسی کمانڈ کا exit code لیے جسے اس نے ابھی معاف کیا تھا۔

ایک حقیقی رن کے لاگ سے:

tar entry for the player: -rwxr-xr-x  0 root root 4672 linux/CandyRush
Linux executable bit PASSED (0755 in the ustar stream).
##[error]Process completed with exit code 1.

بنیادی وجہ: tar.exe ... | Where-Object {...} | Select-Object -First 1 میچ ملتے ہی پائپ لائن ختم کر دیتا ہے، جس سے tar.exe کی طرف پائپ ٹوٹتا ہے اور غیر صفر $LASTEXITCODE رہ جاتا ہے۔ اس کا الٹ خطرہ بھی موجود تھا: صرف انتباہ دینے والا ایک اپ لوڈ، جو ok=true لکھنے کے بعد پورے بلڈز job کو ناکام کر سکتا تھا۔

یہ قسم چار بار سامنے آئی، ہر بار diff پڑھ کر پکڑی گئی۔ اب یہ ایک linter قاعدہ ہے۔

ہر run: بلاک کو اصل کوڈ کی طرح پارس کرنا

ایک میکانیکی تبدیلی نے ہارڈ کوڈڈ فہرست کو متغیر پر مبنی لوپ سے بدلا اور پرانے بلاک کا آخری } پیچھے چھوڑ دیا۔ YAML درست۔ actionlint: صفر۔ ہمارا workflow linter: صفر۔ runner پر، قطار میں چند منٹ بعد، یقینی parse error۔

اس لیے check-step-syntax.py ہر run: بلاک نکالتا ہے، expressions کو سادہ ٹوکنز سے بدلتا ہے (یعنی وہی جو شیل کو اصل میں ملتا ہے)، اور اسے اس زبان کے اصل parser کو دیتا ہے: PowerShell کا اپنا AST parser، اور bash -n۔

دو تفصیلات اپنانے کے قابل ہیں۔ پہلی، یہ شیل کا اندازہ لگاتا ہے بجائے لیبل پر بھروسہ کرنے کے، کیونکہ shell: bash بے اثر نہیں: ضمنی ڈیفالٹ bash -e ہے جبکہ صریح shell: bash کا مطلب bash --noprofile --norc -eo pipefail ہے۔ اسے لکھ دینے سے موجودہ پائپ والے اقدامات پر pipefail نیا فعال ہو جاتا اور کامیاب job سرخ ہو سکتا تھا۔ syntax گیٹ کو خود کو نصب کرنے کے لیے runtime رویہ نہیں بدلنا چاہیے۔

دوسری، پہلا ورژن ہر قدم کے لیے ایک interpreter چلاتا تھا: PowerShell کے 77 آغاز، تقریباً 9 سیکنڈ کا fork بوجھ، صرف تقریباً 200 ملی سیکنڈ کی پارسنگ کے لیے۔ ایک ہی بلاوے میں یکجا کرنے سے یہ 9.7 سیکنڈ سے 0.95 سیکنڈ پر آ گیا۔

job گراف کا سراغ

چوتھا گیٹ ہر job کی if: شرط کو گیارہ حقیقی محرک شکلوں پر evaluate کرتا ہے، اور اگر کوئی job ان سب میں ناقابلِ رسائی ہو تو ناکام ہو جاتا ہے۔ بیس jobs ضرب گیارہ شکلیں، یعنی 220 جوابات؛ کسی شرط کی تبدیلی ان میں سے کچھ کو خاموشی سے بدل دیتی ہے اور diff میں کچھ نظر نہیں آتا۔

اپنے پہلے ہی رن میں اس نے ایک builds job پکڑا جو پوری ابتدائی تیاری چلاتا اور پھر ہر بلڈ قدم چھوڑ دیتا، اور یہ اسی dispatch پر ہو رہا تھا جو مستقل Steam بلڈ بھیجتی ہے۔ وجہ: چار تہہ در تہہ نفی کی شرطیں، ہر ایک نئے dispatch آپشن کے ساتھ جوڑی گئی، جنہیں پڑھ کر کوئی حل نہیں کر سکتا تھا۔

گیٹس کو ثابت کرنا کہ انہوں نے واقعی دیکھا

ایک رن could not read ".github/workflows/*.yml" کے ساتھ ناکام ہوا: لفظی glob actionlint تک پہنچ گیا کیونکہ bash کے پاس پھیلانے کو کچھ نہیں تھا۔ ورک اسپیس کاٹ دی گئی تھی۔ actions/checkout sparse-checkout فعال کرتا ہے اور اسے کبھی بند نہیں کرتا، اور ہمارے یوٹیلیٹی runner کی ورک اسپیس مشترکہ اور مستقل ہے۔ ایک job برسوں سے sparse checkout کر رہا تھا، اور عارضی hosted runner پر یہ بالکل درست تھا۔ اسے سیلف ہوسٹڈ مشین پر منتقل کرنے سے بنیادی مفروضہ بدل گیا مگر checkout نہیں بدلا۔

زیادہ کارآمد دریافت یہ تھی: اسی کٹی ہوئی ورک اسپیس والے رن میں تین اپنے بنائے گیٹس میں سے دو کو صفر فائلیں ملتیں، وہ صفر بار لوپ کرتے، اور کامیابی کی اطلاع دیتے۔ تیسرے میں ان پٹ کی جانچ تھی، اسی لیے مسئلہ ایک سرخ قدم کی صورت میں سامنے آیا۔

اب یہ سب ان پٹ غائب ہونے پر ناکام ہوتے ہیں، اور ہر ایک کو خالی ڈائریکٹری سے منفی ٹیسٹ کیا گیا ہے۔ ایک چھوٹا action sparse موڈ بند کرتا ہے اور پھر تصدیق کرتا ہے کہ پوری ڈائریکٹری موجود ہے۔

دس ہفتے بعد

اوپر کے اعداد ہی نتیجہ ہیں: پل ریکوئسٹ چیکس تقریباً ایک منٹ میں اور 93-100% بار کامیاب، اور ہر ریلیز ڈیپلائے کامیاب، بشمول لانچ ویک اینڈ کے دو۔

دو کام ابھی مکمل نہیں، اور میں انہیں صاف بتانا بہتر سمجھتا ہوں:

  • dev ڈیپلائے لین اب بھی غیر مستحکم ہے۔ اس کے مکمل ہونے والے رنز میں سے تقریباً آدھے ناکام ہوتے ہیں، اور push پائپ لائن کا درمیانی وقت اکتوبر تک تقریباً 31 سے بڑھ کر 59 منٹ ہو گیا۔ اس کی کئی منسوخیاں جان بوجھ کر ہیں (نیا push پرانے رن کی جگہ لیتا ہے)۔ اس لین پر ناکامی سستی ہے، مگر اگلی بہتری یہیں کرنی ہے۔
  • "اگلی گیم صرف ریپوزٹری متغیرات سیٹ کرے اور کوئی YAML نہ بدلے" والا ہدف اس کے لیے تیار ہے مگر ابھی ثابت نہیں ہوا: ابھی تک کسی دوسری گیم نے یہ پائپ لائن نہیں اپنائی۔

اب پائپ لائن ایک 3,744 سطری فائل کے بجائے چھ فائلوں میں 5,588 سطری workflow ہے، ساتھ 677 سطریں composite actions اور 2,741 سطریں اسکرپٹس۔ یہ چھوٹی نہیں ہوئی۔ یہ الگ ہونے کے قابل، پیرامیٹرائزڈ اور گیٹڈ ہے، اور اسی نے گیم کو جاری کیا۔

جو بات عام کی جا سکتی ہے

حساب نہیں، مشین کو ناپیں۔ تین طرفہ تقسیم میں ابتدائی تیاری کا حساب درست تھا اور ہارڈ ویئر کے بارے میں مفروضہ غلط۔ ایک مشین پر تین runner سلاٹس تین مشینیں نہیں ہوتے۔ پہلے ناپنے سے 4% والا خیال 25% کا نتیجہ بن گیا۔

جو گیٹ یاد رکھنے پر منحصر ہو، وہ گیٹ نہیں۔ چاروں نقص ایک ایک بار کسی انسان نے diff پڑھ کر پکڑے۔ اب ہر ایک ایسی جانچ ہے جو غیر صفر پر ختم ہوتی ہے۔

جو جانچ کچھ نہ پائے، اسے ثابت کرنا ہوگا کہ اس نے دیکھا۔ جو linter خاموشی سے خالی مجموعے کی تصدیق کرے، وہ ایک بے معنی سبز نشان دیتا ہے۔

تکرار کی قیمت سطریں نہیں، بگاڑ ہے۔ rclone تیاری کی دس نقلیں اس لیے مسئلہ نہیں تھیں کہ وہ لمبی تھیں، بلکہ اس لیے کہ ان میں سے صرف کچھ ہی اب تک درست تھیں۔