Adaptive Cruise Control Using Deep Reinforcement Learning: Analysis of V2V Communication Delay Effects in Single-Vehicle and Platoon Scenarios

---

شرح پروژه

 
This project focuses on the design and analysis of an Adaptive Cruise Control (ACC) system with a particular emphasis on energy savings. The work is structured in two main stages
In the first stage, the control strategy is evaluated on a single ego vehicle following a leading vehicle
In the second stage, the study is extended to a vehicle platoon, enabling the assessment of Cooperative Adaptive Cruise Control (CACC) behaviour

 
The control strategy adopted in this thesis is based on Deep Reinforcement Learning (DRL)

 
When extending the problem from a single follower vehicle to a full platoon, the system becomes cooperative, meaning that vehicles exchange information via Vehicle-to-Vehicle (V2V) communication.

In this project, we initially assume a perfect V2V communication channel, as is commonly done in many baseline studies.
However, representing communication delay is essential for realistic evaluation.

Therefore, a communication delay component is introduced into the V2V model, and its effect is tested on:

The existing DRL agent, which was originally trained without delay
A new or retrained DRL agent, potentially designed to be delay-aware
This allows evaluating:

how sensitive the RL controller is to communication latency
how delay degrades string stability, energy efficiency, and comfort
whether retraining under delayed conditions improves robustness

 
In platoon control with artificial intelligence, two architectural options exist:

Option 1 — Centralized AI controller
A single agent controls the entire platoon.

This agent could theoretically be deployed in the cloud or infrastructure.
Vehicles simply execute commands from the central controller.
Option 2 — Distributed multi-agent control (our approach)
Each vehicle carries its own RL agent and makes decisions locally.

The distributed design is more scalable and realistic for autonomous vehicles.
In this context, modern Multi-Agent Reinforcement Learning (MARL) algorithms allow multiple vehicles to be trained simultaneously in a shared environment, where they learn:

how to maintain safe distances
how to coordinate acceleration
how to coexist and minimize overall energy consumption
In our scenario with a platoon of six vehicles, the agents can learn cooperative behaviour and inter-vehicle interactions through MARL paradigms.

این پروژه بر طراحی و تحلیل یک سامانه کروز کنترل تطبیقی (ACC) با تمرکز ویژه بر صرفه‌جویی در انرژی تمرکز دارد. کار در دو مرحله اصلی ساختاردهی شده است:

مرحله اول: ارزیابی استراتژی کنترل روی یک خودروی دنبال‌کننده (ego vehicle) که یک خودروی پیشرو را دنبال می‌کند.
مرحله دوم: گسترش مطالعه به یک ستون خودرویی (platoon) برای بررسی رفتار کروز کنترل تطبیقی مشارکتی (CACC).

استراتژی کنترلی استفاده‌شده در این پایان‌نامه بر پایه یادگیری تقویتی عمیق (DRL) است.

 
با گسترش مسئله از یک خودروی دنبال‌کننده به کل یک ستون خودرو، سیستم حالت مشارکتی پیدا می‌کند؛ به این معنا که خودروها از طریق ارتباط بین‌خودرویی (V2V) با یکدیگر تبادل اطلاعات دارند.

در این پروژه، در ابتدا فرض می‌شود که کانال ارتباطی V2V بدون نقص است؛ همان‌طور که در بسیاری از مطالعات پایه این فرض پذیرفته می‌شود.
با این حال، نمایش تأخیر ارتباطی برای ارزیابی واقع‌گرایانه ضروری است.

بنابراین، یک مؤلفه تأخیر ارتباطی به مدل V2V اضافه می‌شود و اثر آن روی موارد زیر بررسی می‌گردد:

عامل DRL موجود که در ابتدا بدون درنظر گرفتن تأخیر آموزش دیده است
یک عامل DRL جدید یا بازآموزی‌شده که ممکن است برای کار در شرایط دارای تأخیر طراحی شده باشد
این تحلیل امکان ارزیابی موارد زیر را فراهم می‌کند:

میزان حساسیت کنترل‌کننده RL نسبت به تأخیر ارتباطی
اینکه تأخیر چگونه باعث تضعیف پایداری رشته‌ای (string stability)، کاهش بازده انرژی و کاهش راحتی سرنشین می‌شود
اینکه آیا بازآموزی عامل با وجود تأخیر می‌تواند مقاومت و پایداری سیستم را بهبود دهد یا خیر
 
در کنترل ستون خودرو با استفاده از هوش مصنوعی، دو گزینه معماری وجود دارد:

گزینه ۱ — کنترل‌گر متمرکز
یک عامل واحد، کل ستون خودرو را کنترل می‌کند.
این عامل می‌تواند در کلاد یا زیرساخت جاده‌ای مستقر باشد.
خودروها فقط دستورات صادرشده را اجرا می‌کنند.

گزینه ۲ — کنترل چندعامله توزیع‌شده (رویکرد ما)
در این حالت، هر خودرو عامل یادگیری تقویتی مخصوص خود را دارد و تصمیمات را به‌صورت محلی می‌گیرد.
این طراحی مقیاس‌پذیرتر و واقعی‌تر برای خودروهای خودران است.

در این چارچوب، الگوریتم‌های مدرن یادگیری تقویتی چندعامله (MARL) این امکان را می‌دهند که چندین خودرو به‌طور هم‌زمان در یک محیط مشترک آموزش ببینند و یاد بگیرند که:

چگونه فاصله ایمن را حفظ کنند
چگونه شتاب‌گیری را هماهنگ کنند
چگونه همزیستی داشته باشند و مصرف کلی انرژی را کاهش دهند
در سناریوی ما با یک ستون شش‌خودروئی، عامل‌ها می‌توانند رفتار مشارکتی و تعاملات بین خودروها را از طریق پارادایم‌های MARL یاد بگیرند.

کدهای اولیه ی متلب و سیمولینک از قبل نوشته شده است.

send me a report on the results of the first part (with the same agent that i already wrote the code, if we apply the communication dealy, what will happen), highlighting what you think is affecting the results and why. Due date Tuesday 16/12
send me the results of the new training . Due date Friday 19/12.

این پروژه شامل 3 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

---

---