پیشبینی نمای بعدی خود نظارت برای توموگرافی پروجکشن نوری با زاویه محدود

داده های زیربنای نتایج ارائه شده در این مقاله در حال حاضر در دسترس عموم نیست، اما ممکن است در صورت درخواست معقول از نویسندگان به دست آید.

خلاصه

توموگرافی پروجکشن نوری پیش بینی های دوبعدی نمونه های بیولوژیکی در حال چرخش را ضبط می کند و ساختارهای سه بعدی را به صورت محاسباتی از این برجستگی ها بازسازی می کند، جایی که صدها نما با محدوده زاویه ای از رادیان π برای بازسازی قابل اعتماد مورد نظر است. توموگرافی با زاویه محدود سعی می کند ساختارهای نمونه را با استفاده از زوایای کمتری از برجستگی بازیابی کند. با این حال، به دلیل فقدان اطلاعات گوه، نتیجه چندان رضایت بخش نیست. در اینجا ما یک تکنیک پیش بینی نمای جدید را معرفی می کنیم که می تواند دامنه زاویه ای نماهای گرفته شده را برای توموگرافی با زاویه محدود گسترش دهد. به دنبال یک تکنیک خود نظارتی که رابطه بین نماهای با زاویه محدود گرفته شده را یاد می گیرد، نماهای دیده نشده را می توان بدون نیاز به داده های برچسب قبلی به صورت محاسباتی ترکیب کرد. در ترکیب با یک سیستم توموگرافی نوری، رویکرد پیشنهادی می تواند به شدت برآمدگی های جدیدی از نمونه های بیولوژیکی ناشناخته ایجاد کند و زوایای برجستگی ها را از 60 درجه اولیه به نزدیک به 180 درجه افزایش دهد، در نتیجه بازسازی های سه بعدی با کیفیت بالا از نمونه ها حتی با استفاده از نمونه های بسیار بالا را به ارمغان می آورد. اندازه گیری ناقص

1. معرفی

توموگرافی تکنیکی است که برای بازسازی ساختار سه بعدی اجسام بر اساس مجموعه ای از تصاویر دو بعدی استفاده می شود [1،2]. پرتوهای نور موازی از منبع نور مسطح یا پرتوهای ایکس مخروطی از منبع نقطه ای از میان نمونه های بیولوژیکی عبور می کنند و توسط بافت هایی با چگالی های مختلف ضعیف می شوند. حسگرها پرتوهای ارسالی را جمع آوری می کنند تا تصویری دوبعدی از نمونه بسازند. با چرخش نمونه به صورت افقی، یک سری برآمدگی از زوایای مختلف به دست می آید. تکنیک های توموگرافی سنتی مانند طرح ریزی پشت فیلتر شده (FBP) [3،4] و SIRT (تکنیک بازسازی تکراری همزمان) [5] برای بازسازی توزیع جذب از سری پیش بینی های 2 بعدی استفاده می شود. برای اکثر اهداف عملی، یک محدوده زاویه ای تقریباً 180 درجه (رادیان π) برای گرفتن عکس مورد نیاز است تا مشکل پیش تابش عقب تعیین نشده حل شود.

به جای ضبط اطلاعات π- رادیان ، تکنیک های محدود توموگرافی زاویه ای [6-8] فقط پیش بینی ها را در یک محدوده زاویه ای کوچکتر ضبط می کنند و سعی می کنند با روش های محاسباتی یک بازسازی نسبتاً قانع کننده را بازیابی کنند. در میان آنها ، [6] یک تغییر کلی (تلویزیون) را به الگوریتم بازسازی تکراری سنتی برای حذف آثار باستانی ستاره مانند ناشی از گم شدن اطلاعات گوه اعمال کرد.[8] با به حداقل رساندن یک عملکرد هزینه مشترک ، تزریق سینوگرام و بازسازی را به طور همزمان انجام داد و مرزهای بهتری از نمونه را بازیابی کرد. بر خلاف رویکردهای مبتنی بر مدل ، تکنیک های یادگیری عمیق به دلیل توانایی قوی آن از استنتاج معکوس بر اساس یادگیری مقدمات داده ها به طور گسترده ای در زمینه ترمیم تصویر استفاده شده است [9-11]. در مقایسه با این روشهای جبری ، رویکردهای مبتنی بر یادگیری عمیق [12-16] از دانش قبلی از یک مجموعه داده آموزشی عظیم استفاده می کنند ، بنابراین روشهای بازسازی سنتی تکراری را در مورد توموگرافی زاویه ای بسیار محدود بیش از حد عملکرد می کنند. مرجع [12،14] در مرحله اول با استفاده از الگوریتم SART یک بازسازی با زاویه با کیفیت پایین به دست آورد ، و سپس یک شبکه U را آموزش داد تا بازسازی با کیفیت پایین را به یک کیفیت بالا تبدیل کند و مشکل بازسازی زاویه محدود را به آن تبدیل کندیک کار بازیابی تصویر. مرجع [13] به طور مستقیم از یک شبکه عصبی برای تبدیل یک سینوگرام به بازسازی آن استفاده کرد و سپس یک شبکه U را برای ارتقاء بیشتر کیفیت بازسازی اتخاذ کرد. با وجود این که این روش ها ممکن است کیفیت تصویر بهتری را با آثار باستانی کمتر تحقق بخشند ، یا یک ضبط کامل 180 درجه یا یک نمونه 3 بعدی قابل اعتماد برای ارائه مرجع برای آموزش شبکه های عصبی لازم است. متأسفانه ، چنین مجموعه داده های برچسب با کیفیت بالا معمولاً در توموگرافی با زاویه محدود در دسترس نیست ، و یک مدل یادگیری عمیق با برچسب داده را ایجاد می کند که در موارد واقعی استفاده از آن دشوار است.

در زمینه بینایی کامپیوتری، سنتز نما می تواند نماهای جدید فوتورئالیستی از یک صحنه را ایجاد کند، یا با درونیابی میدان نور [17،18] با استفاده از نماهای نمونه متراکم، یا از نماهای مشاهده شده پراکنده با پیش بینی هندسه و نمایش ظاهری صحنه [17،18]. 19-21]. این تکنیک ها ما را با یک راه حل بالقوه برای توموگرافی با زاویه محدود روشن می کنند. با الهام از تکنیک رندر مبتنی بر تصویر که تصاویر دو بعدی بسیار کمی از یک صحنه سه بعدی را به عنوان ورودی می گیرد و نماهای دوبعدی جدید را در جهات دیگر برای همان صحنه ترکیب می کند، ما یک رویکرد یادگیری عمیق با نظارت خود را پیشنهاد می کنیم کهترکیبی از مدل فیزیکی پروجکشن نوری و داده های قبلی برای گسترش دامنه زاویه ای سینوگرام برای توموگرافی با زاویه محدود. بدون درگیر کردن اهداف سه بعدی یا پیش بینی های کامل رادینی π، یک شبکه عصبی فقط با استفاده از برجستگی های با زاویه محدود با یک وظیفه خود نظارت آموزش داده می شود و به صورت تدریجی پیش بینی هایی را در زوایای جدید ایجاد می کند. با گسترش دامنه زاویه ای سینوگرام ها، می توان با الگوریتم های بازسازی منظم بازسازی سه بعدی بهتری به دست آورد.

2. روش ها

2. 1. پیش بینی نمای بعدی با نظارت شخصی

ما یک روش یادگیری عمیق خود خود را برای پیش بینی پیش بینی های جدید 2 بعدی (دیدگاه ها) برای توموگرافی زاویه محدود پیشنهاد کردیم و با سنتز دیدگاه ها در زوایای غیب ، سینوگرام را گسترش دادیم. با در نظر گرفتن دنباله ای از پیش بینی های 2 بعدی ، روش پیش بینی بررسی بعدی (با نام NVP) یک شبکه عصبی را برای پیش بینی شدت پیکسل در زاویه بعدی با یک کار خودآنوردی آموزش می دهد و الزامات منابع 3 بعدی را از بین می بردیا سینوگرام های کامل π- راد. خط لوله روش ما در شکل 1 نشان داده شده است. در مرحله اول زاویه محدود (حدود 1/3 π رادیان ، یعنی 60 درجه چرخش نمونه) پیش بینی های 2-D با استفاده از یک توموگرافی پیش بینی نوری معمولی (OPT) ضبط می شوند (شکل 1 A1). برای تهیه یک کار سنتز نمای ، پیش بینی های 60 درجه به دو بخش تقسیم می شوند ، قسمت اول به عنوان ورودی های یک شبکه عصبی و قسمت آخر به عنوان اهداف مرجع. شبکه عصبی چندین نمایش را با فاصله زاویه ای از قسمت ورودی نمونه می کند و آنها را برای پیش بینی نمای متوالی در قسمت هدف جمع می کند (شکل 1 A2). در حالی که خود را به خوبی آموزش می دهد ، شبکه عصبی سپس دیدگاه رمان را که در مجموعه های تصویربرداری اصلی ضبط نشده است ، پیش بینی می کند. با استفاده مکرر از نمای سنتز شده ، نماهای بیشتر پیش بینی می شود (شکل 1 A3) ، دامنه زاویه ای از زاویه محدود به صورت تدریجی را گسترش می دهد.

پیش بینی نمای بعدی خود سنجی.(الف) آموزش و استنباط خودكار.(A1) دستیابی به پیش بینی نوری با زاویه محدود. یک سری از پیش بینی های 2 بعدی از نمونه با دامنه زاویه ای 60 درجه ضبط می شود.(A2) آموزش خودكاری از مدل پیشنهادی. اولین پیش بینی های 2/3 از سری های ضبط شده به عنوان ورودی و آخرین 1/3 پیش بینی ها به عنوان اهداف گرفته شده است تا یک شبکه عصبی پیش بینی نمایش را آموزش دهد.(A3) شبکه آموزش دیده سپس از سری های ضبط شده به عنوان ورودی برای پیش بینی پیش بینی های بدون اسپینگ در نماهای پی در پی استفاده می کند و سینوگرام های π- رادیان را تکمیل می کند. پیش بینی های سنتز شده در حال حاضر به عنوان ورودی برای پیش بینی دیدگاه ها در زاویه های بیشتر به صورت تدریجی گرفته می شوند.(ب) تجمع چگالی مبتنی بر فیزیک و سنتز نمای.(B1) برای یک نقطه 3 بعدی در فضا ، ابتدا بر روی هر نمای ورودی پیش بینی می شود تا اطلاعات مربوطه را پیدا کند ، که برای جمع آوری چگالی نقطه 3 بعدی استخراج می شود.(B2) پیکسل جدید در نمای پیش بینی شده توسط انتگرال تراکم در امتداد یک پرتوی سبک ارائه می شود ، و کل تصویر با تکرار انتگرال برای همه پرتوهای موازی ارائه می شود.(ج) بازسازی 3 بعدی را می توان از نماهای گسترده به همراه نماهای اصلی با استفاده از الگوریتم های بازسازی سنتی بدست آورد.

همانطور که در شکل 1 (b) نشان داده شده است ، الگوریتم سنتز نمای ما هندسه طرح ریزی مبتنی بر فیزیک را در تصویربرداری OPT ادغام می کند ، جایی که پرتوهای نور یکنواخت از منبع نور مسطح از طریق نمونه های بیولوژیکی نیمه شفاف حرکت می کنند ، که توسط بافت های مختلف ضعیف می شودتراکم و توسط سنسورهای CMOS جمع آوری شده برای تهیه یک طرح 2 بعدی از نمونه. برای یک تصویر بهتر ، ما به طور منطقی کل صحنه را به عنوان یک نمونه استاتیک برای تصویربرداری و یک دوربین در حال حرکت تفسیر می کنیم ، جایی که دوربین در حالی که به نمونه نگاه می کند ، موقعیت خود را روی یک دایره با محوریت نمونه تغییر می دهد. به طور شهودی ما یک طرح را به عنوان تابش پرتوهای نوری منتقل شده که عمود به صفحه تصویر فعلی سفر می کنند ، می دانیم. برای ارائه شدت یک پرتوی ریخته گری ، تراکم نقاط 3 بعدی در صحنه که با پرتو تقاطع می شود ، لازم است. برای هر نقطه 3 بعدی ، ما آن را دوباره به هر نمای ورودی 2-D دوباره معرفی می کنیم تا اطلاعات مربوطه مانند شدت پیکسل و ویژگی های با ابعاد بالا را بدست آوریم (شکل 1 B1). سپس شبکه عصبی (به طور خاص ، چندین درک چند لایه) برای جمع آوری اطلاعات از دیدگاه های مختلف به چگالی نقطه 3 بعدی در صحنه مشغول است. درخشش نهایی این پرتو با ادغام تمام نقاط در امتداد پرتو طبق قانون آبجو-لامبرت:

i = i 0 ∗ e - ∫ r u2061 σ (r (s)) d s

جایی که I 0 تابش منبع نور مسطح است ، σ (R (S)) چگالی یک نقطه روی پرتوی است و ∫ R u2061 D S انتگرال در طول پرتو است. در عمل ، امتیازات 3 بعدی در امتداد پرتوی نمونه برداری شد و انتگرال با یک مبلغ گسسته اجرا می شود. با تکرار مراحل فوق برای همه پرتوهای موازی در جهت زاویه فعلی ، یک طرح جدید از نمونه می تواند ارائه شود (شکل 1 B2). پس از ایجاد نماهای جدید ، نماهای سنتز شده به همراه نماهای اصلی ضبط شده برای بازسازی 3 بعدی توسط الگوریتم های به خوبی تثبیت شده مانند FBP و SIRT استفاده می شود (شکل 1 (C)). اطلاعات گوه داخلی توسط NVP به دستیابی به بازسازی بسیار بهتر از نمای اصلی با زاویه محدود کمک می کند.

2. 2تجمع چگالی

در حالی که یک نقطه 3 بعدی را می توان برای یافتن شدت و ویژگی های مربوط به آن نقطه در هر دیدگاه دوباره به هر دیدگاه ورودی معرفی کرد ، رابطه بین چگالی نقطه 3 بعدی و اطلاعات به دست آمده از هر دیدگاه درک نمی شودبشردر واقع پیدا کردن یک راه حل تحلیلی که این اطلاعات را در چگالی ترسیم می کند دشوار است. در عوض ، ما از یک رویکرد مبتنی بر یادگیری استفاده می کنیم که می تواند به طور خودکار چگالی مناسب را از اطلاعات استخراج شده استنباط کند. ما ابتدا پیش بینی های ورودی را با یک شبکه گروه هندسه بصری از قبل آموزش داده شده (VGG) فیلتر می کنیم ، که نقشه های ویژگی 4 لایه اول به عنوان ویژگی های پیشرفته بالا به دست می آیند. همانطور که در شکل 2 نشان داده شده است ، برای هر نقطه 3 بعدی ، ابتدا به هر نمای ورودی دوباره طراحی می شود ، سپس شدت پیکسل و ویژگی های با ابعاد بالا از پیش بینی مجدد آن در یک نمای ورودی خاص به عنوان 1 جمع می شوند-D بردار 193 کانال (شکل 2 ، "X"). برای آگاهی از ورودی های چند منظوره ، میانگین (شکل 2 ، "μ") و واریانس (شکل 2 ، "σ") را از بردارهای 1-D در بین تمام نماهای ورودی محاسبه می کنیم ، و میانگین و میانگین را در بر می گیردواریانس به پایان هر بردار 1 بعدی. دو درک چند لایه (MLP) برای انتقال بردارهای 1-D به ویژگی های چگالی 1 بعدی (شکل 2 ، "F") و بردارهای وزن 1-D طراحی شده اند (شکل 2 ، "ω"). Perceptron دیگر به عنوان ورودی میانگین وزنه برداری می شود (شکل 2 ، "μ_ω") و واریانس (شکل 2 ،" σ_ω") از ویژگی های چگالی و وزن ، و چگالی (شکل 2 ،" D ") نقطه 3 بعدی را پیش بینی می کند. تراکم نقاط دیگر (شکل 2 ، "D2" ∼ "DN") در امتداد این پرتو با تکرار روند تجمع چگالی فوق به دست می آید. با تعریف عملکرد هدف مناسب ، شبکه ها (یعنی 3 MLP) می توانند به شرح زیر بهینه شوند.

تجمع چگالی و آموزش شبکه ها. جعبه های خط خط تانسور هستند که در محاسبات مشغول به کار هستند و شکل ذکر شده در سمت راست بالا."X" شدت پیکسل و ویژگی های VGG از نقطه دوباره طرح ریزی شده است ، n تعداد نمای ورودی است ، MLP ادراک لایه چند لایه با تعداد واحدهای هر لایه ذکر شده در براکت زیر است. میانگین و عملیات واریانس در طول اول تانسورس انجام می شود. خروجی "D" آخرین MLP چگالی یک نقطه 3 بعدی است و تراکم نقاط دیگر در همان پرتوی را می توان با همان مراحل بدست آورد. پس از آن ، شدت پیکسل در نمای جدید تولید شده توسط Ray Integral محاسبه می شود. با به حداقل رساندن عملکرد از دست دادن - تفاوت بین شدت پیکسل پیش بینی شده و شدت پیکسل واقعی ، پارامترهای MLP بهینه می شوند.

2. 3آموزش شبکه ها

MLP حاوی چندین لایه کاملاً متصل به آب است. برای تعیین صحیح پارامترهای آنها ، ما از یک بهینه سازی مبتنی بر خطای پیش بینی استفاده می کنیم. عملکرد از دست دادن به عنوان خطای بین شدت پیکسل نمای ارائه شده و نمای هدف تعریف شده است:

l o s p r o j = ‖ i 0 ∗ e - ∫ r u2061 p θ p (f (r (s))) d s - i t ‖ 2 2

جایی که F (R (S)) استخراج ویژگی فوق را برای یک نقطه R (S) 3 بعدی در Ray R نشان می دهد. P θ p چگالی جمع کننده MLPs است که توسط θ p پارامتری شده است ، I 0 شدت روشنایی است ، اصطلاح ارقام الکترونیکی به معنای میرایی توسط تراکم های پیش بینی شده در امتداد پرتوی R است ، و من شدت پیکسل زمین استدیدگاه حقیقتعملکرد از دست دادن با به روزرسانی θ p به طور تکراری با مشتقات منهای L O S S P R O J با توجه به θ P به حداقل می رسد. نکته قابل توجه این است که در طی بهینه سازی برچسب های 3 بعدی مورد نیاز است ، و این رویکرد را بسیار در دسترس تر از سایر روش های نظارت شده در جایی که اطلاعات حجمی برای آموزش لازم است ، قابل دسترسی تر است. در آزمایش ما ، 9 پیش بینی پی در پی با فاصله زاویه 5 درجه به عنوان ورودی در هر تکرار استفاده می شود ، تا یک طرح جدید را در نمای بعدی پیش بینی کند. پیش بینی واقعی در این دیدگاه به عنوان هدف استفاده می شود.

2. 4تهیه مجموعه داده ها

در آزمایش ما دو نوع داده OPT وجود دارد ، پیش بینی های شبیه سازی شده میکرو توبولین ها و تصاویر واقعی یک گورخریش با برچسب کشتی. در آزمایش توبولین ، 180 پیش بینی (256 480 480 پیکسل) به طور مساوی در محدوده زاویه ای 180 درجه توزیع شده با استفاده از جعبه ASTRA [22] از یک تصویر 3 بعدی توبولین تولید شد. 60 پیش بینی اول با دامنه زاویه ای 60 درجه در آموزش و آزمایش شبکه NVP استفاده شد.

برای آزمایش گورخافیش ، 360 پیش بینی (256 × 256 512 پیکسل) هر پیش بینی) از جنین گورخرفیش با زاویه چرخش 360 درجه به طور تجربی با استفاده از یک سیستم تصویربرداری OPT معمولی اسیر شدند ، که در میان آن 60 پیش بینی اول با زاویه چرخش 60 درجهبرای آموزش و آزمایش شبکه NVP استفاده می شود. برای به دست آوردن دنباله طرح ریزی مورد نظر ، ما 3 نوع DPF نوع وحشی و نوار اسکاتلندی را جنین گورخرش انتخاب کردیم ، 4. 5 لیتر از 75 میلی گرم در میلی لیتر NBT و 3. 5 لیتر از 50 میلی گرم در میلی لیتر BCIP در میلی لیتر به مدت 10 دقیقه اضافه کردیم و تمام رگ های خونی را برچسب گذاری کردیم. سپس هر نمونه رنگ آمیزی شده در یک ژل آگارز 0. 4-0. 6 ٪ در یک لوله شیشه ای دایره ای قرار گرفت که در محلول آب غوطه ور شد تا با شاخص های انکسار مطابقت داشته باشد. در حین تصویربرداری ، از یک منبع نور سفید تجاری متشکل از یک آرایه روشنایی LED 5 × 6 و یک دیفیوزر دال (جهان بینی ، پکن ، چین) برای تهیه روشنایی یکنواخت در کل نمونه استفاده شد. جنین گورخرش ثابت در امتداد محور عمودی آن با یک مرحله چرخش سفارشی چرخانده شد. نور منتقل شده با استفاده از یک دوربین تک رنگ 1/2 اینچی CMOS (EO-5012m ، Edmund Optics ، New Jersey ، USA) و یک لنز از راه دور 2X (Rev 02 ، Edmund Optics ، New Jersey ، USA) جمع آوری شد. زمان قرار گرفتن در معرض 30 میلی ثانیه بود. برای اطلاعات بیشتر به یادداشت تکمیلی 2 مراجعه کنید.

مجموعه داده های آموزشی شامل یک دنباله طرح ریزی با دامنه زاویه ای 60 درجه برای هر دو آزمایش است. در مرحله آموزش ، 10 پیش بینی با فاصله زاویه ای 5 درجه بین هر دو مجاور به طور تصادفی از دنباله نمونه برداری شدند ، که از 9 مورد اول به عنوان نمای ورودی و آخرین به عنوان نمای هدف برای پیش بینی استفاده شد. در حین آزمایش ، دنباله معکوس شد (به عنوان مثال ، تبدیل مجوز اصلی (0 درجه ، 1 درجه ، 2 درجه ،… ، 58 درجه ، 59 درجه) به (59 درجه ، 58 درجه ،… ، 2 ° ، 1 ° ، 0 درجه)) و 10 پیش بینی به همان روش آموزش نمونه برداری شد ، با 9 نفر اول به عنوان ورودی و 1 مورد آخر به عنوان هدف. پیش بینی زاویه های جدید هنگام تمرین و خلاف جهت عقربه های ساعت هنگام آزمایش به ترتیب در جهت عقربه های ساعت انجام شد. توجه داشته باشید که پیش بینی های چند زاویه اول (0 درجه ، 1 درجه ، 2 درجه ، 3 درجه ، 4 درجه) در دنباله اصلی می تواند در هنگام آموزش در ورودی ها باشد ، اما در طول آزمایش به اهداف تبدیل می شود و برعکس برای چند مورد آخرزاویه ها (55 درجه ، 56 درجه ، 57 درجه ، 58 درجه ، 59 درجه). در نتیجه ، شبکه ها توانایی پیش بینی دید خود را فقط با استفاده از پیش بینی های با زاویه محدود ایجاد کردند.

3. نتیجه

3. 1مشاهده پیش بینی در مورد داده های شبیه سازی شده OPT

ما ابتدا روشهای خود را با تصاویر شبیه سازی شده OPT از میکرو توبولین های 3 بعدی ارزیابی کردیم. از پیش بینی های 60 درجه (شکل 3 (a) ، نماهای اصلی ا ز-30 تا 30 درجه ، با مرکز یک واقع در 0 درجه برای راحتی) برای آموزش شبکه های عصبی استفاده شد. پس از بهینه سازی ، شبکه ها به عنوان پیش بینی های ورودی 9 به طور یکنواخت از دنباله 60 درجه اصلی نمونه برداری شدند و نماهای جدید را پیش بینی کردند. از استراتژی افزایشی فوق الذکر برای گسترش دامنه زاویه ای از نماها استفاده شد ، یعنی دیدگاههای تازه سنتز شده برای پیش بینی زاویه های بیشتر درگیر شدند. به عنوان مثال ، از پیش بینی های واقعی شماره 1 ∼ 9 برای پیش بینی پیش بینی غیب شماره 10 استفاده شد ، سپس پیش بینی های واقعی شماره 2 ∼ 9 به همراه پیش بینی سنتز شماره 10 برای پیش بینی پیش بینی غیب شماره 11 و غیره استفاده شد. بشردر همین حال پیش بینی می تواند به طور همزمان در هر دو جهت عقربه های ساعت (شکل 3 (a) ، نماهای پیش بینی شده (CW) در سمت چپ) و خلاف جهت عقربه های ساعت (شکل 3 (a) ، پیش بینی شده (CCW) در سمت راست) انجام شود ، گسترشزاویه ها را در دو انتها مشاهده کنید. روش پیشنهادی نه تنها چشم انداز تغییر در زاویه های هدف را با موفقیت پیش بینی می کند ، بلکه جزئیات غنی از ساختارهای لوله ای را در یک وفاداری نسبتاً بالا حفظ می کند ، همانطور که توسط نقشه های خطا بین نماهای پیش بینی شده و تصاویر واقعی در شکل 3 (c) نشان داده شده است. بشرسپس بازسازی 3 بعدی توبولین ها را می توان با الگوریتم SIRT بدست آورد. همانطور که در شکل 2 (b) نشان داده شده است ، بازسازی با استفاده از نماهای اصلی و NVP (با 160 درجه چرخش در کل) ، نسبت به آن با استفاده از نماهای با زاویه محدود اصلی (فقط با 60 با 60 درجه) ارتقاء دارد. درجه چرخش در کل) ، با بیشتر آثار باستانی از بین می روند. توپولوژی ساختارها همچنین با مقایسه با بازسازی با استفاده از 180 نمایش واقعی با دامنه زاویه ای از 180 درجه کامل اطمینان می یابد.

پیش بینی در تصاویر OPT مصنوعی از میکرو توبولین ها.(الف) نماهای با زاویه محدود (60 درجه) و نماهای پیش بینی شده دو جهته تا محدوده زاویه ای 160 درجه. ROI در جعبه خط خط برای محاسبه نقشه های خطا بین نماهای پیش بینی شده و نماهای واقعی استفاده شد.(ب) بازسازی SIRT با استفاده از نماهای با زاویه محدود ، با استفاده از نماهای اصلی و NVP به ترتیب و با استفاده از نماهای واقعی 180 درجه. بازسازی با استفاده از دیدگاه 180 درجه به عنوان حقیقت زمین در نظر گرفته می شود. (ج) نقشه خطای تعریف شده به عنوان تفاوت پیکسل بین ROI از نماهای پیش بینی شده و حقایق زمینی تعریف شده است.(د) بازسازی 3 بعدی به عنوان پیش بینی های پیش بینی شده در SIRT بهتر می شود ، در حالی که خطاهای پیش بینی 2 بعدی به دلیل پیش بینی افزایشی جمع می شوند. نماهای پیش بینی شده اضافی بیش از 80 درجه (در کل 160 درجه به همراه زوایای اصلی) به نفع بازسازی 3 بعدی نخواهد بود.

استراتژی پیش بینی کننده تدریجی باعث می شود که تولید پیش بینی زاویه های بیشتر انعطاف پذیر باشد و به طور مؤثر کار را کاهش می دهد ، زیرا این مدل فقط در هر پیش بینی به زوایای نسبی ثابت توجه می کند. با این حال ، خطای پیش بینی انباشته شده با دیدگاههای سنتز شده بیشتر درگیر ، که توسط میانگین مربع-خطا (MSE) بین پیش بینی ها و نماهای هدف در شکل 3 (d) نشان داده شده است. ما دامنه زاویه ای سری طرح ریزی ضبط شده را از 60 درجه تا 160 درجه با 50 درجه اضافی در هر دو طرف گسترش دادیم که فراتر از آن خطاهای انباشته شده پیش بینی برای بهره مندی از بازسازی های زیر 3 بعدی SIRT بسیار بزرگ می شوند. این دامنه زاویه ای "بهینه" را می توان با یک جستجوی بی رحمانه از طریق تمام زوایای پیش بینی شده یافت.

3. 2مشاهده پیش بینی در مورد داده های آزمایشی آزمایشی

ما همچنین روشهای خود را در آزمایش تصویربرداری OPT واقعی از یک گورخرش ارزیابی کردیم. پیش بینی های خام نشان دهنده ضعف چراغ های منتقل شده توسط بافت های نمونه است ، بنابراین پیکسل های تیره بیشتر با ساختار بیولوژیکی رنگ آمیزی بیش از نمونه های روشن تر مرتبط هستند. ما شدت تصاویر را معکوس کردیم تا پیکسل های روشن تر با سیگنال های برچسب خورده مطابقت داشته باشند. هنوز 60 درجه از پیش بینی ها (شکل 4 (a)) ضبط و برای آموزش شبکه ها مورد استفاده قرار گرفتند ، پس از آن نماها در کل با زاویه ای بهینه 120 درجه در کل گسترش یافت (شکل 4 (b)).

پیش بینی های پیش بینی رمان برای تصویربرداری OPT از گورخرفیش.(الف) پیش بینی های 2-D معکوس از گورخرفیش با دامنه زاویه ای کل 60 درجه. مرکز مرکزی برای راحتی 0 درجه تنظیم شده است.(ب) نماهای پیش بینی شده در چندین زاویه بعدی. پیش بینی ها در طول هر دو جهت عقربه های ساعت (ردیف 2) و خلاف جهت عقربه های ساعت (1 ردیف ST) انجام می شود. insets نقشه های خطای پیکسل بین پیش بینی ها و حقایق مربوط به زمین در هر زاویه است. MSE ریشه عادی بین پیش بینی ها و حقایق زمینی برای اندازه گیری خطای پیش بینی به صورت کمی استفاده می شود. با توجه به استراتژی پیش بینی مترقی ، MSE با پیش بینی بیشتر پیش بینی می شود.(ج) بازسازی 3 بعدی گورخرفیش. بازسازی SIRT با استفاده از نماهای با زاویه محدود (60 درجه) اصلی ، بازسازی SIRT با تنظیم تلویزیون با استفاده از نماهای اصلی ، نتیجه گیری جهت دار و بازسازی با استفاده از نماهای اصلی ، تقویت CNOPT ، بازسازی SIRT با استفاده از اصلی و اصلی است. پیش بینی های جدید NVP (120 درجه) ، و بازسازی SIRT به ترتیب با استفاده از نماهای واقعی π رادیان به عنوان حقیقت زمین.(د) 3 بخش جانبی از بازسازی های 3 بعدی توسط هر روش. شاخص های PSNR و SSIM بین بخش بازسازی و حقیقت زمین نشان داده شده است.

بازسازی های 3 بعدی در شکل 4 (c) نشان داده شده است. در کنار بازسازی SIRT با استفاده از نماهای با زاویه محدود ، ما همچنین بازسازی SIRT با زاویه محدود را با تنظیم کل (TV) تنظیم می کنیم [6] ، روش تزریق جهت دار و بازسازی جهت [8] و OPT مبتنی بر CNN (CNOPT) [[CNOPT) [12] روش در ورودی های زاویه ای محدود برای مقایسه. بازسازی SIRT با استفاده از 180 تصویر واقعی با دامنه زاویه ای 180 درجه به عنوان حقیقت زمین در نظر گرفته شد. با توجه به عدم وجود اطلاعات گوه ، ساختارهای کشتی های ماهی نمی توانند به درستی با زوایای ورودی محدود بومی سازی شوند. در نتیجه ، بازسازی فقط با استفاده از دیدگاههای اصلی دارای آثار باستانی و اعوجاج عظیم است (شکل 4 (c) ، "زاویه محدود" ، "تلویزیون" ، "جهت گیری جهت دار") ، که در هنگام از بین بردن حاشیه بزرگی از بین رفته است. نماهای پیش بینی شده اضافی در بازسازی شرکت می کنند (شکل 4 (c) ، "NVP"). اگرچه CNOPT MAY دارای بازسازی بهتری است ، بازسازی ها با استفاده از نماهای کامل 180 درجه برای آموزش NET U در یک کار ترمیم تصویر قبل از استفاده از آن برای استنباط لازم است. در آزمایش ما ، CNOPT با استفاده از داده های گورخرافی دیگر ، با بازسازی SIRT از زاویه محدود (60 درجه) به عنوان ورودی و بازسازی های SIRT از 180 درجه کامل به عنوان اهداف ، به روشی تحت نظارت آموزش داده شد. در مقابل ، NVP پیشنهادی فقط برای ایجاد توانایی زاویه زاویه خود ، به دیدگاه هایی با زاویه بسیار محدود نیاز دارد و به کیفیت قابل مقایسه ای می رسد. به همین ترتیب ، مقطع بازسازی به دلیل دامنه زاویه ای بسیار محدود از نمای ورودی ، دارای یک کانتور شکسته است ، در حالی که گسترش زاویه ها به روش ما به بازیابی یک کانتور قابل اطمینان تر از نمونه کمک می کند (شکل 4 (D))بشربرای ارزیابی کمی از این روشها ، از نسبت سیگنال به نویز (PSNR) و شباهت ساختار (SSIM) استفاده شد که به شرح زیر تعریف شده است:

P S N R (x ، y) = 10 log 10 l 2 1 H W ‖ x - y ‖ 2 2

S S I M (x ، y) = (2 μ x μ y + (0. 01 l) 2) (2 σ x y + (0. 03 l) 2) (μ x 2 + μ y 2 + (0. 01 l) 2) (σ x 2+ σ y 2 + (0. 03 L) 2)

جایی که x و y دو تصویر با ارتفاع H و عرض W و پیکسل دینامیکی L (به عنوان مثال ، 255 برای تصاویر 8 بیتی) هستند. μ ، σ و σ x y میانگین شدت پیکسل یک تصویر ، واریانس استاندارد یک تصویر و کواریانس دو تصویر است. هم PSNR و هم شاخص SSIM بین مقطع بازسازی و حجم مرجع نشان دهنده ارتقاء قابل توجهی توسط NVP پیشنهادی است. نکته قابل توجه این است که مقطع بازیابی شده توسط CNOPT به دلیل عدم صحت روند بازیابی تصویر ، سوء استفاده از چرخش را دارد. در مقابل ، NVP پیشنهادی با استفاده از هندسه طرح ریزی مبتنی بر فیزیک برای تجمع چگالی و پیش بینی مشاهده ، از این امر جلوگیری می کند.

4. بحث

4. 1پیش بینی افزایشی

الگوریتم NVP ما به عنوان ورودی یک دنباله نمای با دامنه و فاصله زاویه ای ثابت می گیرد و همیشه طرح را در زاویه بعدی خارج می کند. اطلاعات زاویه به طور ضمنی توسط دنباله ورودی رمزگذاری می شود. برای پیش بینی بیش از یک دیدگاه ، NVP با در نظر گرفتن آخرین دیدگاه های پیش بینی شده برای سنتز دیدگاه های آینده ، آنها را یکی پس از دیگری ایجاد می کند. در نتیجه ، خطای پیش بینی به ناچار تجمع می یابد. علیرغم این واقعیت که دیدگاه های بیشتری منجر به بازسازی بهتر SIRT ، تعداد بهینه ای از دیدگاه های پیش بینی شده قبل از خطای پیش بینی انباشته وجود دارد که به بازسازی های SIRT آسیب می رساند ، که می توان به راحتی با جستجوی بی رحمانه از طریق تمام زوایای پیش بینی شده پیدا کرد.

4. 2رابطه با پیش بینی پشت

الگوریتم های پیش بینی کننده پشتی معمولی سعی می کنند با قرار دادن شدت پیکسل های پیش بینی شده به مقدمات آن در فضای 3 بعدی ، در حوزه فضایی یا دامنه فرکانس ، اطلاعات حجمی را بازیابی کنند. الگوریتم تجمع چگالی ما با نمونه گیری از اطلاعات از یک نقطه 3 بعدی از پیش بینی های مربوطه در نمای ورودی به این فرآیند شباهت دارد. تفاوت آن این است که ، ما از تکنیک مبتنی بر یادگیری استفاده می کنیم تا تراکم نه تنها از شدت پیش بینی ، بلکه ویژگی های با ابعاد بالا را که توسط یک شبکه VGG از پیش آموزش داده شده است ، استنباط کنیم. این انعطاف پذیری یادگیری است که اطلاعات معقول 3 بعدی را معرفی می کند که در طرح ریزی حجمی-برنامه ریزی و ضبط زاویه محدود از بین رفته است.

4. 3توانایی تعمیم

با توجه به استراتژی خود سنجی ، روش پیشنهادی می تواند به راحتی در هر وضعیت زاویه ای محدود دیگر ، صرفاً با تقسیم پیش بینی های اسیر شده به آموزش و دیدگاه های هدف ، و ایجاد توانایی پیش بینی دید خود در مناسبت جدید ، به راحتی تعمیم یابد. این یکی از مهمترین مزایا در مقایسه با سایر روشهای یادگیری نظارت شده است. علاوه بر این ، ما به طور منطقی می توانیم اعتقاد داشته باشیم که الگوریتم پیشنهادی برای کلیه توموگرافی های مربوط به طرح ریزی مانند توموگرافی کامپیوتری اشعه ایکس و توموگرافی الکترونی ، به سادگی با روی آوردن به مدل مسیر صحیح عکس ، که یکی از جهات برای تحقیقات آینده است ، جهانی است. از این کار

5- نتیجه گیری

ما یک تکنیک پیش بینی نمای بعدی را برای توموگرافی پیش بینی نوری با زاویه محدود ارائه دادیم ، و اطلاعات گوه گمشده تصویربرداری با زاویه محدود را با استفاده از محاسباتی پیش بینی های جدید در زاویه دید جدید ، تکمیل کردیم. با در نظر گرفتن چند پیش بینی با زاویه محدود که توسط یک سیستم توموگرافی نوری معمولی گرفته شده است ، NVP پیشنهادی اطلاعات مربوطه از دیدگاه های ورودی را برای استنباط چگالی نمونه جمع می کند و با استفاده از یک انتگرال پرتوی مبتنی بر فیزیک ، پیش بینی های جدید سازگار با هندسه را ایجاد می کند. فرآیند پیش بینی نمایش توسط چندین شبکه عصبی کوچک اجرا می شود که از طریق یک کار یادگیری خودبوشی آموزش دیده می شوند. NVP پیشنهادی به جای استفاده از منابع 3 بعدی یا π- رادیان ، فقط نیاز به نماهای با زاویه محدود دارد. این بخشی از دیدگاه ها را به عنوان ورودی و دیدگاه های سمت چپ به عنوان مرجع ایجاد توانایی پیش بینی دید خود در نظر می گیرد ، و این امر را برای موارد با زاویه دار محدود نسبت به رویکردهای مبتنی بر یادگیری عمیق معمولی که به اندازه گیری کامل به عنوان مجموعه داده های برچسب نیاز دارند ، بسیار کاربردی می کند. در نتیجه ، دیدگاه های غیب از یک سیستم توموگرافی نوری با زاویه محدود می تواند به صورت محاسباتی سنتز شود و بازسازی 3 بعدی زیر می تواند ارتقا یابد. روش پیشنهادی با آزمایش تصویربرداری از توبولین های شبیه سازی شده و جنین گورخرش تأیید شده است ، که نشان دهنده امکان سنجی آن در تصویربرداری توموگرافی نوری با زاویه دار محدود است. این یک ابزار بالقوه برای توموگرافی دیگر مانند توموگرافی کامپیوتری با اشعه ایکس و توموگرافی الکترونی با اتخاذ مدل های مسیر نوری مناسب در آثار آینده ارائه می دهد.

تصدیق

نویسندگان از Fang Zhao (دانشکده اطلاعات نوری و الکترونیکی ، دانشگاه علوم و فناوری Huazhong) برای کمک به حفظ مجموعه داده های گورخرش تشکر می کنند.

منابع مالی

برنامه تحقیق و توسعه فن آوری های کلیدی 10. 13039/501100012165 (2017YFA0700501) ؛بنیاد ملی علوم طبیعی چین 10. 13039/501100001809 (21874052 ؛ ، T2225014).

افشای

نویسندگان هیچ تضاد منافع را اعلام نمی کنند.

در دسترس بودن داده ها

داده های زیربنای نتایج ارائه شده در این مقاله در حال حاضر در دسترس عموم نیست، اما ممکن است در صورت درخواست معقول از نویسندگان به دست آید.

سند تکمیلی

برای پشتیبانی از محتوا به مکمل 1 مراجعه کنید.

منابع

1. Breer D. J. ، Hall E. J. ، "توموگرافی کامپیوتری - منبع فزاینده ای از قرار گرفتن در معرض تابش ،" N. Engl. J. Med. 357 (22) ، 2277 2284 (2007). 10. 1056/NEJMRA072149 [PubMed] [CrossRef] [Google Scholar]

2. Huang D. ، Swanson E. A. ، Lin C. P. ، Schuman J. S. ، Stinson W. G. ، Chang W. ، Hee M. R. ، Flotte T. ، Gregory K. ، Puliafito C. A. ، Fujimoto J. G. ، "توموگرافی انسجام نوری" ، Science 254 (5035)، 1178 1181 (1991). 10. 1126/Science. 1957169 [مقاله رایگان PMC] [PubMed] [CrossRef] [Google Scholar]

3. Feldkamp L. A. ، Davis L. C. ، Kress J. W. ، "الگوریتم عملی پرتو مخروط ،" J. Opt. SOC. صبح. A 1 (6) ، 612 (1984). 10. 1364/josaa. 1. 000612 [CrossRef] [Google Scholar]

4. Pack J. D. ، Noo F. ، Clackdoyle R. ، "بازسازی مخروط پرتو با استفاده از پیش بینی های پیش بینی های فیلتر شده محلی ،" IEEE Trans. مدتصویربرداری 24 (1) ، 70-85 (2005). 10. 1109/tmi. 2004. 837794 [PubMed] [CrossRef] [Google Scholar]

5. Trampert J. ، Leveque J. J. ، "تکنیک بازسازی تکراری همزمان: تفسیر فیزیکی مبتنی بر راه حل حداقل مربعات عمومی ،" J. Geophys. res95 (B8) ، 12553 (1990). 10. 1029/JB095IB08P12553 [CrossRef] [Google Scholar]

6. Chen Z. ، Jin X. ، Li L. ، Wang G. ، "یک روش بازسازی CT با زاویه محدود بر اساس به حداقل رساندن تلویزیون ناهمسانگرد" ، فیزیک. مدبیول58 (7) ، 2119 2141 (2013). 10. 1088/0031-9155/58/7/2119 [PubMed] [CrossRef] [Google Scholar]

7. Goris B. ، Van Den Broek W. ، Batenburg K. J. ، Heidari Mezerji H. ، Bals S. ، "توموگرافی الکترون بر اساس یک روش بازسازی به حداقل رساندن تنوع کل ،" اولتراماسمروسکوپی 113 ، 120-130 (2012). 10. 1016/j. ultramic. 2011. 11. 004 [CrossRef] [Google Scholar]

8. Tovey R. ، Being M. ، Brune C. ، Lagerwerf M. J. ، Collins S. M. ، Leary R. K. ، Midgley P. A. ، Schönlieb C. B. ، "سینوگرام جهت دار برای توموگرافی زاویه ای محدود" ، معکوس Probl. 35 (2) ، 024004 (2019). 10. 1088/1361-6420/AAF2FE [CrossRef] [Google Scholar]

9. Weigert M. ، Schmidt U. ، Boothe T. ، Müller A. ، Dibrov A. ، Jain A. ، Wilhelm B. ، Schmidt D. ، Broaddus C. ، Culley S. ، Rocha-Martins M. ، Segovia-Miranda F. ، Norden C. ، Henriques R. ، Zerial M. ، Solimena M. ، Rink J. ، Tomancak P. ، Royer L. ، Jug F. ، Myers E. W. ". میکروسکوپ فلورسانس ، "نات. روش های 15 (12) ، 1090-1097 (2018). 10. 1038/S41592-018-0216-7 [PubMed] [CrossRef] [Google Scholar]

10. Lim B. ، Son S. ، Kim H. ، Nah S. ، Le K. M. ، "شبکه های باقیمانده عمیق برای یک تصویر فوق العاده با وضوح تصویر" ، در کنفرانس انجمن رایانه های IEEE در مورد کارگاه های دید رایانه و کارگاه های تشخیص الگوی (2017)2017-ژوئیه.[Google Scholar]

11. Wang Z. ، Zhu L. ، Zhang H. ، Li G. ، Yi C. ، Li Y. ، Yang Y. ، Ding Y. ، Zhen M. ، Gao S. ، Hsiai T. K. ، Fei P. ، "بازسازی حجمی در زمان واقعی دینامیک بیولوژیکی با میکروسکوپ میدان نور و یادگیری عمیق ، "نات. روش های 18 (5) ، 551-556 (2021). 10. 1038/S41592-021-01058-X [مقاله رایگان PMC] [PubMed] [CrossRef] [Google Scholar]

12. Davis S. P. X. ، Kumar S. ، Alexandrov Y. ، Bhargava A. ، Da Silva Xavier G. ، Rutter G. A. ، Frankel P. ، Sahai E. ، Flaxman S. ، French P. M. W. ، McGinty J. ". بازسازی داده های توموگرافی پیش بینی نوری زیر نمونه ای که برای تصویربرداری داخل بدن از گورخرش استفاده شده است ، "J. Biophotonics 12 (12) ، E201900128 (2019). 10. 1002/jbio. 201900128 [مقاله رایگان PMC] [PubMed] [CrossRef] [Google Scholar]

13. Wang Y. ، Yang T. ، Huang W. ، "بازسازی توموگرافی کامپیوتری با زاویه محدود با استفاده از شبکه عصبی مبتنی بر FDK و U-NET" ، در مجموعه مقالات کنفرانس بین المللی سالانه مهندسی IEEE در پزشکی و انجمن زیست شناسی، EMBS (2020) ، 2020-ژوئیه.[PubMed] [Google Scholar]

14. Wang J. ، Liang J. ، Cheng J. ، Guo Y. ، Zeng L. ، "الگوریتم بازسازی تصویر مبتنی بر یادگیری عمیق برای توموگرافی کامپیوتری با زاویه محدود ،" PLOS ONE 15 (1) ، E0226963 (2020). 10. 1371/joual. pone. 0226963 [مقاله رایگان PMC] [PubMed] [CrossRef] [Google Scholar]

15. Bubba T. A. ، Kutyniok G. ، Lassas M. ، März M. ، Samek W. ، Siltanen S. ، Srinivasan V. ، "یادگیری نامرئی: یک چارچوب ترکیبی عمیق ترکیبی برای توموگرافی محاسبه شده با زاویه محدود ،"بشر35 (6) ، 064002 (2019). 10. 1088/1361-6420/ab10ca [CrossRef] [Google Scholar]

16. Barutcu S. ، Aslan S. ، Katsaggelos A. K. ، Gürsoy D. ، "توموگرافی کامپیوتری با زاویه دار محدود با مقدمات تصویر عمیق و فیزیک" ، Sci. Rep. 11 (1) ، 17740 (2021). 10. 1038/S41598-021-97226-2 [مقاله رایگان PMC] [PubMed] [CrossRef] [Google Scholar]

17. Levoy M. ، Hanrahan P. ، "Rendering Field Light" ، در مجموعه مقالات بیست و سومین کنفرانس سالانه گرافیک رایانه و تکنیک های تعاملی ، Siggraph 1996 (1996).[Google Scholar]

18. Gortler S. J. ، Grzeszczuk R. ، Szeliski R. ، Cohen M. F. ، "Lumigraph" ، در مجموعه مقالات کنفرانس ACM Siggraph در مورد گرافیک رایانه (1996).[Google Scholar]

19. Fly J. ، Broxton M. ، Debevec P. ، Duvall M. ، Fyffe G. ، Overbeck R. ، Snavely N. ، Tucker R. ، "Deepview: Syntertising با نزول شیب آموخته شده" ، در مجموعه مقالات IEEEکنفرانس انجمن رایانه در مورد دیدگاه رایانه و تشخیص الگوی (2019) ، 2019-ژوئن.[Google Scholar]

20. Debevec P. E. ، Taylor C. J. ، Malik J. ، "مدل سازی و ارائه معماری از عکس ها: یک روش هندسه ترکیبی و مبتنی بر تصویر" ، در مجموعه مقالات بیست و سومین کنفرانس سالانه گرافیک رایانه و تکنیک های تعاملی ، Siggraph 1996 (1996)بشر[Google Scholar]

21. Wang Q. ، Wang Z. ، Genova K. ، Srinivasan P. ، Zhou H. ، Barron J. T. ، Martin-Brualla R. ، Snavely N. ، Funkhouser T. ، "Ibet: یادگیری رندر مبتنی بر تصویر چند منظوره، "در مجموعه مقالات کنفرانس انجمن رایانه IEEE در مورد دید رایانه و تشخیص الگوی (2021).[Google Scholar]

22. Van Aarle W. ، Palenstijn W. J. ، De Behouwer J. ، Altantzis T. ، Balsburg K. J. ، Sijbers J. ، "جعبه ابزار ASTRA: یک بستر برای توسعه الگوریتم پیشرفته در توموگرافی الکترونی ،" Ultramicroscopy 157 ، 357-47 (2015). 10. 1016/j. ultramic. 2015. 05. 002 [PubMed] [CrossRef] [Google Scholar]