Amazon Textract اور Amazon A2I کا استعمال کرتے ہوئے انسانی نگرانی کے ساتھ لین دین کے دستاویزات کی خودکار ڈیجیٹائزیشن

افلاطون کے ذریعہ دوبارہ شائع کیا گیا۔

فالونگ: 0

اس پوسٹ میں، ہم استعمال کرتے ہوئے لین دین کی دستاویزات کو ڈیجیٹائز کرنے کا حل پیش کرتے ہیں۔ ایمیزون ٹیکسٹ اور استعمال کرتے ہوئے ایک انسانی جائزہ شامل کریں۔ Amazon Augmented AI (A2I)۔ آپ ہمارے پر حل کا ذریعہ تلاش کر سکتے ہیں۔ GitHub کے ذخیرہ.

تنظیموں کو اکثر سکین شدہ لین دین کے دستاویزات کو منظم متن کے ساتھ پروسیس کرنا چاہیے تاکہ وہ فراڈ کا پتہ لگانے یا مالی منظوری جیسے کام انجام دے سکیں۔ لین دین کی دستاویزات کی کچھ عام مثالیں جن میں ٹیبلولر ڈیٹا ہوتا ہے ان میں بینک اسٹیٹمنٹس، انوائسز، اور مواد کے بل شامل ہیں۔ اس طرح کے دستاویزات سے دستی طور پر ڈیٹا نکالنا مہنگا، وقت لگتا ہے، اور اکثر اسپیشلائزڈ افرادی قوت کو تربیت دینے میں اہم سرمایہ کاری کی ضرورت ہوتی ہے۔ اس پوسٹ میں بیان کردہ فن تعمیر کے ساتھ، آپ کم معیار کی اسکین شدہ دستاویزات سے بھی ٹیبلر ڈیٹا کو ڈیجیٹائز کر سکتے ہیں اور اعلیٰ درجے کی درستگی حاصل کر سکتے ہیں۔

سکین شدہ ٹیکسٹ دستاویزات پر کارروائی کرتے وقت درستگی اور بھروسے کو بڑھانے کے لیے مشین لرننگ (ML) پر مبنی الگورتھم کے ساتھ اہم پیش رفت کی گئی ہے۔ یہ الگورتھم اکثر متن کو پہچاننے اور مواد نکالنے میں انسانی سطح کی کارکردگی سے میل کھاتے ہیں۔ Amazon Textract ایک مکمل طور پر منظم سروس ہے جو خود بخود پرنٹ شدہ ٹیکسٹ، ہینڈ رائٹنگ، اور دیگر ڈیٹا کو اسکین شدہ دستاویزات سے نکالتی ہے۔ مزید برآں، Amazon Textract خود بخود اسکین شدہ دستاویزات سے فارم اور ٹیبلز کی شناخت اور نکال سکتا ہے۔

پیچیدہ، مختلف اور حساس دستاویزات کے ساتھ کام کرنے والی کمپنیوں کو نکالے گئے ڈیٹا کی درستگی، مستقل مزاجی اور تعمیل کو یقینی بنانے کے لیے اکثر انسانی نگرانی کی ضرورت ہوتی ہے۔ جیسا کہ انسانی جائزہ لینے والے ان پٹ فراہم کرتے ہیں، آپ کسی خاص کاروباری عمل کی باریکیوں کو حاصل کرنے کے لیے AI ماڈلز کو ٹھیک کر سکتے ہیں۔ Amazon A2I ایک ML سروس ہے جو انسانی جائزے کے لیے درکار ورک فلو کو آسان بناتی ہے۔ Amazon A2I انسانی جائزے کے نظام کی تعمیر یا انسانی جائزہ لینے والوں کی ایک بڑی تعداد کو منظم کرنے سے وابستہ غیر متفاوت ہیوی لفٹنگ کو ہٹاتا ہے، اور آپ کی افرادی قوت کو ایک متحد اور محفوظ تجربہ فراہم کرتا ہے۔

سکین شدہ دستاویزات سے لین دین کا ڈیٹا نکالنا، جیسے کہ بینک اسٹیٹمنٹ پر ڈیبٹ کارڈ کے لین دین کی فہرست، چیلنجوں کا ایک منفرد مجموعہ ہے۔ انسانی جائزے کے ساتھ مصنوعی ذہانت کا امتزاج ان رکاوٹوں کو دور کرنے کے لیے ایک عملی طریقہ فراہم کرتا ہے۔ ایک مربوط حل جو Amazon Textract اور Amazon A2I کو یکجا کرتا ہے ایسی ہی ایک زبردست مثال ہے۔

صارفین لین دین کے دستاویزات کو اسکین کرنے اور اپ لوڈ کرنے کے لیے معمول کے مطابق اپنے اسمارٹ فونز کا استعمال کرتے ہیں۔ اسکین کے مجموعی معیار پر منحصر ہے، بشمول روشنی کے حالات، متزلزل نقطہ نظر، اور تصویر کی کم از کم ریزولوشن، جب ان دستاویزات کو کمپیوٹر وژن (CV) تکنیک کا استعمال کرتے ہوئے پروسیس کیا جاتا ہے تو سب سے زیادہ درستگی دیکھنا کوئی معمولی بات نہیں ہے۔ ایک ہی وقت میں، دستی مشقت کا استعمال کرتے ہوئے سکین شدہ دستاویزات کو سنبھالنے کے نتیجے میں پروسیسنگ کے اخراجات اور پروسیسنگ کے وقت میں اضافہ ہو سکتا ہے، اور آپ کی دستاویزات کے حجم کو بڑھانے کی صلاحیت کو محدود کر سکتا ہے جسے پائپ لائن ہینڈل کر سکتی ہے۔

حل جائزہ

درج ذیل خاکہ ہمارے حل کے ورک فلو کی وضاحت کرتا ہے:

ہمارا اینڈ ٹو اینڈ ورک فلو درج ذیل اقدامات انجام دیتا ہے:

اسکین شدہ سورس دستاویزات سے ٹیبل نکالتا ہے۔
جدولوں سے ڈیٹا نکالتے وقت حسب ضرورت کاروباری اصول لاگو کرتا ہے۔
انسانی جائزے کے لیے چیلنجنگ دستاویزات کو منتخب طور پر بڑھاتا ہے۔
نکالے گئے ڈیٹا پر پوسٹ پروسیسنگ کرتا ہے۔
نتائج کو محفوظ کرتا ہے۔

ReactJS کے ساتھ بنایا گیا ایک حسب ضرورت یوزر انٹرفیس انسانی جائزہ لینے والوں کو دستاویزات میں بدیہی اور مؤثر طریقے سے جائزہ لینے اور مسائل کو درست کرنے کے لیے فراہم کیا جاتا ہے جب Amazon Textract ایک کم اعتماد نکالنے کا سکور فراہم کرتا ہے، مثال کے طور پر جب متن غیر واضح، مبہم، یا دوسری صورت میں غیر واضح ہو۔

ہمارا حوالہ حل ایک انتہائی لچکدار پائپ لائن کا استعمال کرتا ہے، جیسا کہ مندرجہ ذیل خاکہ میں تفصیل سے دستاویز کی پروسیسنگ کے مختلف مراحل کو مربوط کرنے کے لیے ہے۔

حل میں کئی تعمیراتی بہترین طریقوں کو شامل کیا گیا ہے:

بیچ پراسیسنگ - جب ممکن ہو، حل کو متعدد دستاویزات جمع کرنے اور بیچ آپریشنز کو انجام دینا چاہیے تاکہ ہم تھرو پٹ کو بہتر بنا سکیں اور وسائل کو زیادہ مؤثر طریقے سے استعمال کر سکیں۔ مثال کے طور پر، کسی حسب ضرورت AI ماڈل کو کال کرنا تاکہ دستاویزات کے ایک گروپ کے لیے ایک بار اندازہ لگایا جا سکے، جیسا کہ ہر دستاویز کے لیے انفرادی طور پر ماڈل کو کال کرنے کے برخلاف۔ ہمارے حل کے ڈیزائن کو مناسب ہونے پر بیچنگ کو فعال کرنا چاہئے۔
ترجیحی ایڈجسٹمنٹ - جب قطار میں موجود دستاویزات کا حجم بڑھ جاتا ہے اور حل ان پر بروقت کارروائی کرنے کے قابل نہیں رہتا ہے، تو ہمیں اس بات کی نشاندہی کرنے کے لیے ایک طریقہ کی ضرورت ہوتی ہے کہ کچھ دستاویزات اعلی ترجیح ہیں، اور اس لیے قطار میں موجود دیگر دستاویزات سے پہلے ان پر کارروائی کی جانی چاہیے۔ .
آٹو اسکیلنگ - حل متحرک طور پر اوپر اور نیچے کی پیمائش کرنے کے قابل ہونا چاہئے۔ بہت سے دستاویزات کی پروسیسنگ ورک فلو کو طلب کی چکراتی نوعیت کی حمایت کرنے کی ضرورت ہے۔ ہمیں حل کو اس طرح ڈیزائن کرنا چاہئے کہ یہ بوجھ میں اسپائکس کو ہینڈل کرنے کے لئے بغیر کسی رکاوٹ کے پیمانہ بنا سکے اور جب بوجھ کم ہو جائے تو اسے نیچے کی پیمائش کر سکے۔
خود ضابطہ - حل بیرونی خدمات کی بندش اور شرح کی حدود کو احسن طریقے سے سنبھالنے کے قابل ہونا چاہئے۔

دستاویز پروسیسنگ کے مراحل

اس سیکشن میں، ہم آپ کو دستاویز پروسیسنگ ورک فلو میں ہر مرحلے کی تفصیلات سے آگاہ کرتے ہیں:

حصول
تبادلوں سے
نکالنے
نئی شکل دینا
کسٹم بزنس آپریشنز
اضافہ
زمرہ بندی

حصول

پائپ لائن کا پہلا مرحلہ ان پٹ دستاویزات سے حاصل کرتا ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔ اس مرحلے میں، ہم ابتدائی دستاویز کی معلومات کو ایک میں محفوظ کرتے ہیں۔ ایمیزون ڈائنومو ڈی بی کے ذریعے S3 ایونٹ کی اطلاع موصول ہونے کے بعد ٹیبل ایمیزون سادہ قطار سروس (ایمیزون ایس کیو ایس)۔ ہم اس ٹیبل ریکارڈ کو پوری پائپ لائن میں اس دستاویز کی پیشرفت کو ٹریک کرنے کے لیے استعمال کرتے ہیں۔

ہر دستاویز کے لیے ترجیحی ترتیب کا تعین دستاویز کے راستے میں حروف نمبری ان پٹ کلید کے سابقے کو ترتیب دے کر کیا جاتا ہے۔ مثال کے طور پر، کلید کے ساتھ ذخیرہ شدہ دستاویز acquire/p0/doc.pdf ترجیحی p0 کے نتیجے میں، اور کلید کے ساتھ ذخیرہ کردہ ایک اور دستاویز پر فوقیت لیتا ہے۔ acquire/p1/doc.pdf (ترجیحی p1 کے نتیجے میں)۔ کلید میں کوئی ترجیحی اشارے کے بغیر دستاویزات کے آخر میں کارروائی کی جاتی ہے۔

تبادلوں سے

پچھلے مرحلے سے حاصل کی گئی دستاویزات کو پی ڈی ایف فارمیٹ میں تبدیل کر دیا جاتا ہے، لہذا ہم باقی پائپ لائن کے لیے مستقل ڈیٹا فارمیٹ فراہم کر سکتے ہیں۔ یہ ہمیں متعلقہ دستاویز کے متعدد صفحات کو بیچنے کی اجازت دیتا ہے۔

نکالنے

پی ڈی ایف دستاویزات آپٹیکل کریکٹر ریکگنیشن (OCR) کو انجام دینے کے لیے Amazon Textract کو بھیجی جاتی ہیں۔ Amazon Textract کے نتائج Amazon S3 میں ایک فولڈر میں JSON کے بطور محفوظ کیے جاتے ہیں۔

نئی شکل دینا

Amazon Textract پروسیس شدہ دستاویز سے تفصیلی معلومات فراہم کرتا ہے، بشمول خام متن، کلیدی قدر کے جوڑے، اور میزیں۔ اضافی میٹا ڈیٹا کی ایک قابل ذکر مقدار شناخت شدہ ہستی بلاکس کے درمیان مقام اور تعلق کی نشاندہی کرتی ہے۔ اس مرحلے پر مزید پروسیسنگ کے لیے لین دین کا ڈیٹا منتخب کیا جاتا ہے۔

کسٹم بزنس آپریشنز

اپنی مرضی کے مطابق کاروباری قوانین کا اطلاق نئی شکل دینے والے آؤٹ پٹ پر ہوتا ہے جس میں دستاویز میں ٹیبلز کے بارے میں معلومات ہوتی ہیں۔ حسب ضرورت اصولوں میں ٹیبل فارمیٹ کا پتہ لگانا (جیسے یہ پتہ لگانا کہ ٹیبل میں ٹرانزیکشنز کی جانچ پڑتال ہے) یا کالم کی توثیق (جیسے اس بات کی تصدیق کرنا کہ پروڈکٹ کوڈ کے کالم میں صرف درست کوڈز شامل ہیں) شامل ہو سکتے ہیں۔

اضافہ

انسانی تشریحی دستاویز کا جائزہ لینے کے لیے Amazon A2I کا استعمال کرتے ہیں اور کسی بھی ایسی معلومات کے ساتھ اس میں اضافہ کرتے ہیں جو چھوٹ گئی ہو۔ جائزے میں غلطیوں کے لیے دستاویز میں موجود ہر ٹیبل کا تجزیہ کرنا شامل ہے جیسے کہ غلط ٹیبل کی اقسام، فیلڈ ہیڈر، اور انفرادی سیل ٹیکسٹ جس کی غلط پیش گوئی کی گئی تھی۔ نکالنے کے مرحلے کے ذریعے فراہم کردہ اعتماد کے اسکورز UI میں دکھائے جاتے ہیں تاکہ انسانی مبصرین کو کم درست پیشین گوئیوں کا آسانی سے پتہ لگانے میں مدد ملے۔ مندرجہ ذیل اسکرین شاٹ اس مقصد کے لیے استعمال ہونے والا حسب ضرورت UI دکھاتا ہے۔

ہمارا حل ایک نجی انسانی جائزہ لینے والے افرادی قوت کا استعمال کرتا ہے جو اندرون خانہ تشریح کرنے والوں پر مشتمل ہوتا ہے۔ یہ ایک مثالی آپشن ہے جب حساس دستاویزات یا دستاویزات سے نمٹنے کے لیے جن کے لیے ڈومین کی انتہائی مہارت کی ضرورت ہوتی ہے۔ ایمیزون A2I کے ذریعے انسانی جائزہ لینے والے افرادی قوت کی بھی حمایت کرتا ہے۔ ایمیزون میکانی ترک اور ایمیزون کے مجاز ڈیٹا لیبلنگ پارٹنرز۔

زمرہ بندی

وہ دستاویزات جو انسانی جائزے کو پاس کرتی ہیں ایکسل ورک بک میں کیٹلاگ کی جاتی ہیں تاکہ آپ کی کاروباری ٹیمیں انہیں آسانی سے استعمال کر سکیں۔ ورک بک میں ان کی متعلقہ شیٹ میں ماخذ دستاویز میں ہر ٹیبل کا پتہ لگانے اور اس پر کارروائی کی گئی ہے، جس پر ٹیبل کی قسم اور صفحہ نمبر کے ساتھ لیبل لگا ہوا ہے۔ یہ ایکسل فائلیں Amazon S3 کے فولڈر میں کاروباری ایپلی کیشنز کے استعمال کے لیے محفوظ کی جاتی ہیں، مثال کے طور پر، ML تکنیک کا استعمال کرتے ہوئے فراڈ کا پتہ لگانا۔

حل تعینات کریں۔

یہ حوالہ حل GitHub پر دستیاب ہے، اور آپ اسے کے ساتھ تعینات کر سکتے ہیں۔ AWS کلاؤڈ ڈویلپمنٹ کٹ (AWS CDK)۔ AWS CDK آپ کی ایپلی کیشنز کی ماڈلنگ کے لیے پروگرامنگ زبانوں کی واقفیت اور اظہار کی طاقت کا استعمال کرتا ہے۔ یہ اعلی سطحی اجزاء فراہم کرتا ہے جسے کہا جاتا ہے۔ تعمیرات جو ثابت شدہ ڈیفالٹس کے ساتھ کلاؤڈ وسائل کو پہلے سے ترتیب دیتا ہے، تاکہ آپ آسانی سے کلاؤڈ ایپلی کیشنز بنا سکیں۔

کلاؤڈ ایپلیکیشن کی تعیناتی سے متعلق ہدایات کے لیے، میں README فائل سے رجوع کریں۔ GitHub کے ریپو

حل کا مظاہرہ

مندرجہ ذیل ویڈیو آپ کو حل کے ایک مظاہرے سے گزرتی ہے۔

نتیجہ

اس پوسٹ نے دکھایا کہ آپ Amazon Textract اور Amazon A2I کے ساتھ لین دین کی دستاویزات پر کارروائی کرنے کے لیے کس طرح اپنی مرضی کے مطابق ڈیجیٹائزیشن حل بنا سکتے ہیں۔ ہم نے ان پٹ مینی فیسٹس کو خودکار اور بڑھایا، اور حسب ضرورت کاروباری قواعد کو نافذ کیا۔ ہم نے انسانی افرادی قوت کو کم اعتماد والے اسکور کے ساتھ ڈیٹا کا جائزہ لینے، ضروری ایڈجسٹمنٹ کرنے، اور بنیادی ایم ایل ماڈلز کو بہتر بنانے کے لیے فیڈ بیک استعمال کرنے کے لیے ایک بدیہی یوزر انٹرفیس بھی فراہم کیا۔ ReactJS جیسے کسٹم فرنٹ اینڈ فریم ورک کو استعمال کرنے کی صلاحیت ہمیں جدید ویب ایپلیکیشنز بنانے کی اجازت دیتی ہے جو ہماری درست ضروریات کو پورا کرتی ہیں، خاص طور پر جب عوامی، نجی، یا تیسرے فریق کے ڈیٹا لیبلنگ ورک فورس کا استعمال کرتے ہیں۔

Amazon Textract اور Amazon A2I کے بارے میں مزید معلومات کے لیے، دیکھیں ایمیزون ٹیکسٹریکٹ آؤٹ پٹ میں ہیومن ریویو شامل کرنے کے لیے ایمیزون اگمنٹڈ اے آئی کا استعمال. ویڈیو پریزنٹیشنز، نمونہ Jupyter نوٹ بکس، یا استعمال کے معاملات کے بارے میں معلومات جیسے دستاویز کی پروسیسنگ، مواد کی اعتدال، جذبات کا تجزیہ، متن کا ترجمہ، اور بہت کچھ، دیکھیں Amazon Augmented AI وسائل.

ٹیم کے بارے میں

Amazon ML Solutions Lab آپ کی تنظیم کو ML ماہرین کے ساتھ جوڑتا ہے تاکہ آپ کی تنظیم کے اعلیٰ ترین منافع پر سرمایہ کاری کے ML مواقع کو حل کرنے کے لیے ML حلوں کی شناخت اور تعمیر میں آپ کی مدد کی جا سکے۔ دریافت ورکشاپس اور آئیڈییشن سیشنز کے ذریعے، ML سلوشنز لیب آپ کے کاروباری مسائل سے "پیچھے کام کرتی ہے" تاکہ ترجیحی ML استعمال کے معاملات کا ایک روڈ میپ فراہم کیا جا سکے جس کے ساتھ ان کو حل کرنے کے لیے ایک نفاذی منصوبہ ہے۔ ہمارے ML سائنسدان صارفین کے مسائل کو حل کرنے کے لیے کمپیوٹر ویژن، اسپیچ پروسیسنگ، اور قدرتی زبان کی پروسیسنگ جیسے شعبوں میں جدید ترین ML ماڈلز ڈیزائن اور تیار کرتے ہیں، بشمول انسانی جائزے کی ضرورت کے حل۔

مصنفین کے بارے میں

پرائی نونس ایمیزون ایم ایل سلوشنز لیب میں ایک ڈیپ لرننگ آرکیٹیکٹ ہے، جہاں وہ مختلف عمودی حصوں میں صارفین کے ساتھ کام کرتا ہے، اور ان کی کلاؤڈ مائیگریشن کے سفر کو تیز کرنے، اور جدید ترین حل اور ٹیکنالوجیز کا استعمال کرتے ہوئے ان کے ایم ایل کے مسائل کو حل کرنے میں مدد کرتا ہے۔

ڈین نوبل ایمیزون میں سافٹ ویئر ڈویلپمنٹ انجینئر ہے جہاں وہ صارف کے خوشگوار تجربات بنانے میں مدد کرتا ہے۔ اپنے فارغ وقت میں، وہ اپنے اہل خانہ کے ساتھ پڑھنے، ورزش کرنے اور مہم جوئی کرنے سے لطف اندوز ہوتا ہے۔

جے سان جنگ سافٹ ویئر ڈویلپمنٹ انجینئر ہے۔ اس کا جذبہ کاروباری عمل کو یقینی بنانے کے لیے AI سلوشنز اور آرکیسٹریشن ٹیکنالوجیز کا استعمال کرتے ہوئے خودکار دستی عمل کے ساتھ ہے۔

جیریمی فیلٹرکو Amazon Web Services میں Amazon ML Solutions Lab کے ساتھ سافٹ ویئر ڈویلپمنٹ انجینئر ہے۔ وہ اپنے پس منظر کو کمپیوٹر وژن، روبوٹکس اور مشین لرننگ میں استعمال کرتا ہے تاکہ AWS صارفین کو اپنے AI کو اپنانے کو تیز کرنے میں مدد کی جا سکے۔

ڈیوڈ دساری میں مینیجر ہے۔ ایمیزون ایم ایل حل لیبجہاں وہ AWS کے صارفین کو مختلف صنعتی عمودی حصوں میں ہیومن-ان-دی-لوپ سلوشنز میں اپنے AI اور کلاؤڈ کو اپنانے کو تیز کرنے میں مدد کرتا ہے۔ اس کے پس منظر کے طور پر ERP اور ادائیگی کی خدمات کے ساتھ، وہ ML/AI کی طرف متوجہ تھا اور صارفین کو خوش کرنے میں پیش قدمی کر رہا تھا جس نے اسے اس شعبے کی طرف راغب کیا۔