Amazonka Kendra to łatwa w użyciu inteligentna usługa wyszukiwania, która umożliwia integrację funkcji wyszukiwania z aplikacjami, dzięki czemu użytkownicy mogą znajdować informacje przechowywane w różnych źródłach danych, takich jak Usługa Amazon Simple Storage , OneDrive i Dysk Google; aplikacje takie jak SalesForce, SharePoint i Service Now; i relacyjnych baz danych, np Usługa relacyjnych baz danych Amazon (Amazon RDS). Korzystanie ze złączy Amazon Kendra umożliwia synchronizację danych z wielu repozytoriów treści z indeksem Amazon Kendra. Kiedy użytkownicy końcowi zadają pytania w języku naturalnym, Amazon Kendra wykorzystuje algorytmy uczenia maszynowego (ML), aby zrozumieć kontekst i zwrócić najbardziej odpowiednie odpowiedzi.
Złącze Amazon Kendra S3 obsługuje indeksowanie dokumentów i powiązanych z nimi metadanych przechowywanych w zasobniku S3. Często zdarza się, że chcesz mieć pewność, że aplikacje działające w VPC mają dostęp tylko do określonych zasobników S3, aw wielu przypadkach połączenie nie może przechodzić przez Internet, aby dotrzeć do publicznych punktów końcowych. Jednak wielu klientów posiada wiele zasobników S3, z których niektóre są dostępne przez Punkty końcowe VPC dla Amazon S3. W tym poście opisujemy, jak używać zaktualizowanego konektora Amazon Kendra S3 z obsługą VPC do korzystania z punktów końcowych VPC.
Ten post zawiera kroki, które pomogą Ci stworzyć wyszukiwarkę korporacyjną w AWS przy użyciu Amazon Kendra, łącząc dokumenty przechowywane w zasobniku S3, dostępnym tylko z poziomu VPC. Aby uzyskać więcej informacji, zobacz usprawnienie wyszukiwania korporacyjnego dzięki Amazon Kendra. W poście pokazano również, jak skonfigurować łącznik dla Amazon S3 i skonfigurować synchronizację indeksu ze źródłem danych, gdy zmienia się zawartość źródła danych.
Przegląd rozwiązania
Istnieją trzy główne ulepszenia programu Złącze Amazon Kendra S3 :
- Obsługa VPC – Złącze obsługuje teraz używanie twojego Wirtualna prywatna chmura Amazon (Amazon VPC). Możesz teraz bezpiecznie łączyć się z Amazon S3 za pomocą Punkty końcowe VPC dla Amazon S3 określając połączenie VPC, podsieć i grupy zabezpieczeń.
- Dwa tryby synchronizacji – Kiedy planujesz synchronizację źródła danych w Amazon S3 z indeksem Amazon Kendra, możesz teraz wybrać tryb pełnej synchronizacji lub tryb synchronizacji nowego, zmodyfikowanego i usuniętego dokumentu. W trybie pełnej synchronizacji za każdym razem, gdy synchronizacja jest uruchamiana, skanuje ona obiekty w każdym folderze w ścieżce głównej, do której indeksowania została skonfigurowana, i ponownie przetwarza wszystkie dokumenty . Pełne odświeżenie umożliwia zresetowanie indeksu bez konieczności usuwania i tworzenia nowego źródła danych. W trybie synchronizacji nowego, zmodyfikowanego i usuniętego dokumentu za każdym razem, gdy zadanie synchronizacji jest uruchamiane, przetwarza tylko te obiekty, które zostały dodane, zmodyfikowane lub usunięte od czasu ostatniego przeszukiwania. Indeksowanie przyrostowe może skrócić czas działania i koszty, jeśli jest używane z zestawami danych, które regularnie dołączają nowe obiekty do istniejących źródeł danych.
- Dodatkowe wzorce włączania i wyłączania dokumentów: oprócz prefiksów wprowadzamy wzorce dołączania lub wykluczania dokumentów z indeksu. Dwa obsługiwane typy wzorców to glob w stylu Unix lub typy plików. Możesz teraz dodać wzorzec wyrażenia regularnego, aby uwzględnić określone foldery lub wykluczyć foldery, typy plików lub określone pliki ze źródła danych. Może to być przydatne w przypadku współdzielonych repozytoriów danych, które zawierają treści należące do różnych kategorii, klasyfikacji i typów plików.
Wymagania wstępne
W tej instrukcji należy spełnić następujące wymagania wstępne:
Utwórz i skonfiguruj swoje repozytorium dokumentów
Zanim utworzysz indeks w Amazon Kendra, musisz załadować dokumenty do wiadra S3. Ta sekcja zawiera instrukcje dotyczące tworzenia segmentu S3, pobierania plików i ładowania ich do segmentu. Po wykonaniu wszystkich kroków w tej sekcji masz źródło danych, z którego może korzystać Amazon Kendra.
- Na Konsola zarządzania AWS, na liście regionów wybierz wschodnie stany zjednoczone (płn. Wirginia) lub dowolny wybrany region Amazon Kendra jest dostępna w.
- Dodaj Usługi.
- Pod Magazynowaniewybierz S3.
- Na konsoli Amazon S3 wybierz Utwórz wiadro.
- Pod Ogólna konfiguracja, Podaj następujące informacje:
- Dla nazwy Bucket, wchodzić
kendrapost-{your account id}.
- W obszarze Region wybierz ten sam region, którego używasz do wdrażania indeksu Amazon Kendra (ten post używa
us-east-1
). - Pod ustawienia łyżki, dla Zablokuj dostęp publiczny, pozostaw wszystko z wartościami domyślnymi.
- Dla nazwy Bucket, wchodzić
- Pod ustawienia zaawansowane, pozostaw wszystko z wartościami domyślnymi.
- Dodaj Utwórz wiadro.
- Do pobrania AWS_Whitepapers.zip i rozpakuj pliki.
- Na konsoli Amazon S3 wybierz właśnie utworzone wiadro i wybierz Prześlij.
- Prześlij foldery
Best Practices
,Databases
,General
,Machine Learning
z rozpakowanego pliku.
W wiadrze powinieneś teraz zobaczyć cztery foldery.
Dodaj źródło danych
A źródło danych to lokalizacja przechowująca dokumenty do indeksowania. Możesz automatycznie synchronizować źródła danych z indeksem Amazon Kendra, aby upewnić się, że wyszukiwania poprawnie odzwierciedlają nowe, zaktualizowane lub usunięte dokumenty w repozytoriach źródłowych.
Po wykonaniu wszystkich kroków w tej sekcji będziesz mieć źródło danych połączone z Amazon Kendra. Aby uzyskać więcej informacji, zobacz Dodawanie dokumentów ze źródła danych.
Przed kontynuowaniem upewnij się, że tworzenie indeksu zostało zakończone, a indeks jest wyświetlany jako Aktywna. Aby uzyskać więcej informacji, zobacz Tworzenie indeksu.
- W konsoli Amazon Kendra przejdź do swojego indeksu (dla tego postu,
kendra-blog-index
). - Na
kendra-blog-index
wybierz stronę Dodaj źródła danych. - W Amazon S3 wybierz Dodaj złącze.
Aby uzyskać więcej informacji o różnych źródłach danych obsługiwanych przez Amazon Kendra, zobacz Dodawanie dokumentów ze źródła danych.
- W Określ szczegóły źródła danych sekcja dla Nazwa źródła danych, wchodzić
aws_white_paper
. - W razie zamówieenia projektu Opis, wchodzić
AWS White Paper documentation
. - Dodaj Następna.
Teraz tworzysz plik AWS Zarządzanie tożsamością i dostępem (IAM) dla Amazon Kendra.
- W Zdefiniuj dostęp i bezpieczeństwo strona dla Rola IAM Sekcja, wybierz Utwórz nową rolę.
- W polu Nazwa roli wprowadź
source-role
(twoja nazwa roli jest poprzedzona prefiksemAmazonKendra-
). - W Skonfiguruj VPC i zabezpieczenia sekcji, wybierz swoją VPC, i wpisz swój Podsieci i grupy zabezpieczeń VPC.
Aby uzyskać więcej informacji na temat łączenia Amazon Kendra z Amazon Virtual Private Cloud, patrz Konfigurowanie Amazon Kendra do korzystania z VPC.
- Dodaj Następna.
- W Skonfiguruj ustawienia synchronizacji strona dla Wprowadź lokalizację źródła danych, wprowadź utworzony wiadro S3:
kendrapost-{your account id}
. - Pozostawiać Lokalizacja folderu z prefiksem plików metadanych pusty.
Domyślnie pliki metadanych są przechowywane w tym samym katalogu co dokumenty. Jeśli chcesz umieścić te pliki w innym folderze, możesz dodać prefiks. Aby uzyskać więcej informacji, zobacz Metadane dokumentu Amazon S3.
- W razie zamówieenia projektu Wybierz klucz deszyfrujący, pozostaw to niezaznaczone.
- W razie zamówieenia projektu Dodatkowa konfiguracja, możesz dodać wzór, aby uwzględnić lub wykluczyć niektóre foldery lub pliki. W tym poście zachowaj wartości domyślne.
- W razie zamówieenia projektu Tryb synchronizacji wybierać Synchronizacja nowych, zmodyfikowanych lub usuniętych dokumentów.
- W razie zamówieenia projektu Częstotliwośćwybierz Uruchom na żądanie.
Ten krok określa częstotliwość synchronizacji źródła danych z indeksem Amazon Kendra.
- Dodaj Następna.
- W Ustaw mapowania pól stronie, zachowaj wartości domyślne.
- Dodaj Następna.
- Na Przejrzyj i utwórz wybierz stronę Dodaj źródło danych.
- Wróć do swojego indeksu Kendra.
- Wybierz swoje Źródło danych, A następnie wybierz Synchronizuj teraz do synchronizacji dokumentów z indeksem Amazon Kendra.
Czas trwania tego procesu zależy od liczby indeksowanych dokumentów. W tym przypadku może to potrwać 15 minut, po czym powinien zostać wyświetlony komunikat informujący o pomyślnym zakończeniu synchronizacji. W sekcji Historia uruchamiania synchronizacji widać, że zsynchronizowano 40 dokumentów.
Twój indeks Amazon Kendra jest teraz gotowy do obsługi zapytań w języku naturalnym. Podczas przeszukiwania indeksu Amazon Kendra wykorzystuje wszystkie dostarczone dane i metadane, aby uzyskać najdokładniejsze odpowiedzi na zapytanie. Na konsoli Amazon Kendra wybierz Wyszukaj zindeksowaną treść. W polu zapytania zacznij od zapytania typu „Która usługa AWS ma 11 dziewiątek trwałości?”
Aby uzyskać więcej informacji na temat wysyłania zapytań do indeksu, zobacz Zapytanie o indeks
Synchronizuj zmiany źródła danych, aby przeszukać indeks
Twoje źródło danych jest skonfigurowane do synchronizowania wszelkich nowych, zmodyfikowanych lub usuniętych danych. Zanim będziesz mógł stopniowo synchronizować źródło danych z indeksem w Amazon Kendra, musisz załadować nowe dokumenty do zasobnika S3.
- Na konsoli Amazon S3 wybierz właśnie utworzone wiadro i wybierz Prześlij.
- Prześlij foldery
Security
iWell_Architected
z rozpakowanego pliku.
Teraz możesz zsynchronizować nowe dokumenty dodane do zasobnika S3:
- Na konsoli Amazon Kendra wybierz Źródła danych a następnie wybierz źródło danych S3.
- Dodaj Synchronizuj teraz.
Czas trwania tego procesu zależy od liczby indeksowanych dokumentów. W tym przypadku użycia może to potrwać 15 minut, po czym powinien zostać wyświetlony komunikat o pomyślnej synchronizacji.
W Synchronizuj historię uruchamiania w sekcji widać, że zsynchronizowano 20 dokumentów.
Ponownie zindeksuj źródło danych
W scenariuszu, w którym źródło danych zawiera nieaktualne informacje, można teraz ponownie zindeksować źródło danych bez konieczności usuwania i tworzenia nowego źródła danych. Aby zmodyfikować tryb synchronizacji i ponownie zindeksować źródło danych, wykonaj następujące czynności:
- Na konsoli Amazon Kendra wybierz Źródła danych a następnie wybierz źródło danych S3.
- Na Akcje menu, wybierz Edytować.
- Dodaj Następna przenieść się do Krok 3 – Skonfiguruj stronę ustawień synchronizacji.
- W trybie synchronizacji wybierz Pełna synchronizacja.
- W razie zamówieenia projektu Częstotliwośćwybierz Uruchom na żądanie.
- Dodaj Następna.
- W Ustaw mapowania pól stronie, zachowaj wartości domyślne.
- Dodaj Następna.
- Na Przejrzyj i utwórz wybierz stronę Aktualizacja.
Teraz możesz zsynchronizować nowe dokumenty dodane do zasobnika S3.
- Na konsoli Amazon Kendra wybierz Źródła danych a następnie wybierz źródło danych S3.
- Dodaj Synchronizuj teraz.
W Synchronizuj historię uruchamiania sekcji, możesz zobaczyć, że wszystkie dokumenty zostały zsynchronizowane niezależnie od poprzedniego stanu synchronizacji w zmodyfikowanej kolumnie.
Sprzątać
Aby uniknąć naliczania przyszłych opłat i wyczyścić nieużywane role i zasady, usuń utworzone przez siebie zasoby:
- W indeksie Amazon Kendra wybierz Indeksy w okienku nawigacji.
- Wybierz utworzony indeks i na Akcje menu, wybierz Usuń.
- Aby potwierdzić usunięcie, wpisz Usuń po wyświetleniu monitu i wybierz Usuń.
Poczekaj, aż pojawi się komunikat potwierdzający; proces może potrwać do 15 minut.
- Na konsoli Amazon S3, usuń wiadro S3.
- Na konsoli IAM usuń odpowiednie role IAM.
Wnioski
W tym poście nauczyłeś się, jak używać Amazon Kendra do wdrażania usługi wyszukiwania korporacyjnego przy użyciu bezpiecznego połączenia z Amazon S3, które nie wymaga bramy internetowej ani urządzenia do translacji adresów sieciowych (NAT). Możesz włączyć szybszą synchronizację dokumentów w trybie synchronizacji.
Istnieje wiele dodatkowych funkcji, których nie omówiliśmy. Na przykład:
- Możesz włączyć kontrolę dostępu opartą na użytkownikach dla swojego indeksu Amazon Kendra i ograniczyć dostęp do dokumentów na podstawie kontroli dostępu, które już skonfigurowałeś.
- Możesz mapować atrybuty obiektów na atrybuty indeksu Amazon Kendra i włączać je do facetingu, wyszukiwania i wyświetlania w wynikach wyszukiwania.
- Możesz szybko znaleźć informacje ze stron internetowych (tabele HTML) za pomocą wyszukiwania tabelarycznego Amazon Kendra
Aby dowiedzieć się więcej o Amazon Kendra, zobacz Przewodnik dla programistów Amazon Kendra.
O autorach
Marana Chandrasekarana jest starszym architektem rozwiązań w Amazon Web Services, pracując z naszymi klientami korporacyjnymi. Poza pracą uwielbia podróżować.
Arjun Agrawal jest inżynierem oprogramowania w AWS, obecnie pracuje z zespołem Amazon Kendra nad wyszukiwarką korporacyjną. Pasjonuje się nowymi technologiami i rozwiązywaniem rzeczywistych problemów. Poza pracą uwielbia spacery i podróże.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/search-for-answers-accurately-using-amazon-kendra-s3-connector-with-vpc-support/
- 10
- 100
- 11
- 7
- a
- O nas
- dostęp
- dostępny
- Konto
- dokładny
- dokładnie
- w poprzek
- w dodatku
- dodatek
- Dodatkowy
- adres
- Po
- Algorytmy
- Wszystkie kategorie
- pozwala
- już
- Amazonka
- Amazonka Kendra
- Amazon RDS
- Amazon Web Services
- i
- odpowiedzi
- aplikacje
- powiązany
- atrybuty
- automatycznie
- dostępny
- uniknąć
- AWS
- z powrotem
- na podstawie
- podstawa
- zanim
- możliwości
- walizka
- Etui
- kategorie
- pewien
- Zmiany
- Opłaty
- wybór
- Dodaj
- klasyfikacja
- Chmura
- Kolumna
- kompletny
- wypełniając
- Potwierdzać
- Skontaktuj się
- Podłączanie
- połączenie
- Konsola
- zawiera
- zawartość
- kontekst
- kontynuując
- kontrola
- kontroli
- prawidłowo
- Odpowiedni
- Koszty:
- pokrywa
- Stwórz
- stworzony
- tworzenie
- Obecnie
- Klientów
- dane
- Baza danych
- Bazy danych
- zbiory danych
- Domyślnie
- Definiuje
- demonstruje
- zależy
- rozwijać
- opisać
- Deweloper
- urządzenie
- różne
- Wyświetlacz
- dokument
- dokumenty
- Nie
- napęd
- trwałość
- Wschód
- łatwy w użyciu
- umożliwiać
- Umożliwia
- silnik
- inżynier
- Wchodzę
- Enterprise
- klienci korporacyjni
- Wyszukiwanie korporacyjne
- Eter (ETH)
- Każdy
- wszystko
- przykład
- Przede wszystkim system został opracowany
- Korzyści
- pole
- filet
- Akta
- Znajdź
- następujący
- Częstotliwość
- od
- pełny
- przyszłość
- Bramka
- otrzymać
- Grupy
- mający
- pomoc
- Wycieczka
- historia
- W jaki sposób
- How To
- Jednak
- HTML
- HTTPS
- IAM
- tożsamość
- ulepszenia
- in
- zawierać
- włączenie
- wskaźnik
- Informacja
- instrukcje
- integrować
- Inteligentny
- Internet
- wprowadzenie
- niezależny
- IT
- Praca
- Trzymać
- język
- Nazwisko
- UCZYĆ SIĘ
- dowiedziałem
- nauka
- Pozostawiać
- powiązany
- Lista
- załadować
- lokalizacja
- maszyna
- uczenie maszynowe
- Główny
- robić
- i konserwacjami
- wiele
- mapa
- Menu
- wiadomość
- Metadane
- minuty
- ML
- Moda
- Tryby
- zmodyfikowano
- modyfikować
- jeszcze
- większość
- ruch
- wielokrotność
- Nazwa
- Naturalny
- Język naturalny
- Nawigacja
- Nawigacja
- Potrzebować
- sieć
- sieci
- Nowości
- numer
- przedmiot
- obiekty
- onedrive
- zewnętrzne
- własny
- chleb
- Papier
- namiętny
- ścieżka
- Wzór
- wzory
- Miejsce
- plato
- Analiza danych Platona
- PlatoDane
- polityka
- Post
- warunki wstępne
- poprzedni
- prywatny
- problemy
- wygląda tak
- procesów
- zapewniać
- pod warunkiem,
- zapewnia
- publiczny
- pytania
- szybciej
- szybko
- dosięgnąć
- gotowy
- Prawdziwy świat
- zmniejszyć
- odzwierciedlić
- region
- regularny
- wymagać
- Zasoby
- ograniczać
- Efekt
- powrót
- Rola
- role
- korzeń
- run
- bieganie
- sprzedawca
- taki sam
- scenariusz
- rozkład
- Szukaj
- Wyszukiwarka
- Sekcja
- bezpieczne
- bezpiecznie
- bezpieczeństwo
- senior
- usługa
- Usługi
- zestaw
- w panelu ustawień
- shared
- sharepoint
- powinien
- Targi
- Prosty
- ponieważ
- So
- Tworzenie
- Software Engineer
- Rozwiązania
- Rozwiązywanie
- kilka
- Źródło
- Źródła
- specyficzny
- początek
- Rynek
- Ewolucja krok po kroku
- Cel
- przechowywanie
- przechowywany
- sklep
- styl
- podsieci
- podsieci
- udany
- taki
- wsparcie
- Utrzymany
- podpory
- synchronizacja
- Brać
- zespół
- Technologia
- Połączenia
- Źródło
- ich
- trzy
- czas
- do
- Tłumaczenie
- podróżować
- typy
- dla
- zrozumieć
- UNIX
- nieużywana
- zaktualizowane
- us
- posługiwać się
- przypadek użycia
- Użytkownicy
- Wartości
- virginia
- Wirtualny
- solucja
- sieć
- usługi internetowe
- który
- biały
- biały papier
- w ciągu
- bez
- Praca
- pracujący
- Twój
- zefirnet
- Zamek błyskawiczny