Tags NLP

Tag: NLP

Transformer Neural Network – Mô hình học máy biến đổi thế giới NLP

Năm 2017, Google công bố bài báo “Attention Is All You Need” thông tin về Transformer như tạo ra bước ngoặt mới trong lĩnh...

Các biểu thức chính quy cần thiết (Regex) trong NLP

Khi xử lý văn bản, chúng ta thường mong muốn chuẩn hóa và trích xuất một số thông tin (như số, ngày tháng, v.v.)...

03 bài toán kinh điển trong Xử lý ngôn ngữ tự nhiên

Các bài toán trong Xử lý ngôn ngữ tự nhiên (NLP) từ cơ bản đến nâng cao bao gồm part-of-speech tagging, chunking, dependency parsing,...

Bài viết mới nhất

Phát triển phương tiện tự hành dưới nước AUV phục vụ hỗ trợ các tác vụ ngầm và nghiên cứu khoa học biển

Tiềm năng kinh tế biển Việt Nam Việt Nam có hơn 3.260 km bờ biển với hơn 4.000 hòn đảo, bãi đá ngầm lớn nhỏ,...

Mạng nơ-ron tăng vọt trong hệ thống Neuromorphic hiện đại (Phần 3): Phần cứng

Hệ thống phần cứng ở mức caoHệ thống phần cứng ở mức cao được chia thành các triển khai mạch tương tự, mạch số...

Mạng nơ-ron tăng vọt trong hệ thống Neuromorphic hiện đại (Phần 2)

Một trong những câu hỏi quan trọng liên quan đến tính toán neuromorphic là sử dụng mô hình mạng nơ-ron nào? Mô hình mạng nơ-ron xác định những thành phần nào tạo nên mạng, cách các thành phần đó hoạt động và tương tác. Ví dụ, các thành phần phổ biến của mô hình mạng nơ-ron là các nơ-ron và khớp thần kinh (synapse), lấy cảm hứng từ các mạng nơ-ron sinh học. Khi xác định mô hình mạng nơ-ron, người ta cũng phải xác định các mô hình cho từng thành phần (ví dụ: mô hình nơ-ron và mô hình synapse); các mô hình thành phần chi phối cách thành phần đó hoạt động.

Mạng nơ-ron tăng vọt trong hệ thống Neuromorphic hiện đại (Phần 1)

Mạng nơ-ron tăng vọt (Spiking Neural Network – SNN) được giới thiệu bởi các nhà nghiên cứu tại Đại học Heidelberg và Đại học Bern. Mạng nơ-ron tăng vọt bắt chước gần giống mạng nơ-ron tự nhiên, có khả năng xử lý thông tin theo thời gian thực và tiết kiệm năng lượng. SNN sử dụng các xung điện (spikes) để truyền thông tin giữa các nơ-ron. Thay vì truyền tín hiệu liên tục như các mạng nơ-ron truyền thống, SNN truyền các xung điện rời rạc tại các thời điểm cụ thể khi điện thế màng của nơ-ron vượt qua một ngưỡng nhất định. SNN lấy một tập hợp các xung tăng vọt làm ngõ vào và tạo ra một tập hợp các xung tăng vọt làm ngõ ra (một loạt các xung tăng vọt thường được gọi là các chuỗi xung tăng vọt). Tế bào thần kinh kích hoạt khi điện thế màng chạm ngưỡng, gửi tín hiệu đến các tế bào thần kinh lân cận, làm tăng hoặc giảm điện thế của chúng để đáp lại tín hiệu. Các thành phần quan trọng của mạng SNN là mô hình nơ-ron thần kinh, khớp thần kinh (synapse), STDP (spike-timing-dependent plasticity), v.v.