จะใช้ Transformer เพื่อทำให้กราฟความรู้สมบูรณ์ได้อย่างไร

การทำกราฟความรู้ให้สมบูรณ์ (KGC) เป็นงานสำคัญในด้านปัญญาประดิษฐ์และการเป็นตัวแทนความรู้ โดยมีเป้าหมายเพื่ออนุมานข้อมูลที่ขาดหายไปในกราฟความรู้ Transformer ซึ่งเป็นสถาปัตยกรรมโครงข่ายประสาทเทียมอันทรงพลัง ได้แสดงศักยภาพที่ยอดเยี่ยมในงานประมวลผลภาษาธรรมชาติต่างๆ และยังสามารถนำไปใช้กับ KGC ได้อย่างมีประสิทธิภาพอีกด้วย ในฐานะซัพพลายเออร์ Transformer ฉันจะแบ่งปันวิธีใช้ Transformer เพื่อทำให้กราฟความรู้สมบูรณ์ในบล็อกนี้

ทำความเข้าใจการเติมกราฟความรู้ให้สมบูรณ์

กราฟความรู้คือการแสดงความรู้ที่มีโครงสร้างในรูปแบบของเอนทิตีและความสัมพันธ์ระหว่างสิ่งเหล่านั้น โดยทั่วไปจำลองเป็นชุดของสามองค์ประกอบ (หัวเรื่อง ภาคแสดง วัตถุ) ตัวอย่างเช่น (อัลเบิร์ต ไอน์สไตน์ พัฒนาแล้ว ทฤษฎีสัมพัทธภาพทั่วไป) เป็นกราฟสามเท่าในกราฟความรู้ การทำกราฟความรู้ให้สมบูรณ์เกี่ยวข้องกับการทำนายเอนทิตีหรือความสัมพันธ์ที่หายไปในสามประการเหล่านี้ งานนี้มีความสำคัญสำหรับแอปพลิเคชันจำนวนมาก เช่น ระบบการตอบคำถาม ระบบการแนะนำ และการค้นหาความหมาย

ทำไมต้องใช้หม้อแปลงไฟฟ้าสำหรับ KGC

สถาปัตยกรรม Transformer ที่นำมาใช้ในรายงาน "Attention Is All You Need" มีข้อดีหลายประการที่ทำให้เหมาะสำหรับการเติมกราฟความรู้ให้สมบูรณ์:

1. กลไกการเอาใจใส่ตนเอง: กลไกการเอาใจใส่ตนเองใน Transformer ช่วยให้สามารถจับการขึ้นต่อกันในระยะยาวในลำดับอินพุตได้ ในบริบทของการสร้างกราฟความรู้ให้สมบูรณ์ กราฟนี้สามารถจำลองความสัมพันธ์ระหว่างเอนทิตีและภาคแสดงที่แตกต่างกันได้อย่างมีประสิทธิภาพ
2. การประมวลผลแบบขนาน: แตกต่างจากโครงข่ายประสาทเทียมที่เกิดซ้ำ (RNN) ตรงที่ Transformer สามารถประมวลผลลำดับอินพุตทั้งหมดแบบขนาน ซึ่งช่วยให้กระบวนการฝึกอบรมและการอนุมานเร็วขึ้นอย่างมาก
3. ถ่ายทอดการเรียนรู้: โมเดล Transformer ที่ได้รับการฝึกอบรมล่วงหน้า เช่น BERT ได้แสดงให้เห็นประสิทธิภาพที่ยอดเยี่ยมในงานการประมวลผลภาษาธรรมชาติต่างๆ โมเดลที่ได้รับการฝึกอบรมล่วงหน้าเหล่านี้สามารถปรับได้อย่างละเอียดเพื่อความสมบูรณ์ของกราฟความรู้ โดยใช้ประโยชน์จากความรู้ที่เรียนรู้จากคลังข้อความขนาดใหญ่

ขั้นตอนการใช้ Transformer สำหรับ KGC

1. การเตรียมข้อมูล

ขั้นตอนแรกคือการเตรียมข้อมูลสำหรับการเติมกราฟความรู้ให้สมบูรณ์ โดยทั่วไปข้อมูลจะประกอบด้วยชุดสามชุด ซึ่งสามารถแบ่งออกเป็นชุดการฝึก การตรวจสอบ และการทดสอบ ทริปเปิลจำเป็นต้องได้รับการเข้ารหัสเป็นรูปแบบที่ Transformer สามารถประมวลผลได้ วิธีการทั่วไปวิธีหนึ่งคือการแปลงเอนทิตีและเพรดิเคตเป็นการฝัง ตัวอย่างเช่น เราสามารถใช้การฝังคำที่ได้รับการฝึกอบรมล่วงหน้า หรือเรียนรู้การฝังเอนทิตีและภาคแสดงจากกราฟความรู้นั่นเอง

2. การออกแบบแบบจำลอง

เราสามารถออกแบบโมเดลที่ใช้ Transformer เพื่อสร้างกราฟความรู้ให้สมบูรณ์ได้ วิธีหนึ่งคือการใช้ตัวเข้ารหัส Transformer เพื่อประมวลผลอินพุตสามเท่า อินพุตไปยังตัวเข้ารหัส Transformer อาจเป็นลำดับของการฝังเอนทิตีและเพรดิเคต ผลลัพธ์ของตัวเข้ารหัสสามารถใช้เพื่อทำนายเอนทิตีที่หายไปหรือเพรดิเคตในทริปเปิ้ล

นี่คือตัวอย่างง่ายๆ ของโมเดลที่ใช้ Transformer สำหรับ KGC ใน PyTorch:

นำเข้าไฟฉาย นำเข้า torch.nn เป็น nn จาก torch.nn นำเข้า TransformerEncoder, TransformerEncoderLayer คลาส TransformerKGC(nn.Module): def __init__(self, d_model, nhead, num_layers, dim_feedforward): super(TransformerKGC, self).__init__() encoder_layer = TransformerEncoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward) self.transformer_encoder = TransformerEncoder (encoder_layer, num_layers=num_layers) self.fc = nn.Linear (d_model, num_entities) def ไปข้างหน้า (self, src): เอาต์พุต = self.transformer_encoder (src) เอาต์พุต = self.fc (เอาต์พุต [:, 0, :]) ส่งคืนเอาต์พุต

ในตัวอย่างนี้d_modelคือมิติของการฝังไม่เป็นไรคือจำนวนหัวความสนใจnum_layersคือจำนวนชั้นของตัวเข้ารหัส Transformer และdim_feedforwardคือมิติของเครือข่ายฟีด-ฟอร์เวิร์ดในเลเยอร์ตัวเข้ารหัส Transformer

3. ฝึกอบรมโมเดล

เมื่อโมเดลได้รับการออกแบบแล้ว เราก็สามารถฝึกโมเดลกับข้อมูลการฝึกได้ โดยทั่วไปวัตถุประสงค์การฝึกอบรมคือเพื่อลดฟังก์ชันการสูญเสียให้เหลือน้อยที่สุด เช่น การสูญเสียเอนโทรปีข้าม ในระหว่างการฝึกอบรม เราสามารถใช้เทคนิคต่างๆ เช่น การทำให้เป็นมาตรฐานแบบแบทช์ การออกจากระบบกลางคัน และการกำหนดเวลาอัตราการเรียนรู้ เพื่อปรับปรุงประสิทธิภาพของแบบจำลอง

นำเข้า torch.optim เป็นโมเดลที่ดีที่สุด = TransformerKGC(d_model=128, nhead=4, num_layers=2, dim_feedforward=512) เกณฑ์ = nn.CrossEntropyLoss() เครื่องมือเพิ่มประสิทธิภาพ = optim.Adam(model.parameters(), lr=0.001) สำหรับยุคในช่วง (num_epochs): running_loss = 0.0 สำหรับ i, ข้อมูลใน แจงนับ (train_loader, 0): อินพุต, ป้ายกำกับ = data Optimizer.zero_grad () เอาต์พุต = โมเดล (อินพุต) การสูญเสีย = เกณฑ์ (เอาต์พุต, ป้ายกำกับ) loss.backward () Optimizer.step () running_loss += loss.item () พิมพ์ (f'Epoch {ยุค + 1}, การสูญเสีย: {running_loss / len (train_loader)}')

4. การประเมินผล

หลังจากการฝึกอบรม เราจำเป็นต้องประเมินแบบจำลองเกี่ยวกับชุดการตรวจสอบและการทดสอบ เกณฑ์ชี้วัดการประเมินทั่วไปสำหรับการเติมกราฟความรู้ให้สมบูรณ์ ได้แก่ อันดับเฉลี่ย (MR) อันดับเฉลี่ยซึ่งกันและกัน (MRR) และ Hits@k หน่วยวัดเหล่านี้วัดว่าแบบจำลองสามารถจัดอันดับเอนทิตีหรือภาคแสดงที่ถูกต้องในกลุ่มตัวเลือกที่เป็นไปได้ทั้งหมดได้ดีเพียงใด

จาก sklearn.metrics นำเข้า Mean_rank_score, Mean_reciprocal_rank_score model.eval() พร้อมด้วย torch.no_grad(): all_labels = [] all_preds = [] สำหรับข้อมูลใน test_loader: inputs, label = data outputs = model(inputs) all_labels.extend(labels.tolist()) all_preds.extend(outputs.tolist()) mr = Mean_rank_score(all_labels, all_preds) mrr = meme_reciprocal_rank_score(all_labels, all_preds) print(f'Mean Rank: {mr}, Mean Reciprocal Rank: {mrr}')

ผลิตภัณฑ์หม้อแปลงไฟฟ้าของเราสำหรับ KGC

ในฐานะซัพพลายเออร์หม้อแปลงไฟฟ้า เรานำเสนอผลิตภัณฑ์หม้อแปลงคุณภาพสูงที่หลากหลายซึ่งสามารถนำไปใช้ในการจัดทำกราฟความรู้ให้สมบูรณ์ได้ ตัวอย่างเช่นของเราSC(ZB)9 Series 10kV Class หม้อแปลงชนิดแห้งให้แหล่งจ่ายไฟที่เสถียรสำหรับโครงสร้างพื้นฐานการประมวลผลที่จำเป็นสำหรับการฝึกอบรมและใช้งานโมเดล Transformer ที่SZ 11 - M ซีรี่ส์หม้อแปลงไฟฟ้าระบบจำหน่ายแบบแช่น้ำมันสามเฟสยังเป็นตัวเลือกที่เชื่อถือได้สำหรับศูนย์ข้อมูลขนาดใหญ่ที่เกี่ยวข้องกับงานการทำกราฟความรู้ให้สมบูรณ์ นอกจากนี้ของเรา35kV Double Winding Load ควบคุมหม้อแปลงไฟฟ้าแช่น้ำมันสามารถรับประกันการทำงานของระบบไฟฟ้าได้อย่างมีประสิทธิภาพในระหว่างกระบวนการคำนวณที่มีความเข้มข้นสูง

บทสรุป

การใช้ Transformer เพื่อทำให้กราฟความรู้สมบูรณ์เป็นแนวทางที่น่าหวังซึ่งสามารถใช้ประโยชน์จากสถาปัตยกรรม Transformer เพื่อปรับปรุงประสิทธิภาพของ KGC ด้วยการทำตามขั้นตอนการเตรียมข้อมูล การออกแบบแบบจำลอง การฝึกอบรม และการประเมินผล เราสามารถสร้างแบบจำลองที่ใช้ Transformer ที่มีประสิทธิภาพสำหรับการทำให้กราฟความรู้สมบูรณ์ ในฐานะซัพพลายเออร์ Transformer เรามุ่งมั่นที่จะมอบผลิตภัณฑ์คุณภาพสูงและการสนับสนุนทางเทคนิคเพื่อช่วยให้คุณบรรลุผลลัพธ์ที่ดีขึ้นในการจัดทำกราฟความรู้ให้สมบูรณ์ หากคุณสนใจผลิตภัณฑ์ของเราหรือมีคำถามใดๆ เกี่ยวกับการใช้ Transformer สำหรับ KGC โปรดติดต่อเราเพื่อขอการจัดซื้อและหารือเพิ่มเติม

อ้างอิง

1. Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017) ความสนใจคือสิ่งที่คุณต้องการ ความก้าวหน้าในระบบประมวลผลข้อมูลประสาท
2. Devlin, J. , Chang, MW, Lee, K. , & Toutanova, K. (2018) BERT: การฝึกอบรมล่วงหน้าเกี่ยวกับหม้อแปลงสองทิศทางเชิงลึกเพื่อการทำความเข้าใจภาษา arXiv พิมพ์ล่วงหน้า arXiv:1810.04805