ความก้าวหน้าในการพัฒนา Web Crawler ด้วย Scrapy

15 Oct
Screen Shot 2558-10-15 at 10.39.57 PM

จากผลของการที่ใช้ ทดลองใช้ Scrapy เมื่อคราวที่แล้ว เริ่มมั่นในและตัดสินใจว่าจะใช้ Scrapy เป็น Framework หลักในการพัฒนาตัว Web Crawler สำหรับการวิจัย เว้นไปนานวันนี้เลยกลับมาต่องานที่ทำค้างไว้ เท่าที่ลองทำดูหากทำตามตัวอย่าง How-to ที่มีอยู่ใน Tutorial ของ Scrapy จะเจอ Error หลายๆ อย่างเลยทดสอบไปเรื่อย เริ่มเข้าใจมันมากขึ้นแล้ว ผลมาลงตัวที่โค๊ดชุดนี้น่าจะเจอปัญหาน้อยสุด เลยบันทึกเอาไว้ก่อนหากเจอปัญหาอะไรจะได้ไม่ต้องเริ่มกันใหม่อีก import scrapy from TextMining.items import DmozItem class DmozSpider(scrapy.Spider):     name = "phisan"   … Read More »

โค๊ดสำหรับดึงข้อมูลจากเว็บไซต์ และประมวลผลด้วย BeautifulSOUP

15 Oct
Screen Shot 2558-10-15 at 2.40.46 PM

บันทึกเอาไว้กันลืม จะได้ไม่ต้องมาเริ่มใหม่กันบ่อยๆ อีก เป็นการโหลดหน้าเว็บเพจด้วย urllib และนำมาประมวลผลเอา HTML Tag ออกไปด้วย BeautifulSOUP 4 จากนั้นบันทึกข้อมูลลงไฟล์เพื่อไว้ใช้สำหรับประมวลผลต่อ เดี๋ยวค่อยพัฒนาต่อกันไปเรื่อยๆ ครับ from bs4 import BeautifulSoup from urllib import urlopen from urlparse import urlparse def getWeb(url):     html_doc = urlopen(url).read()     soup = BeautifulSoup(html_doc, ‘html.parser’)   … Read More »

พิธีลงนามบันทึกข้อตกลงความร่วมมือ (MOU) เพื่อการพัฒนาด้านการประกันคุณภาพการศึกษา ระหว่าง สมศ. และ มหาวิทยาลัยราชภัฎศรีสะเกษ

8 Sep
21046206810_5f36ce6b02_o

เมื่อวันที่ 7 กันยายน 2558 ได้มีการดำเนินการจัดพิธีลงนามบันทึกข้อตกลงความร่วมมือ (MOU) เพื่อการพัฒนาด้านการประกันคุณภาพการศึกษา ระหว่าง สมศ. และ มหาวิทยาลัยราชภัฎศรีสะเกษ ณ ห้องประชุมสันถวมิตร สำนักงานรับรองมาตรฐานและประเมินคุณภาพการศึกษา (องค์การมหาชน) กรุงเทพมหานครฯ โดยมี ศาสตราจารย์ ดร.ชาญณรงค์ พรรุ่งโรจน์ ผู้อำนวยการ สมศ. และผู้ช่วยศาสตราจารย์ ดร.ประกาศิต อานุภาพแสนยากร อธิการบดีมหาวิทยาลัยราชภัฎศรีสะเกษ ร่วมลงนามบันทึกความร่วมมือ (MOU) ในครั้งนี้ โดยการดำเนินงานหลังจากการบันทึกความร่วมมือในครั้งนี้ จะมีการจัดตั้ง “ศูนย์เครือข่าย สมศ. มหาวิทยาลัยราชภัฏศรีสะเกษ” เพื่อทำหน้าที่ในการพัฒนางานด้านการประกันคุณภาพการศึกษาในเขตพื้นที่ภาคอีสานตอนล่างทั้งหมด เป็นระยะเวลา 2 ปี และศูนย์ดังกล่าว ถือเป็น … Read More »

ประชุมชี้แจงการดำเนินงานด้านการประกันคุณภาพ เพื่อรองรับการประเมิน ปีการศึกษา 2557

17 Aug
SONY DSC

วันที่ 14 ส.ค. 58 หน่วยมาตรฐานและประกันคุณภาพ จัดการประชุมชี้แจงการดำเนินงานด้านการประกันคุณภาพ โดยมี ดร.ปกรชัย สุพัฒน์ ผู้ช่วยอธิการบดี เป็นประธานในการประชุม และมีตัวแทนจาก 5 คณะ 2 สำนัก เข้าร่วมประชุม โดยประเด็นที่ทำการขี้แจงมีดังนี้ การเบิกจ่ายค่าตอบแทนผู้ประเมินในระดับคณะ ประจำปีการศึกษา 2557 การจัดทำรายงาน SAR ที่สอดคล้องกับระบบ CHEQA Online การรวบรวมและสรุปผลข้อมูล Commons Data Set: CDS กระบวนการดำเนินงานการรายงานข้อมูลด้านการประกันคุณภาพในภาพรวมทั้งหมด การรายงานข้อมูลเข้าสู่ระบบ eSAR และ CHEQA Online กำหนดการในการประเมิน โดยได้มติจากที่ประชุม คือ … Read More »

ชลอชีวิตที่วิ่งเร็ว…ด้วยการ…ขีดๆ เขียนๆ

16 Aug
2015-08-14 15.04.00

ช่วงนี้ด้วยกรอบเวลาของการปฏิบัติงานเริ่มบีบอัดเข้ามาทำให้ช่องว่างของชีวิตเริ่มแคบลง แคบลงไปทุกๆ ที ไม่ว่าจะเป็ภาระกิจการจัดการเรียนการสอน การประกันคุณภาพ การวิจัย ตลอดจนการต้องตัดสินใจที่ส่งผลกระทบต่อตนเอง และคนอื่นๆ อีกหลายต่อหลายเรื่อง สิ่งที่ต้องพิจารณาต่อชีวิตตนเองในตอนนี้คือ ยิ่งเร่งเครื่อง ยิ่งวิ่งตามกระแสชีวิตที่รวดเร็วก็จะยิ่งพัง และเกิดความล้มเหลวในที่สุด การหาทางชลอชีวิตให้ช้าลง ลดทอนบางอย่างที่ไม่จำเป็นออกไป และให้ความสำคัญกับเรื่องบางเรื่องให้มากขึ้น น่าจะเป็นจุดเริ่มที่ดีที่จะควบคุมชีวิตให้คงที่อยู่ในกระแสต่อไปได้อย่างมั่นคง เลือกทำในสิ่งที่จำเป็น…ปล่อยวางบางสิ่ง ให้มันผ่านไปแบบง่ายๆ ก็คงไม่เสียหายอะไรนัก วันนี้ได้รับแรงบันดาลใจอะไรใหม่ๆ ในหลายๆ เรื่อง จากการที่เอาตัวเองเข้าไปอยู่ในสังคมของ Tumblr#studyblr เข้าไปอยู่ในกลุ่มของนักเรียน เด็กนักเรียน นักศึกษาที่กำลังมุ่งมั่นกับการเรียน มีการทำ Lecture Note ออกมาอวด มาประชันกัน ทำให้อดคิดถึงสมัยกำลังเรียนมหาวิทยาลัยไม่ได้ ที่ชีวิตมีการเรียน การอ่าน และการขีดๆ เขียน วันนี้เลยพยายามเอาแรงบันดาลใจนี้มาใช้กับตัวเอง ไม่ว่าจะในเรื่องของการทำงาน … Read More »

สร้าง Fixed Component บนหน้า Page ด้วย CSS

2 Aug
Screen Shot 2558-08-02 at 12.26.05 PM

ต้องการสร้างเมนูสำหรับการสลับภาษาไทยไปมาระหว่าง อังกฤษ-ไทย-ลาว-เขมร โดยใช้ความสามารถในการแปลงภาษาบนหน้าเว็บเพจของ Google Translate API แต่ส่ิงที่ยากที่สุดสำหรับการทำงานนี้คือการออกแบบ ว่าจะออกแบบอย่างไรให้ผู้ใช้งานรู้สึกง่ายในการเปลี่ยนภาษาสลับไปมา โจทย์ที่สำคัญที่สุดคือเมนูสำหรับการสลับเปลี่ยนภาษานั้นจะต้องเป็นจุดเด่นพอสมควร และง่ายค่อการคลิ๊กอีกด้วย เพราะผู้ใช้งานแต่ละคนจะมีประสบการณ์ใช้งานที่แตกต่างกัน สิ่งแรกที่คิดถึงคือ ตัวเมนูสำหรับสลับภาษานั้นจะต้องเป็นรูปธงชาติ (Flag) ที่มีขนาดโดดเด่นเพื่อให้ง่ายต่อการคลิ๊กพอสมควร และตำแหน่งของเมนูนั้น ควรจะไปอยู่ในทุกๆ ที่ ที่โดดเด่นที่ผู้ใช้งานจะสามารถมองเห็นมันได้ตลอดเวลา ดังนั้นการเลือกเมนูส่วนนี้ให้เป็น Fixed Componet บนหน้าเว็บเพจ น่าจะดูดีที่สุด สำหรับการสร้าง Fixed Component นี้ ปัจจุบันเราสามารถใช้เทคนิคของ CSS เข้ามาช่วยได้ง่ายขึ้น โดย CSS ที่ใช้มีดังนี้ #glt-translate-trigger .gtranslate-label {     font-family: … Read More »

เริ่มต้นใช้งาน BeautifulSoup 4

22 Jul
1book24

ถ้าว่าด้วยเรื่องของ Network Programming นั้นยังไงภาษา Python ก็อยู่ในใจอันดับหนึ่งมาเสมอครับ ช่วงนี้ห่างหายไปจากการเขียนโปรแกรมมาสักพักใหญ่ๆ หรือห่างหายมานานเลยก็ว่าได้ เนื่องจากมีลูกมือให้ชี้นิ้วสั่งได้ดังใจมาตลอดก็เลยเริ่มชินกับการคิดแล้วสั่งงานตลอด ตอนนี้ต้องเร่ิมพัฒนางานวิจัยใหม่ๆ ขึ้นมาบ้างเริ่มจากสิ่งที่อยากทำ และสิ่งที่ได้รับทุนวิจัยมาแล้วและต้องปฏิบัติให้ได้ตามข้อเสนอการวิจัยที่ได้เสนอไป สำหรับวันนี้เริ่มพัฒนางานตามความต้องการคือ ดึงข้อมูลที่อยู่บนเว็บไซต์เข้ามาเพื่อทำการวิเคราะห์เนื้อหาที่อยู่บนเว็บไซต์ เครื่องมือที่อำนวยความสะดวกที่ดีที่สุดในตอนนี้คงหนีไม่พ้น BeautifulSoup v.4 กับ urllib แต่ทดลองดังข้อมูลจากเว็บไซต์เข้ามาด้วย urllib.urlopen และ strip html tags ออกไป ปรากฏเจอปัญหาเรื่อง error เล็กน้องเรื่องของการเข้ารหัสแบบ unicode ซึ่งลองค้นข้อมูลเพื่อหาทางแก้ไข พอทางแก้ที่ดีจาก Stack Overflow text = u”.join(text).encode(’utf-8’).strip() สำหรับโค๊ดตัวเต็มที่ทดสอบทำวันนี้คือ from bs4 … Read More »