Video#
Slides#
Prelude#
Helu helu.
Phần này mình record sau khi làm xong video. Muốn đề cập nhanh về video này thôi.
Là Video này mình dùng GenAI để present. Có khá nhiều lỗi về hình ảnh.
Nhưng nhìn chung thì các hình gen ra cũng diễn đạt được ý mà mình đang trình bày.
Chủ yếu video này như là proof of concept cho dây chuyền pipeline làm video bằng AI của mình nên sẽ có nhiều chi tiết chưa hoàn hảo. Tương lai sẽ cải thiện nhiều hơn.
Intro#
Xin chào các bạn! Chop đã trở lại với một video mới. Lâu lắm rồi mới có dịp cập nhật, cũng đã hơn một năm rồi.
Trong năm qua, mình thực sự rất là bận rộn với nhiều dự án. Công việc bận rộn tới mức mình không có thời gian để làm video nữa. Nay mới thở được 1 nhịp nên dành chút thời gian làm video cập nhật.
OK thì năm rồi cũng có kha khá những trải nghiệm thú vị trong sự nghiệp và học thêm nhiều về lập trình.
Kể nhanh thì mình đã học thêm Elixir và trải nghiệm BEAM - Erlang Virtual Machine. Tìm hiểu thêm chút về Proxmox và thử làm NAS - Network Attached Storage. Chắc có thời gian mình sẽ làm video về những topic này ha.
Nhưng video này mình sẽ dành cho thành công lớn nhất của mình trong năm nay là được tham gia và hoàn thành chương trình Startup Accelerator của Google.
Chương trình này mình tham gia cùng 1 team startup và vừa được Google duyệt tài trợ trong 2 năm tới. Đây là thực sự là một cột mốc quan trọng trong sự nghiệp của mình.
Chương trình mình tham gia có tên là Google For Startup Accelerator: AI First SG, được tổ chức bởi Google Singapore.
Theo mình biết, chương trình Google For Startup Accelerator hiện cũng đang được tổ chức tại Việt Nam, dự kiến sẽ diễn ra vào 3 tháng cuối năm 2024. Các bạn nào đang tham gia ở Việt Nam thì chúc may mắn nhé, hy vọng các bạn cũng sẽ tốt nghiệp và được Google tài trợ.
Thông tin thêm về chương trình, các bạn có thể truy cập vào link sau:
https://startup.google.com/programs/accelerator/southeast-asia/
Ứng dụng mà team mình tham gia có tên là MarkGen.ai, một công cụ sử dụng công nghệ Generative AI để tự động hóa việc tạo báo cáo tài chính.
Trong một công ty tài chính, việc báo cáo tình hình thị trường, theo dõi các biến động, và tổng hợp thông tin về các danh mục tài chính của khách hàng thường rất tốn thời gian vì phải tự tổng hợp và viết lại nội dung, trau chuốt câu từ cho từng khách hàng hoặc từng ngành hàng.
Chương trình mà nhóm mình phát triển thu thập thông tin từ các nguồn như tin tức tài chính, giá cổ phiếu, trái phiếu, các chỉ số index, Lịch kinh tế Mỹ, vv. Sau đó sử dụng Generative AI để tạo ra các báo cáo tài chính theo các mẫu template do người dùng soạn sẵn, tự động hóa hoàn toàn các công đoạn thu thập thông tin để tạo ra báo cáo. Các chuyên gia tài chính chỉ cần kiểm tra và duyệt lại trước khi gửi cho khách hàng.
Video này mình sẽ chia sẻ về trải nghiệm tham gia chương trình Accelerator của Google và việc phát hành sản phẩm MarkGen.ai trong 3 tháng vừa qua.
Google For Startup Accelerator - AI First SG#
Chương trình Accelerator của Google này có tên đầy đủ là: Google for Startup Accelerator - AI First Singapore.
Chương trình sẽ bắt đầu vào tháng 6 năm 2024, dành riêng cho các công ty khởi nghiệp ở Singapore hoạt động trong lĩnh vực AI và áp dụng Generative AI.
Một sự trùng hợp may mắn là anh CEO, gọi thân mật là a Ceo. Thì anh CEO của dự án mà mình đang làm đã đăng ký và nhận được một suất tham gia chương trình Google Accelerator đợt này.
Để đủ điều kiện tham gia, anh CEO đã phải cạnh tranh với hàng trăm startup khác ở Singapore để lọt vào danh sách. Cuối cùng, dự án của chúng mình là một trong số 26 dự án được chọn.
Và thế là chúng mình tham gia thôi. Nhóm startup của mình gồm 5 thành viên: 2 người Singapore, 2 người Việt Nam và một chị Business Admin người Bồ Đào Nha.
Vào đầu tháng 6 vừa rồi, chúng mình mang vali và balo sang Singapore. Mình chỉ ở lại Singapore khoảng 10 ngày để tham gia các khóa học thực hành tại trụ sở Google ở Singapore. Xong rồi bay về Việt Nam làm việc từ xa.
Các bài giảng trong 10 ngày này diễn ra liên tục luôn. Kiến thức thì về GCP, Large Language Models, Fine Tuning, Training, Deployment, v.v. Ngoài ra, còn có kiến thức về Product Design, Development Strategy, và nhiều nữa.
Kiến thức rất phong phú và đa dạng. Sau đợt training, Google chỉ định một đội ngũ chuyên gia để mentor cho startup của mình.
Các chuyên gia toàn là những người gạo cội trong ngành, sẵn sàng hỗ trợ nhóm.
Google thiết kế chương trình này như một chu kỳ phát triển phần mềm. Tức là có 3 giai đoạn để thực hiện: Alpha, Beta và cuối cùng là Release.
Mục tiêu là hoàn thành sản phẩm trong vòng 3 tháng (tháng 6, 7, 8) và phát hành vào tháng 9.
Alpha#
Phase Alpha là start lên ý tưởng, draft ra idea, nghiên cứu sản phẩm và làm Proof of Concept đồ.
Chủ yếu ở phase này là các buổi meetings để catch up với các bạn supporter do Google phân công take care cho nhóm và catch up với các mentors của nhóm.
Thì như mình đề cập ở trên các mentor đều là chuyên gia ngành, sẵn sàng chia sẻ kiến thức và có thể book lịch với họ bất kỳ lúc nào.
Trải nghiệm thấy như được đi học đại học lại vậy. Được lên lớp nghe giảng xong về làm bài tập và làm việc với các anh chị trợ giảng. Có vấn đề hay ý tưởng gì thì cứ thoải mái trao đổi với các giáo sư.
Oh và vui lắm là đợt này mình được gặp bác Sam Witteveen, là một youtuber về LLM mà mình xem như thầy không quen trên mạng. Theo dõi các video của bác từ đầu năm 2023 từ khi bác mới làm Videos về LLM tới giờ vì video của bác rất dễ hiểu và có cả demo thực hành nên kiến thức tiếp thu được rất nhanh.
Đợt qua Sing thì được gặp bác in-person luôn và kết nối được với bác làm mentor của team.
Trong phase alpha này team mình mình dành phần lớn thời gian để nghiên cứu làm sao cho sản phẩm có thể phù hợp với thị trường. Còn gọi là tìm Market Fit cho sản phẩm.
Team phỏng vấn 2 firm tài chính mà anh CEO liên kết được. Phỏng vấn mỗi firm tới 2 3 lần, mỗi lần khoảng hơn 1 tiếng để tìm ra quy trình làm việc của họ. Nghiên cứu cách họ thu thập thông tin và tìm cách mô phỏng lại trong mô hình User Journey - hay còn gọi là Bản đồ hành trình người dùng.
Cùng lúc với team nghiên cứu thì mình làm dev cũng bắt đầu xây lên hệ thống lập trình và hệ thống cơ sở hạ tầng.
Bắt đầu nghiên cứu các công cụ Google Cloud Platform.
Trước thì có xài AWS, xài EC2 VM để host quen nên qua bên GCP thì nghiên cứu thêm mấy service serverless.
Do cũng có căn bản xài GCP cho các dự án cá nhân khác nên mình học GCP cũng nhanh. Và bắt đầu xây phần khung xương cấu trúc cho chương trình.
Mình chia chương trình ra làm 3 phần Front End, Backend External và Backend Internal.
Frontend thì đơn giản rồi. Web interface thôi, host trên firebase hosting và xài firebase authentication để đăng nhập user.
Backend External là API để FE giao tiếp. Quản lý việc đăng nhập và tài nguyên của User. Cũng là chỗ xử lý tần service của hệ thống, kết hợp các thông tin để từ Generative AI, thực hiện truy xuất dữ liệu hay các tác vụ RAG (Retrieval-Augmented Generation)
Còn Backend Internal là để xử lý việc cập nhật thông tin liên tục. Kéo dữ liệu từ các nguồn về cơ sở dữ liệu chung. Dữ liệu như là giá cổ phiếu, trái phiếu. Thông tin mới nhất về thị trường. Tin tức tài chính. Báo cáo tài chính v.v
Toàn bộ hệ thống này được xây trên Google Cloud Platform và toàn bộ sử dụng các dịch vụ serverless để vận hành.
Lý do là team nhỏ, có 1 mình mình và một bạn Backend nữa thôi nên mình phải tận dụng tối đa các dịch vụ của Google để vận hành, không cần chú trọng quá về vấn đề scaling hay tối ưu tài nguyên gì ở giai đoạn này.
Mindset là sẽ được sponsor toàn bộ tài nguyên sẽ được Google trả lại phí hết. Nên tập trung vào thực hiện product cho thật tốt trước đã.
Tiếp theo là qua giai đoạn Beta.
Beta#
Beta phase thực hiện chủ yếu trong tháng 7 đầu tháng 8. Là giai đoạn mà mình dev nhiều nhất trong năm nay.
Chủ yếu giai đoạn này mình đưa các ý tưởng được xây dựng trong phase Alpha vào trong hệ thống để thành một chương trình hoàn chỉnh.
Chủ yếu các code Proof of Concept trong phase Alpha mình demo cho team thông qua Colab và mock UI. Cho đến khi ưng ý nhất 1 lựa chọn thì mới đưa vào code chương trình.
Ở phase này ngoài việc catch up với Google-er, pulse check các kiểu đồ thì bắt đầu có các technical review. Là các meeting mà mình trình bày các thiết kế hệ thống, sử dụng các công cụ của Google như thế nào. Service gì sử dụng cho mục đích gì. v.v
Thì lúc này họ cũng tò mò startup sẽ sử dụng platform của họ không mà. Cũng muốn là sau khi hoàn thành cũng sẽ gắn bó sử dụng tiếp các Cloud service của họ.
Với cũng muốn nghe thử xem bên mình có khó khăn gì về technical không.
Điều ấn tượng nhất trong khoảng thời gian này là sự hỗ trợ nhiệt tình từ Google và các mentor chuyên gia được Google phân công. Họ luôn sẵn lòng chia sẻ những bí quyết và kinh nghiệm từ các dự án thực tế mà họ từng tham gia.
Giai đoạn Beta này cũng mở ra những cơ hội để thử nghiệm các ý tưởng. Team phát hiện ra là nếu dùng GenAI xổ ra 1 cái report từ đầu tới cuối thì rất dở, do report dài không giữ được context.
Nên nảy ra ý tưởng là sử dụng Template. Một template bao gồm nhiều ô Section mà mỗi ô tập trung xử lý một chủ đề, có thể là tin tức thị trường hay báo cáo biến động cổ phiếu, các biểu đồ mô phỏng v.v.
Mỗi section được handle bởi một con AI agent, được thiết kế chuyên biệt cho việc thu thập thông tin và output ra nội dung của Section đó thôi.
Ý tưởng này được các firms đánh giá cao về tính linh hoạt khi áp dụng. Họ có thể control được từng Section trong report.
Cuối tháng 8, team mình bắt đầu giai đoạn cuối cùng - Phase Release.
Release#
Phase Release bắt đầu vào tháng 8 và kéo dài đến đầu tháng 9, là giai đoạn quyết định của cả dự án MarkGen.ai. Đây là lúc team phải hoàn thiện sản phẩm, kiểm thử và đảm bảo rằng mọi thứ hoạt động trơn tru trước khi ra mắt chính thức.
Mình phải liên tục kiểm tra và cải tiến hệ thống để đảm bảo tính ổn định và hiệu quả của các dịch vụ.
Chủ yếu là tập trung vào tối ưu hóa hiệu năng của các API quan trọng. Làm việc kỹ hơn để đảm bảo dữ liệu được cập nhật kịp thời và chính xác từ các nguồn tài chính. Bổ sung các biện pháp bảo mật, đảm bảo dữ liệu của người dùng được bảo vệ tốt nhất có thể, đặc biệt là dữ liệu nhạy cảm như thông tin tài chính.
Mình cùng bạn Backend triển khai continuous integration/continuous deployment (CI/CD) pipelines cho hệ thống. Nhờ đó, mỗi khi code mới được viết hoặc sửa lỗi, hệ thống sẽ tự động build và deploy một cách nhanh chóng, giảm thiểu rủi ro sai sót so với làm thủ công.
Trong quá trình test hệ thống, chúng mình cũng mời một số firm tài chính tham gia vào chương trình beta test. Họ cung cấp phản hồi cực kỳ quý báu về user experience, giúp chúng mình phát hiện và khắc phục nhiều lỗi nhỏ mà khi dev thường không để ý.
Một điểm quan trọng là buổi Demo Day, nơi các startup trong chương trình Google For Startup Accelerator sẽ trình diễn sản phẩm của mình trước các nhà đầu tư, doanh nghiệp lớn, và các chuyên gia. Đây là cơ hội vàng để MarkGen.ai ghi điểm và thu hút sự chú ý từ các đối tác tiềm năng.
Demo Day diễn ra vào đầu tháng 9. Đáng tiếc là trong buổi demo này mình ở Việt Nam không qua Sing được.
Team mình đã luyện tập trước rất nhiều, cả phần pitch và phần demo live sản phẩm. Buổi thuyết trình diễn ra khá suôn sẻ, may mắn không gặp sự cố kỹ thuật nào. Phản hồi nhận được thì rất tích cực, đặc biệt là về cấu trúc template và sự linh hoạt của hệ thống trong việc tạo báo cáo tài chính.
Sau Demo Day, team mình tiếp tục theo sát các phản hồi và làm các điều chỉnh cần thiết. Tháng 9 là thời điểm sản phẩm chính thức được release.
Và cuối cùng team được duyệt sponsor, Google hỗ trợ team mình 1 gói 350,000$ cloud credit.
Khoản chi phí này sẽ là nguồn kinh phí quan trọng trong thời gian sắp tới được dùng chủ yếu vào cơ sở hạ tầng của hệ thống. Trả chi phí chạy server chi phí chạy Large Language Model đồ.
Thì với sponsor về mặt infra như vậy thì bước tiếp theo của team sẽ là tập trung vào hoàn thiện sản phẩm và đẩy mạnh nó đến tay người dùng thôi. Hiện tại sẽ tập vào các firm tài chính và ngân hàng ở Singapore và Mỹ. Leverage các mối quan hệ của anh CEO trước.
Conclusion#
Aniway,
Nhìn lại hành trình tham gia Google For Startup Accelerator - AI First SG, mình thấy đây thực sự là một trải nghiệm quý báu.
Ngoài những kiến thức và kinh nghiệm chuyên môn tích lũy được mình còn có thêm nhiều mối quan hệ và networking trong ngành.
Có cơ hội kết nối với nhiều bạn startup khác và cả những công ty công nghệ hàng đầu tham gia sự kiện. Đây là cơ hội học hỏi từ kinh nghiệm thực chiến của họ, cũng như tìm kiếm đối tác tiềm năng cho các dự án sau này.
Ok thì như để cập ở đầu hiện Google Accelerator đang tổ chức ở Việt Nam, chúc các bạn đang tham gia may mắn và đạt được sponsor của Google nhé.
Hiện Google đang đánh mạnh vào mảng Generative AI này nên đây mình nghĩ sẽ là cơ hội tốt cho các bạn startup nếu đang phát triển trong lĩnh vực này luôn.
Đối với mình thì GenAI sẽ là mục tiêu đào sâu của mình trong 1 2 năm tới. Bên cạnh việc triển khai nó vào trong các sản phẩm mà mình đang phát triển. Mình cũng sẽ tìm hiểu thêm cách setup và vận hành một hệ thống AI cá nhân. Kiểu kiểu có thể hiểu là Private AI system để sử dụng riêng thôi. Vì tương lai đoán là sẽ cần những giải pháp như vầy. Để không bị lệ thuộc, bị rò rỉ thông tin hay bị tấn công thông tin.
Ok thì đó là kế hoạch sắp tới định làm thôi. Cũng sẽ cố dành thời gian làm vài video nhỏ về lập trình nữa Elixir và Erlang OTP là 1 chủ đề mà mình đang rất thích thú học.
Cảm ơn các bạn đã theo dõi tới đây.
Xin chào và hẹn gặp lại. Chop out!