AI 日报hiw3c.com

用NVIDIA VSS Blueprint 3.3降低视觉AI智能体建设运行成本-AI基础设施 - 至顶网

Google News AI www.zhiding.cn 网页快照

��NVIDIA VSS Blueprint 3.3�����Ӿ�AI�����彨�����гɱ�

NVIDIA����VSS Blueprint 3.3������Build Vision Agent���ܿ�ͨ����Ȼ������30����������Ӿ�AI�����岿������ӦEVS����ͨ����֦�����Ӿ�Token��ʹVLM����Token����80%��������������46%���������Ϳ�����GPU���гɱ���

�Ӿ�����ģ���Ѿ��ܹ���������ģ�¹���������Ƶ���ݵ��Ӿ�AI�����塣���ѵ���������ν���������ת��Ϊ��ά����ϵͳ����ϵͳ��Ҫ������ݽ��롢���������¼���⡢������ժҪ���ɺͱ�������ȶ���ܡ�

NVIDIA Metropolis��Ƶ������ժҪ��VSS����ͼ���������弼�ܣ��ɰ��������߸��칹���Ӿ�AI�����塣VSS���Ӿ�����ģ�ͣ���NVIDIA Cosmos����������ģ�ͣ���NVIDIA Nemotron����������ǿ���ɣ�RAG����ģ��������Э�飨MCP������������������ʵʱ��¼�Ƶ���Ƶת��Ϊ��Ȼ�����������Ӿ��ʴ𡢾�����֤�ĸ澯���Զ������档

VSS Blueprint 3.3�����������潵���˳ɱ���ͨ��ȫ�µĹ����Ӿ������弼�ܣ�vss-build-vision-ai���ӿ�Ӧ������ٶȣ��Լ�ͨ������Ӧ��Ч��Ƶ������Adaptive EVS����������ʱ��VLM�����ɱ���

���Ľ�������������ijɱ�����������ڿ����ˣ�һ����ʾָ�����30�����ڹ���������һ����װ�������������壬���輸��Ԫ�ı���������ʹ�÷��á������жˣ�Adaptive EVS��Ϊ60���ӵ�ժҪ�������80%��VLM����Token������ͬһGPU�Ͻ���������������46%��

���˽�������ݣ���ӭ����10��1��̫ƽ��ʱ������9���ֱ������ʱ���ǽ��ֳ���ʾͨ��������ʾ�����Ӿ�AI�����塣

һ�����������Ӿ�AI������ͨ���漰������������ǻ۳���Ӧ�ÿ�����Ҫ������⡢��ײ�澯�����������¼�Ƭ�Ρ�ÿСʱժҪ����Ӫ�̱��档�ִ�Ӧ�ÿ�����Ҫ��Ա�Ͳ泵׷�١�����澯����׼��ҵ���̣�SOP�����ͺ����ʴ�ÿ�����������������ã��������IJ����ֵ������Щ�������ܹ�Эͬ������

�����ɱ����Ŷӱ���ѡ������΢����Kafka�ȹ�������Redis��Elasticsearch����Ƶ����������洢��VIOS����ģ�Ͷ˵㡢����������API��ͬʱ�����ظ����������ʩ��

��Ӫ�ɱ����Ӿ�AI�������ؿ��ܵ��´���Token���ģ�ÿ����һ·��Ƶ����һ��֡���ڡ�һ����ʾ���Ӿ�Token����������GPUռ�á��Ŷ��ӳٺͶ˵���ժҪ�ӳ١�

����ɱ����Ŷӱ���Ӹ�����֤��������������������������ͬʱ�������á��ĵ�����ά��һ���ԡ�

VSS 3.3Ϊ������������Ƶ����AI����������ĸ���

VSS�����弼����Claude Code��Codex�ȱ�����������κμ���agentskills.io�������壬�ܹ�������Ȼ����������Ͳ���VSS��VSS 3.3������������£��Ӳ�����������潵�ͳɱ���

�����Ӿ������弼�ܣ�vss-build-vision-ai�������澯��������ժҪ��VSS���������ϵ�һ��Ӧ���У�������SOP�Ϲ����ͨ�����ȳ����������ڲ��ؽ���������ջ���������չ�������еIJ���

Adaptive EVS����һ�¹���ͨ���޼���ǰһ֡���δ�����仯�Ļ���������Ӿ�Token����Χ���¼�����ʱ����������VLM���񣬴Ӷ����������VLM������EVS�Ѿ��Թ̶��޼��ʵ���ʽ������vLLM��Cosmos NIM΢�����С�VSS 3.3�е�����Ӧ�汾���ɵ���ʵʱVLM΢�����У��ɰ�ÿ��ͼ����ÿһ֡������������ЩToken��

�����Ӿ������弼��ͨ����Ϻ���չ���𽵵��˿����ͱ���ɱ���Adaptive EVSͨ���������ڴ���δ�仯��Ƶ��VLM Token��GPUʱ�䣬��������Ӫ�ɱ���

���ڵ�VSS���ֱܷ�����������ͷ���á�ժҪ���ɡ��������澯�ͷ����ȵ��������VSS 3.3����Щ������֯Ϊ�����ܡ��������ܡ����ߺͻ�׼���ԣ�����vss-build-vision-ai�����������ಿ�֡�

����������������Ҫ��Ӧ�ã������Ӿ������弼�ܻὫ��һ��ͼת��Ϊ���������ļ���΢�������ú�����ʱ�����IJ���ƻ���

�ü��ܲ�����㿪ʼ���ɲ��𷽰������Ǵ��ĸ�������֤�Ŀ����������ļ���ѡ����ӽ���һ����ʼ�����±�1����ÿ�������ļ��������ijһ���������������������Եļ���ջ���ü��ܽ������ʼ�����ļ���Ϊ"��������"��������������Ҫ�����޸ġ�

���ü��ܼ������С�ı������ֻ���ӻ�ɾ��ȷ����Ҫ�ķ����ֻ����������ʵ���õ��ķ��񣬲���������ɫ����Ϊ��һʵ����

��������Ҫ������Ĺ��ܻṲ��һ�����������������ҪKafka��Elasticsearch�Ĺ��ܻṲ��һ����Ϣ���ߺ�һ��Elasticsearch���𣬸���д���Լ����������������޷�ȷ��ѡ��ʱ���ü��ܻ����һ���ṹ�����⣬����������²⡣

���ù���������ʩ������VIOS��Kafka��Redis��Elasticsearch��HAProxy��ں�MCP����

����һ�������Ĺ���������_builds/<name>/override.env��������������Ч��Compose�����ļ����Լ����������������ĵ����ã���compose.yml�Լ�resolved.yml��ͨ��docker compose config���ɵ�һ����ƽ��Compose�ļ����ɶ������𣩡�������е�deploy/docker/Ŀ¼���ݲ��ᱻ�޸ġ�

��д������κ�����֮ǰ��չʾ�ܹ�ͼ����飬Ȼ��������֤������;�����飬�Ա㿪�����ڹ���Ӧ���߼�֮ǰ����֤��������ջ��

ѯ���Ƿ�������������������Ĭ��ѡ����NemoClaw������һ����װ��VSS���ܵ�������ɳ�价��������ش��������һ����VSS�����н����������޽��漼��ջ��

��������̽��ʱ�䣬ʹ��Ϲ��̿��ظ����������˲�ͬ������֮���ظ��������ݽ��롢�洢����Ϣ���ݺͷ���������ʩ��

�Գ�֭��װ��Ϊ�����Ŷ�ϣ������һ�������壬�ܹ���ع�װ���ͷ�ǻ�������ͷ�����������©������и澯��������ʷ�¼��������ɰ�α��档

�ֶ�������Ҫ�����¼���⡢�澯��֤���洢������������ժҪ���ɺͱ���Ȼ��ڡ�ʹ�ù����Ӿ������弼�ܣ�����������Ԥ�ڽ���������ɿ�ʼ��

Ϊ��֭��װ�߹���һ��VSS�Ӿ������塣ʹ�ù�װ���ͷ�ǻ��ϵ���·RTSP����ͷ�����ƿ������͹�֭��©����VLM��֤ÿ���澯��ʹ�澯Ƭ�ο���������Ϊ�����������ɰ�α��档

���ݻ��������ļ��IJ�ͬ���ṩʵʱ��⡢׷�١���Ļ���ɻ����VLM�ĸ澯��

��һ̨�䱸˫GPU��RTX PRO 6000 Blackwell�����ϣ��ü���ͨ���������з��񣬽�����һ���澯�Ž�����ʵʱVLM���������͸澯���ܽ��������FP8 Cosmos 3 Nano����������GPU���������ظ����衣һ��¼�Ƹ澯���������ڲ���30�����ھ�ʵ���˿�Ԥ����ʵʱ����

������һ�ֿɸ��õ�ģʽ��ֻ�����һ����Ƶ���ڸ��������乲��֤�����ݣ���Ϊ����Ա�ṩ��Ȼ�����������澯��ժҪ�ͱ��湦�ܡ�

������װ��������һ��Ͷ�����У�������ͷ�ͻ�ȫ������������Ƶ���ݣ���ÿһ֡�����еĴ󲿷����ݼ����Ӳ��仯����װ�������������档ֻ���������е�ƿ���ڱ仯��������¼�����ٷ�����

ÿ��֡������Ȼ���ΪVLM���Ӿ������ģ����ģ�ʹ󲿷ּ�����Դ���ķ����ظ���ȡ��ǰһ֡��������ȫ��ͬ�������ϡ�����VLM���������Ѳ����Ӿ�AI����������ʱ�ɱ�����Ҫ��������֮һ��Ҳ����Adaptive EVS��Ҫ����ijɱ����⡣

��̬�޼���ÿ��ͼ��鶼����ǰһ֡�����������ƶȱȽϣ�δ�仯��ͼ�����ڴ�������ģ��֮ǰ��������

�¼���֪��������Token�����ʿɷ�ӳ������������Լ70%���ϵ�Ƭ�λᱻ��������Ϊ�¼���Լ30%���µĻᱻ��������գ��������������С�

������Cosmos 3 Super FP8��NVIDIA RTX PRO 6000 Blackwell�ϣ�Adaptive EVS��

���澯�龳���ӳٽ�����17%����1021���뽵��844���룬ͬʱ���Ƶؼ�����Tokenʹ������

������ʵʱVLM������������46%����13·���ӵ�19·��

�ڼ���80% VLM����Token������£���Լһ���ʱ�������60������Ƶ��ժҪ���ɡ�

������򳡾��˶��̶ȡ��ֿ鳤�Ⱥ����ƶ���ֵ��������ͬ����ѡ����������Ĭ������ǰ��Ӧ�Դ������زĽ��л�׼���ԡ�

Adaptive EVS��VLM��Ҫ��ȡ����֡�����ɼ�̻ظ��ij�������Ϊ���ã������ܼ���Ļ���ɡ�����ƵժҪ�͸澯��֤����������֡���ɳ�����ij����������С���ù���������RT-VLM�����ڣ��������Զ�̶˵㣬�����ǿ�ѡ���ܡ�����override.env����������Ȼ���ڴ������ز��ϲ���׼ȷ�ԡ����������ӳ٣�

VIA_EVS_SESSION=true VLM_VIDEO_PRUNING_RATE=0.5 # ȡֵ��Χ0.0��1.0����ֵԽ���޼�Խ�� VLLM_EVS_SIMILARITY_THRESHOLD=0.2

���ٸ澯��������ժҪ��������ʴ���֮����ظ�������ʩ���衣

ͨ���������¼���Ƶ������ժҪ���ɺ��¼�������ӳ١�

ͨ�������������еIJ������������չ��ʹ��չ���ӱ�ݡ�

�ۺ���������Щ�仯������ǰ�ڿ������������Լ��ڸ��ֻ�����Ӧ����ʹ��VLM������Ƶ�����GPU��������

��¡VSS Blueprint����⣬���л�������3.3���ܵķ�֧��

��������Ҫ�������壬������Ƶ��Դ���������Ͳ���Լ������������ֱ��˵"����һ���Ӿ�������"�Ի�ȡ������

���ܹ�ͼ��_builds/<name>/override.env�ļ����ر��עGPU���䡢ģ�Ͷ˵㡢�˿ڡ��洢�Ͱ�ȫ�߽硣

����RT-VLM�������أ�����Adaptive EVS�������޼��ʣ����ڴ�������Ƶ�ϲ���׼ȷ�ԡ����������ӳ١�

�������εĸ��������в�������������֤��TLS���������ƺ��ⲿ���ƴ�ʩ��

git clone https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization.git cd video-search-and-summarization

�Ķ�skills/README.md�Լ�skills/Ŀ¼�µ�ÿ��SKILL.md�ļ���Ϊ��������װÿһ��ܣ�ʹ�ñ�׼����Ŀ¼�������������Ӷ���ֱ�Ӹ��ƣ�����git pull���ܱ��ּ��ܸ��¡�

Ϊ�ҵIJֿ�����ͷ����һ��VSS�Ӿ������壬��ϸ澯��֤����Ȼ������Ƶ������ÿСʱժҪ���ܡ������ܸ������е�Kafka��Elasticsearch���񣬲�������Docker Compose֮ǰ������һ�ݲ���ƻ���

�����Լ�������ͷ�ϣ��������ʾ����ʾ���Թ����Ӿ������弼��

A��VSS Blueprint 3.3�����˹����Ӿ������弼�ܣ�vss-build-vision-ai����Adaptive EVS������£��ֱ�ӿ����˺����ж˽������Ӿ�AI������Ľ�������гɱ���

A����RTX PRO 6000 Blackwell�ϣ�Adaptive EVS�ɽ��澯�ӳٽ���17%����������������46%��60������ƵժҪ�����VLM����Token����80%����ʱ����Լһ�롣

A���ü���ͨ����Ȼ�������������Զ�ѡ����ӽ��Ļ������÷�����������С����������ù���������ʩ����VIOS��Kafka��Redis��Elasticsearch�ȣ��������ظ����裬�Ӷ�������̿���ʱ��ͽ��Ϳ����ɱ���

�������