.RU

Реферат по предмету: «Периферийные устройства» на тему: «Память ddr, ddr-ii»




Министерство Образования и Науки Украины

ЗНТУ


РЕФЕРАТ

по предмету: «Периферийные устройства»

на тему: «Память DDR, DDR-II»


Выполнил: ст. гр. ИОТ-523

Жмурский Ю. С.

Проверил:


Запорожье

2005г.

Cодержание:


Содержание……………………………………………………………...2

Память стандарта DDR2: будущее ближайшее или отдаленное?........3

Немного о вечном.....................................................................................3

DDR2 с рыночной точки зрения………………………………………..4

Что же мы имеем в сухом остатке?.........................................................6

DDR2 vs DDR. Результаты тестирования в одноканальном режиме...7

Конфигурации тестовых стендов и ПО……….………………………..7

Максимальная реальная пропускная способность памяти……………7

Латентность памяти……………………………………………………...9

Итоги…………………………………………………………………….10

DDR2 - грядущая замена DDR. Теоретические основы и первые

результаты низкоуровневого тестирования…………………………...11

Общая информация………………………………………………..……11

DDR2 изнутри…………………………………………………………...12

Выборка данных………………………………………………………...12

Внутричиповое терминирование………………………………………14

Добавочная задержка…………………………………………………...14

Задержка выдачи CAS………………………………………………….16

Задержка записи………………………………………………………...18

Восстановление после записи…………………………………………18

Результаты тестирования в RightMark Memory Analyzer……………19

Максимальная реальная пропускная способность памяти…………..19

Латентность памяти…………………………………………………….21

Заключение……………………………………………………………...25

Cписок источников……………………………………………………...25


^ Память стандарта DDR2: будущее ближайшее или отдаленное?


Немного о вечном...
Для начала уместно будет вспомнить старый добрый маркетинговый принцип: если вам нужно продать человеку некий продукт, потребности в котором он не ощущает — значит, нужно сначала эту потребность создать. При этом в нашем случае следует четко понимать, что такие категории как «объективность существования потребности», или «ложные и истинные потребности» к современному компьютерному рынку де-факто… просто неприменимы! Была у пользователя потребность в «первой» DDR? Нет! Пользователю вообще не нужны ни DDR, ни новые процессоры, ни новые видеокарты и винчестеры. Ему нужно одно: чтобы на компьютере быстро и беспроблемно работали те программы, которыми он пользуется. Однако компании-производители памяти, вкупе с разработчиками чипсетов и процессоров, решили, что пользователю DDR-память нужна. А еще точнее — им нужно, чтобы она была ему нужна.

Поэтому была проведена соответствующая идеологическая подготовка (в том числе в СМИ) под девизом «Нам всем очень не хватает пропускной способности памяти!», после чего появились чипсеты, процессоры с быстрыми и широкими шинами, и сама память, в конце концов. А затем покупатели, своим кошельком проголосовавшие за эти символы прогресса, естественно, захотели получить материальное подтверждение того, что сделали они это не зря. Именно на этой «второй волне» (а отнюдь не сразу!) появились программы, демонстрирующие замечательные результаты именно вкупе с быстрой памятью. Были ли результаты этих программ «необъективными»? Да нет же, в большинстве своем все было честно: быстрая память оказалась действительно хороша! Были ли все эти программы бесполезными? Тоже нет, среди них попадалось реально востребованное ПО, решавшее нужные и полезные задачи. Появилось бы это ПО именно в таком виде, если бы не было бума вокруг DDR? Нет. Однако, так или иначе, оно бы все равно появилось . Только в каком-то другом виде.

Если бы, например, основным направлением выбрали повышение не пропускной способности памяти, а объема процессорного кэша — то, опять-таки «после соответствующей идеологической подготовки» (и, соответственно, появления на рынке большого количества систем с возросшим объемом кэша), появился бы спрос на программы, быстро работающие при больших объемах кэша. Немного другие алгоритмы, немного другая оптимизация… и все снова получают зримые доказательства того, что «направление развития выбрано правильно»: увеличенный кэш дает замечательные результаты. Никакого обмана! Просто срабатывает взаимосвязанность всех элементов рыночной цепочки: в условиях, когда не существует какого-то одного верного пути развития, правильным оказывается тот постфактум, на который удалось «завернуть» большинство субъектов рынка. Поэтому при оценке перспективности любой технологии, которую кто-то начинает продвигать, никогда не следует забывать о нескольких правилах:

  1. Ни одна из новых технологий практически никогда не дает качественного рывка вперед сразу после ее появления на рынке (нам не известны примеры иных ситуаций, поэтому подстраховка в виде «практически никогда» — это скорее следствие привычки избегать широких обобщений). Почему так происходит? Об этом нам рассказывает второе правило.

  2. Использовать некую возможность получается только в том случае, когда она есть. Банально, но если это понять, становится совершенно очевидно: мы не можем знать в точности, к чему приведет появление конкретных воплощений некой идеи «в железе» — ведь ранее большинство просто не задавалось вопросом о том, что можно с этой идеей сделать с точки зрения ее практического использования!

  3. В условиях, когда конечной цели можно достичь несколькими способами, «однозначно правильных» и «однозначно неправильных» путей развития намного меньше, чем «в чем-то правильных». Можно сделать ставку на хорошие дороги, а можно — на мощные и быстрые вездеходы. Можно совершенствовать механизмы коррекции ошибок и помехозащищенность — а можно улучшать качество линий связи. Оба пути позволяют на определенном этапе ускорить решение задачи и, в конечном итоге, повысить комфорт пользователя. И тот, и другой путь рано или поздно себя исчерпают.

  4. Оценка способности некой компании (или их консорциума) продвинуть некую технологию на рынок — не менее важна, чем оценка самой технологии. Ибо только воплощенные идеи способны что-то дать конечному потребителю, прочие же интересуют только историков и немногих специалистов. И пусть отказ от поддержки Замечательной Прогрессивной Идеи на основании сомнений в силе ее продвигающего и выглядит до ужаса цинично… однако нам, потребителям, в данном случае как раз стоит быть максимально циничными — чтобы не оказаться в роли спонсоров очередного Большого Красиво Лопнувшего Пузыря.
^ DDR2 с рыночной точки зрения
Что есть DDR2, если отвечать на этот вопрос, помня все написанное выше? Это новый стандарт памяти, продвигаемый на рынок (в основном, на данный момент) компанией Intel, который потенциально обеспечивает достижение более высоких частот (соответственно — большей пропускной способности). Однако при этом DDR2 обладает рядом не очень приятных (в целом, с точки зрения идеала) особенностей, в основном влияющих на временные задержки. В настоящее время конкретные ее воплощения в виде модулей памяти для установки в системные платы, не могут продемонстрировать нам основных преимуществ, свойственных DDR2 как стандарту, в то время как основные его недостатки они нам демонстрируют в полную силу. Это связано с вполне конкретными, объективными причинами: недостаточной (даже для DDR2-533) пропускной способностью процессорной шины сегодняшних Pentium 4 и отсутствием массово производимых модулей памяти с низкими таймингами.

Могут ли данные недостатки быть компенсированы в будущем? Чисто теоретически, DDR2 (опять-таки, как стандарт) этому никак не препятствует. Однако де-факто, судя по прогнозам специалистов, большинство модулей DDR2 еще долго будут иметь б о льшие задержки, чем даже нынешняя «хорошая» DDR400. Напомним, что это не отменяет преимущества DDR2 (начиная с DDR2-533) по пропускной способности. Также можно ожидать в самом ближайшем будущем выхода процессоров с более высокой частотой шины, т.е. устранения еще одного недостатка текущих DDR2-систем.

Что все это означает для рынка? Судя по всему, один из флагманов индустрии придерживается мнения о том, что [предельная] пропускная способность памяти является более значимой характеристикой с точки зрения влияния на быстродействие современного программного обеспечения, чем латентность. Таковы его приоритеты. Ведущие производители памяти, в целом, не отвергают такого варианта развития событий, и готовы поддержать инициативу Intel выпуском реальных продуктов — микросхем и модулей памяти. С другой стороны, они не отрицают что рынок «обычной» DDR для них по-прежнему привлекателен, и уходить они с него не собираются до тех пор, пока DDR будет пользоваться спросом.

Как легко заметить, такая позиция производителей памяти более чем выгодна для конечного пользователя т.к. принятие основного решения оставляет именно за ним. Разумеется, то, что за спиной DDR2 стоит «Сама Intel», придает этому стандарту очень большой вес. С другой стороны, наличие на рынке такой же, или «почти такой же» быстрой памяти стандарта DDR, значительно снижает «мифическую привлекательность» DDR2, заставляя потенциального покупателя обращать больше внимания на привлекательность фактическую, т.е. реальное превосходство (или же отставание) систем на базе DDR2 в часто используемых приложениях. Иными словами, в данной ситуации рассчитывать на большие «авансы» от пользователей производителям не приходится: можно предположить, что основная волна миграции на DDR2 будет связана не с общими ожиданиями рывка, а с появлением первых овеществленных доказательств того, что рост производительности реален и его можно пощупать руками. Кроме того, не стоит забывать, что преимущество сегодняшней DDR2 над DDR400 отнюдь не настолько велико, каким было в свое время преимущество DDR266 над PC133. Тогда рост пропускной способности памяти (пусть даже в теории и по максимуму) составлял целых два раза! Сегодня все намного скромнее: ПСП самой быстрой на сегодняшний день (из поддерживаемых чипсетами) DDR2-533 превышает ПСП DDR400 всего на 33%, а у DDR2-400 она и вовсе такая же. Косвенно свидетельствует об осознании этих фактов и то, что новые чипсеты Intel поддерживают, как DDR2, так и обычную DDR: помня уроки Rambus, компания не собирается внедрять новый стандарт в качестве безальтернативного, разумно опасаясь негативной реакции рынка.

С другой стороны, если предположить, что AMD не станет торопиться с поддержкой DDR2, данный стандарт является для Intel хорошим способом давления на основного конкурента т.к. вносит дополнительный барьер, препятствующий свободному переходу пользователей с одной платформы на другую. Действительно: возможность адаптации недавно объявленной AMD платформы Socket 939 под DDR2 остается под вопросом, да и интеграция контроллера памяти в CPU вносит дополнительные трудности. Стало быть, AMD вынуждена будет еще достаточно долгое время поддерживать только DDR. Если Intel удастся достаточно быстро сделать DDR2 основной памятью для своей будущей Socket 775 — то, фактически, на одну совместимость между платформами Intel и AMD станет меньше: системы на их основе не будут пересекаться не только по чипсетам, платам, и процессорам, но и по используемому типу памяти. В такой ситуации можно предположить появление производителей модулей и микросхем (из разряда не очень крупных), которые сочтут для себя возможным полностью перейти на производство DDR2, или, наоборот, отказаться от него, сделав выбор в пользу одной из конкурирующих платформ.

Однако, как ни странно, в чем-то такая ситуация также выгодна пользователям. Правда, на этот раз — только тем, кто предпочтет Socket 775 + DDR2. Ведь для достижения «разделяющего эффекта» Intel придется продвигать DDR2 очень интенсивно, а повышать ее фактическую привлекательность можно только двумя путями: понижением цены и быстрым ростом частоты. Иными словами, темпы роста привлекательности технических и ценовых характеристик модулей DDR2 будут зависеть как от объективных, технологических причин (возможности чипмейкеров, себестоимость производства), так и от того, насколько много Intel готова вложить в продвижение данного типа памяти, насколько «агрессивны» ее намерения.

Не стоит забывать и о том, что на данный момент DDR2 в качестве перспективы «в глобальном плане» практически не имеет альтернатив. Очень сомнительно, что JEDEC утвердит спецификацию DDR500 — даже валидация модулей DDR400 уже вызвала некоторые проблемы у чипмейкеров, хоть они и были разрешены. Поэтому не мытьем так катаньем, рано или поздно, все равно нас «пересадят» на DDR2 — вопрос состоит не в том, произойдет ли это в принципе, а лишь в том, когда это произойдет. Кроме того, все еще неизвестно, кто после массового прихода данного стандарта на рынок окажется «на коне». Преимущества и недостатки позиций Intel и AMD вполне очевидны: первой, как и любому первопроходцу, суждено наступить на все грабли, связанные с поддержкой нового типа памяти — но, с другой стороны, у нее будет возможность дольше учиться на собственных ошибках, приобретая опыт. У AMD настолько богатого опыта до выхода первых процессоров с поддержкой DDR2 не будет, зато она пока может спокойно выпускать продукты, рассчитанные на DDR400, стоя в сторонке и наблюдая за развитием событий. Самое главное при такой позиции — не опоздать.
^ Что же мы имеем в сухом остатке?

  1. DDR2 в качестве стандарта достаточно понятна и предсказуема: это тип памяти с относительно высокими задержками (что для определенным образом оптимизированного ПО плохо), но в то же самое время потенциально в два раза более высокой пропускной способностью (что опять-таки для определенным образом оптимизированного ПО хорошо).

  2. Результаты тестирования того конкретного воплощения DDR2-платформы, на которое нам удалось «одним глазком» посмотреть сегодня, большого оптимизма пока не вызывают — худшие черты стандарта видны, лучших — не заметно. Но иного никто и не ожидал: результаты были предсказуемы, исходя из технических характеристик самой памяти и использованного процессора.

  3. Сама по себе сегодняшняя DDR2 вряд ли сможет завоевать серьезную популярность, для этого ей нужно обзавестись более адекватным окружением. Как минимум — процессорами и чипсетами, которые смогут задействовать возросшую ПСП, и получить от этого реальный выигрыш.

  4. Судьба стандарта зависит от того, насколько быстро появятся более «вкусные» по техническим характеристикам модули (например DDR2-533 с таймингами 3-3-3, или DDR2-667), и опять-таки — от того, насколько хорошо они будут поддержаны соответствующими им по возможностям процессорами и чипсетами.

  5. Завтрашний день все равно за DDR2 т.к. никаких альтернатив ей пока не предвидится. Разве что производители процессоров и чипсетов вдруг решат, что более высокая пропускная способность памяти, чем у сегодняшней DDR400, им не нужна. Но вероятность такого развития событий практически равна нулю.




^ DDR2 vs DDR. Результаты тестирования в одноканальном режиме

Это небольшое приложение к нашим предыдущим результатам тестирования, показавшим весьма спорное преимущество нового типа памяти DDR2, относительно DDR призвано, по сути, «немного показать DDR2 в действии». А именно — достичь тех величин реальной пропускной способности, которые были бы максимально близки к заявленным в спецификации теоретическим значениям. Как этого можно добиться? — ответ весьма прост: для этого нужно сравнить DDR2-533 и DDR-400 в одноканальном режиме доступа, при котором теоретическая ПСП обеих типов памяти (4.3 ГБ/с и 3.2 ГБ/с, соответственно) заведомо ниже, чем предельная теоретическая пропускная способность шины процессора (6.4 ГБ/с). Именно этим мы и займемся.
^ Конфигурации тестовых стендов и ПО Тестовый стенд №1 ^ Тестовый стенд №2 ^ Программное обеспечение Максимальная реальная пропускная способность памяти
Начнем с оценки главной характеристики памяти — ее пропускной способности. Ведь на существенное ее увеличение и направлен новый стандарт DDR2. Как и прежде, измерение максимальной реальной пропускной способности памяти проводилось с помощью подтеста Memory Bandwidth, пресетов Maximal RAM Bandwidth, Software Prefetch, MMX/SSE/SSE2, использующих метод оптимизации в виде предварительной выборки данных, которые будут востребованы позже, из оперативной памяти в L2 кэш процессора. Для оптимизации записи в память в этих тестах используется метод прямого сохранения данных (Non-Temporal Store), позволяющий исключить влияние подсистемы кэша процессора. Для наглядности приведем картину, полученную на платформе Prescott/DDR2 с использованием регистров SSE2.


Prescott/DDR2, максимальная реальная ПСП


Но интереснее, конечно же, взглянуть на сравнительные количественные характеристики, полученные в этой серии тестов.

^ Тип памяти

Максимальная реальная пропускная способность, МБ/с

Чтение (Software Prefetch)

Запись (Non-Temporal)

DDR-400

3290.1

3167.3

DDR2-533

4287.2

4093.7

Итак, наконец-то нам удалось максимально приблизиться к «заявленному» значению ПСП нового типа памяти DDR2-533! Максимальная реальная ПСП DDR2 при операциях чтения составила 4287.2 МБ/с (отметим, что частота шины памяти в обоих случаях завышена на 2-3%, что особенно хорошо видно из результатов тестирования DDR-400). Можно сказать, что она достигла своего предельного значения (которое на самом деле, несмотря на обозначение PC2-4300, составляет 4266.7 МБ/с = 533.3 МГц x 64 бит), причем — даже в таком, асинхронном режиме работы памяти. Эффективность операций записи в DDR2 несколько ниже — но здесь важно упомянуть, что почти такое же значение мы получили и в наших предыдущих тестах, в которых использовался двухканальный режим работы, и сказываются здесь, как мы уже отмечали, скорее всего, микроархитектурные особенности процессоров Prescott.


^ Латентность памяти
Методика измерений латентности, применительно к процессорам семейства Pentium 4, была подробно разработана, обоснована и описана ранее. Поэтому остановимся на ней лишь вкратце: в тесте латентности используется псевдослучайный режим обхода сравнительно большого блока памяти (4 МБ) с шагом в 64 байта (действительный размер строки L2- кэша процессоров Pentium 4) и 128 байт («эффективный» размер, связанный с аппаратной предвыборкой смежной строки из памяти в кэш во всех режимах обхода).

Для наглядности, представим графики разгрузки шины L2-RAM на платформе Prescott/DDR2, полученные с шагом 128 байт.


Prescott/DDR2, латентность памяти, длина строки 128 байт


Обращаясь к количественным оценкам, прежде всего, следует упомянуть, что значения латентности при использовании одноканального режима во всех случаях оказались несколько меньшими по сравнению с теми, которые были получены в двухканальном режиме. Собственно, было бы странно, если бы получилось обратное — ибо вполне очевидно, что «двухканальность» влечет за собой увеличение задержек при доступе в память (на уровне чипсета). Кстати, в связи с этим более «правильными» величинами латентности памяти (т.е. более близкими к «истинным» характеристикам) следует считать значения, полученные именно в одноканальном режиме.

^ Длина строки

Тип памяти

Латентность псевдослучайного доступа, нс

Минимальная

Средняя*

Максимальная

64 байта

DDR-400

28.0

31.4

31.6

DDR2-533

29.3

30.5

34.8

128 байт

DDR-400

46.6

54.6

54.6

DDR2-533

51.9

52.7

58.9

*латентность в условиях отсутствия разгрузки шины L2-RAM


Сравнивать «некорректные» величины, полученные при 64-байтном размере шага, которые, к тому же, весьма близки между собой, вряд ли имеет особый смысл — скорее можно считать, что они просто приведены для полноты картины. Гораздо интереснее сопоставить между собой более «объективные» значения, полученные при обходе цепочки с шагом, равным «эффективной» длине строки (128 байт). Результаты этих тестов вновь никак нельзя назвать неожиданными — очевидно, что по латентности DDR2 явно проигрывает DDR. На этот раз различие (если не учитывать «средние» значения, полученные в условиях отсутствия разгрузки шины) находится в пределах 8-11% в пользу DDR — несколько меньше, чем это было в двухканальном режиме (15-16%). Что, в общем-то, означает, что задействование двухканальности сказывается на латентности DDR2 чуть сильнее по сравнению с DDR.
Итоги
Представленные результаты тестирования едва ли можно назвать «сенсационными», сколь бы то ни было оправдывающими использование памяти типа DDR2 на данный момент. Можно констатировать лишь нижеследующее: максимальная реальная ПСП памяти типа DDR2-533 действительно соответствует заявленному в спецификации значению порядка 4.3 ГБ/с в одноканальном режиме, и превышает ПСП памяти типа DDR-400 в том же одноканальном режиме. Тем не менее, это никак нельзя считать ее неоспоримым преимуществом. Хотя бы по той простой причине, что уже реально существующие на сегодняшний день чипсеты Intel i915/i925, поддерживающие DDR2, превосходно поддерживают двухканальный режим работы памяти. Что делает «одноканальную DDR2» совершенно непривлекательным вариантом, по сравнению хотя бы с той же «двухканальной DDR». Таким образом, основной вывод, который был сделан раньше, продолжает оставаться в силе — использование DDR2 оправдает себя, как минимум, не ранее того момента, когда появятся первые процессоры с частотой шины 1067 МГц и выше, что позволит преодолеть ограничение, накладываемое скоростью шины процессора на реальную пропускную способность подсистемы памяти в двухканальном режиме ее функционирования.

^


DDR2 - грядущая замена DDR. Теоретические основы и первые результаты низкоуровневого тестирования

DDR2 — новый стандарт памяти, утвержденный JEDEC (Joint Electronic Device Engineering Council), в состав которого входят многие производители микросхем и модулей памяти, а также чипсетов. Ранние версии стандарта были опубликованы уже в марте 2003 года, окончательно он был утвержден лишь в январе 2004 года и получил наименование DDR2 SDRAM SPECIFICATION, JESD79-2, ревизия A (JESD79-2A). DDR2 основывается на хорошо известной и зарекомендовавшей себя технологии DDR (Double Data Rate). Можно даже сказать так: «DDR2 начинается там, где заканчивается DDR». Другими словами, первые DDR2 будут работать на частотах, являющихся пределом для текущего поколения памяти DDR-400 (стандарт PC3200, тактовая частота 200 МГц), а ее дальнейшие варианты существенно его превзойдут. Первым поколением памяти DDR2, уже производимым в настоящее время такими вендорами, как Samsung, Infineon, Micron, Crucial, Kingston и Corsair, являются ее разновидности DDR2-400 и DDR2-533, работающие на частотах 200 МГц и 266 МГц, соответственно. Далее ожидается появление нового поколения модулей DDR2-667 и DDR2-800, хотя отмечается, что они вообще вряд ли появятся и, тем более, получат широкое распространение даже к концу этого года.

Справедливости ради стоит заметить, что память типа DDR2, как таковая, появилась уже довольно давно — конечно же, имеется в виду память на видеокартах. Тем не менее, эта разновидность DDR2 (называемая GDDR2), на самом деле, является особым типом памяти, разработанным специально для рынка видеокарт и слегка отличающимся от «десктопного» варианта DDR2, которому и посвящен настоящий обзор.
^ Общая информация
Итак, «десктопная» DDR2-SDRAM рассматривается как эволюционная замена текущего поколения памяти — DDR. Принцип ее функционирования абсолютно тот же — передача данных (на уровне модуля памяти) осуществляется по 64-разрядной шине по обеим частям синхросигнала (восходящему — «фронту», и нисходящему — «срезу»), что обеспечивает удвоенную эффективную скорость передачи данных по отношению к ее частоте. Разумеется, при этом в DDR2 реализован ряд нововведений, которые позволяют осуществить скачок к гораздо более высоким частотам (а, следовательно, большей пропускной способности) и большим емкостям массивов микросхем, с одной стороны, и уменьшенному энергопотреблению модулей, - с другой. За счет чего это достигается, мы увидим позже, а пока обратимся к «макроскопическим» фактам. Модули памяти типа DDR2 производятся в новом форм-факторе, в виде 240-контактных модулей DIMM, электрически не совместимых со слотами для модулей памяти типа DDR (по количеству выводов, расстоянию между выводами и цоколевке модулей). Таким образом, стандарт DDR2 не предусматривает обратной совместимости с DDR.

В представленной ниже таблице приведены утвержденные соглашения о наименованиях и спецификации первых трех стандартов DDR2. Легко заметить, что DDR2-400 характеризуется такой же пропускной способностью, как и ныне существующий тип памяти DDR-400.



Скорость
компонента

Скорость
модуля

Частота
шины

Скорость
передачи
данных

Пропускная
способность
модуля

Пропускная
способность в
двухканальном
режиме

DDR2-400

PC2-3200

200 МГц

400 МТ/с

3.2 ГБ/с

6.4 ГБ/с

DDR2-533

PC2-4300

266 МГц

533 МТ/с

4.3 ГБ/с

8.6 ГБ/с

DDR2-667

PC2-5300

333 МГц

667 МТ/с

5.3 ГБ/с

10.6 ГБ/с

Первые модули памяти DDR2 будут поставляться в вариантах 256 МБ, 512 МБ и 1 ГБ. Тем не менее, стандарт предусматривает возможность построения модулей существенно большей емкости — вплоть до 4 ГБ, которые, однако, являются специализированными модулями (не совместимыми с десктопными вариантами, по крайней мере, на данный момент). В дальнейшем ожидается появление модулей, обладающих еще большей емкостью.

Чипы DDR2 будут изготавливаться с использованием упаковки типа FBGA (Fine Ball Grid Array), более компактной, чем традиционный вариант TSOP-II, позволяющей достичь больших емкостей микросхем при меньшем размере и улучшенных электрических и термических характеристиках. Такой метод упаковки уже используется некоторыми производителями DDR в качестве варианта, но является рекомендованным к использованию с точки зрения стандарта JEDEC.

Потребляемое модулями DDR2 напряжение, согласно стандарту — 1.8 V, что значительно меньше по сравнению с напряжением питания устройств DDR (2.5 V). Вполне ожидаемым (хотя и не столь очевидным) следствием этого факта является уменьшение энергопотребления, что важно для производителей, как ноутбуков, так и крупных рабочих станций и серверов, где проблема рассеиваемой модулями памяти мощности занимает далеко не последнее место.
^ DDR2 изнутри
Стандарт DDR2 включает в себя несколько важных изменений спецификации DDR, связанных с передачей данных, которые позволяют достигать более высоких частот при более низкой потребляемой мощности. Как именно достигается снижение рассеиваемой мощности при одновременном увеличении скорости модулей, мы рассмотрим прямо сейчас.
^ Выборка данных
Главным изменением в DDR2 является возможность выборки сразу 4 бит данных за такт (4n-prefetch), в противоположность 2-битной выборке (2n-prefetch), реализованной в DDR. По существу, это означает, что на каждом такте шины памяти DDR2 осуществляет пересылку 4 бит информации из логических (внутренних) банков микросхемы памяти в буферы ввода-вывода по одной линии интерфейса данных, тогда как обычная DDR способна переслать лишь 2 бита за такт на линию. Довольно закономерно возникает вопрос — если это так, то почему же тогда эффективная пропускная способность DDR2-400 оказывается такой же, как и у обычной DDR-400 (3.2 ГБ/с), а не удвоенной?

Для ответа на этот вопрос сначала рассмотрим, как работает обычная память типа DDR-400. В этом случае, как ядро памяти, так и буферы ввода-вывода функционируют на частоте 200 МГц, а «эффективная» частота внешней шины данных, благодаря технологии DDR, равна 400 МГц. По правилу 2n-prefetch, на каждом такте памяти (200 МГц) по каждой линии интерфейса данных в буфер ввода-вывода поступает 2 бита информации. Задачей этого буфера является мультиплексирование/демультиплексирование (MUX/DEMUX) потока данных — по-простому, «перегонка» узкого высокоскоростного потока в широкий низкоскоростной, и наоборот. Поскольку в микросхеме памяти типа DDR SDRAM логические банки имеют ширину шины данных, соединяющую их и усилитель уровня, в два раза шире, чем от защелок на чтение до внешнего интерфейса, буфер данных включает в себя мультиплексор типа 2-1. В общем случае, поскольку микросхемы памяти, в отличие от модулей, могут иметь разную ширину шины данных — обычно это x4/x8/x16/x32, применение такой схемы MUX/DEMUX (2-1), реализованной в DDR, означает, что внутренний поток данных шириной X и частотой передачи Y от массива преобразуется во внешний поток шириной X/2 и частотой 2Y. Это называется балансом по пиковой пропускной способности.



Рассмотрим теперь схему функционирования устройства микросхемы памяти типа DDR2 SDRAM, равночастотной и «равноширокой» (т.е. одинаковой ширины шины данных) относительно микросхемы DDR модуля памяти DDR-400. Прежде всего, отметим, что ширина внешней шины данных осталась абсолютно такой же — 1 бит/линию, как и ее эффективная частота (в рассматриваемом примере — 400 МГц). Собственно, этого уже достаточно для ответа на поставленный выше вопрос — почему теоретическая ПСП равночастотных модулей памяти типа DDR2 и DDR равны между собой. Далее, очевидно, что использование мультиплексора типа 2-1, применяемого в DDR SDRAM, в случае DDR2 SDRAM, осуществляющей выборку данных по правилу 4n-prefetch, уже не подходит. Вместо этого требуется введение более сложной схемы с дополнительной ступенью преобразования — мультиплексора типа 4-1. Это означает, что выход ядра стал шире в четыре раза внешнего интерфейса микросхемы и во столько же раз ниже по частоте функционирования. То есть, по аналогии с рассмотренным выше примером, в общем случае схема MUX/DEMUX 4-1 осуществляет преобразование внутреннего потока данных шириной X и частотой передачи Y от массива во внешний поток шириной X/4 и частотой 4Y.



Поскольку в этом случае ядро микросхем памяти синхронизируется на частоте, вдвое меньшей по отношению к внешней (100 МГц), тогда как в DDR синхронизация внутреннего и внешнего потока данных происходят на одной частоте (200 МГц), среди преимуществ такого подхода отмечается увеличение процента выхода годных чипов и снижение энергопотребления модулей. Кстати, это также позволяет объяснить, почему стандарт DDR2 предполагает существование модулей памяти с «эффективной» частотой 800 МГц — что вдвое выше, чем у текущего поколения памяти типа DDR. Ведь именно такой «эффективной» частоты DDR2 можно достичь уже сейчас, имея чипы памяти DDR-400, работающие на собственной частоте 200 МГц, если осуществлять выборку данных по правилу 4n-prefetch по схеме, рассмотренной выше.

Таким образом, DDR2 означает отказ от экстенсивного пути развития чипов памяти — в смысле, простого дальнейшего увеличения их частоты, которое существенно затрудняет производство стабильно работающих модулей памяти в большом количестве. На смену ему выдвигается интенсивный путь развития, связанный с расширением внутренней шины данных (что является обязательным и неизбежным решением при использовании более сложного мультиплексирования). Рискнем предположить, что в будущем вполне можно ожидать появление памяти типа «DDR4», осуществляющей выборку уже не 4-х, а сразу 8 бит данных из чипов памяти (по правилу 8n-prefetch, с использованием мультиплексора типа 8-1), и работающих на частоте уже не в 2, а в 4 раза меньшей по отношению к частоте буфера ввода-вывода :). Собственно, ничего нового в таком подходе нет — подобное уже встречалось в микросхемах памяти типа Rambus DRAM. Тем не менее, нетрудно догадаться, что оборотной стороной такого пути развития является усложнение устройства MUX/DEMUX буфера ввода-вывода, который в случае DDR2 должен осуществлять сериализацию четырех бит данных, считываемых параллельно. Прежде всего, это должно сказаться на такой немаловажной характеристике памяти, как ее латентность, что мы и рассмотрим ниже.
^ Внутричиповое терминирование
Стандарт DDR2 включает в себя и ряд других усовершенствований, улучшающих различные характеристики нового типа памяти, в том числе — электрические. Одним из таких новшеств является внутричиповое терминирование сигнала. Суть его заключается в том, что для устранения излишнего электрического шума (вследствие отражения сигнала от конца линии) на шине памяти для нагрузки линии используются резисторы не на материнской плате (как это было с предыдущими поколениями памяти), а внутри самих чипов. Эти резисторы деактивируются, когда чип находится в работе и, наоборот, активируются, как только микросхема входит в состояние ожидания. Поскольку гашение сигнала теперь осуществляется намного ближе к его источнику, это позволяет устранить электрические помехи внутри чипа памяти при передаче данных.

Кстати, в связи с технологией внутричипового терминирования нельзя не остановиться на таком моменте, как... тепловыделение модуля, на активное снижение которого, в общем-то, в первую очередь и рассчитан новый стандарт DDR2. Действительно, такая схема терминирования сигналов приводит к возникновению значительных статических токов внутри чипов памяти, что ведет к их разогреву. Что ж, это действительно так, хотя заметим, что мощность, потребляемая подсистемой памяти в целом, от этого вовсе не должна расти (просто тепло теперь рассеивается в другом месте). Проблема здесь немного в другом — а именно, в возможности повышения частоты функционирования таких устройств. Весьма вероятно, что именно поэтому первым поколением памяти DDR2 являются модули вовсе не DDR2-800, а лишь DDR2-400 и DDR2-533, для которых тепловыделение внутри чипов пока что остается на приемлемом уровне.
^ Добавочная задержка
Добавочная задержка (также известная как «отложенная выдача CAS») — еще одно усовершенствование, введенное в стандарт DDR2, которое призвано минимизировать простои планировщика команд при передаче данных из памяти/в память. Чтобы проиллюстрировать это (на примере чтения), рассмотрим для начала чтение данных с чередованием банков (Bank Interleave) из устройства типа DDR2 с добавочной задержкой, равной нулю, что эквивалентно чтению из обычной памяти типа DDR.



На первом этапе происходит открывание банка с помощью команды ACTIVATE вместе с подачей первой составляющей адреса (адреса строки), которая выбирает и активирует необходимый банк и строку в его массиве. В течение следующего цикла информация передается на внутреннюю шину данных и направляется на усилитель уровня. Когда усиленный уровень сигнала достигает необходимого значения (по истечении времени, именуемого задержкой между определением адреса строки и столбца, tRCD (RAS-to-CAS Delay) на исполнение может подаваться команда чтения с автоподзарядкой (READ with Auto-Precharge, RD_AP) совместно с адресом столбца, чтобы выбрать точный адрес данных, которые надо считать с усилителя уровня. После выставления команды чтения выполняется задержка строба выбора столбца — tCL (задержка сигнала CAS, CAS Latency), в течение которой данные, выбранные из усилителя уровня, синхронизируются и передаются на внешние выводы микросхемы. При этом может возникнуть ситуация, когда следующая команда (ACTIVATE) не может быть отправлена на исполнение, поскольку в данный момент времени еще не закончилось исполнение других команд. Так, в рассматриваемом примере, активация 2-го банка должна быть отложена на один такт, поскольку в этот момент уже исполняется команда чтения с автоподзарядкой (RD_AP) из банка 0. В конечном счете, это приводит к разрыву в последовательности выдачи данных по внешней шине, что снижает реальную пропускную способность памяти.

Для устранения подобной ситуации и увеличения эффективности работы планировщика команд в DDR2 вводится понятие добавочной (дополнительной) задержки, tAL. При ненулевом значении tAL устройство памяти отслеживает команды READ (RD_AP) и WRITE (WR_AP), но откладывает их исполнение на время, равное величине добавочной задержки. Различия в поведении микросхемы памяти типа DDR2 с двумя различными величинами tAL приведены на рисунке.



Верхний рисунок описывает режим функционирования микросхемы DDR2 при tAL = 0, что эквивалентно функционированию устройства микросхемы памяти типа DDR; нижний соответствует случаю tAL = tRCD - 1, стандартному для DDR2. При такой конфигурации, как видно из рисунка, команды ACTIVATE и READ могут поступать на исполнение одна за другой. Фактическая реализация команды READ будет отложена на величину добавочной задержки, т.е. реально она будет исполнена в тот же момент, как и на диаграмме сверху.



На следующем рисунке приведен пример считывания данных из микросхемы DDR2 в предположении tRCD = 4 такта, что соответствует tAL = 3 тактам. В этом случае, благодаря введению дополнительной задержки, команды ACTIVATE/RD_AP могут исполняться подряд, в свою очередь, позволяя выдавать данные непрерывным образом и максимизировать реальную пропускную способность памяти.
^ Задержка выдачи CAS
Как мы видели выше, DDR2, с точки зрения частоты внешней шины, работает на более высоких скоростях, чем DDR SDRAM. В то же время, поскольку новый стандарт не предполагает каких-либо существенных изменений в технологии производства самих чипов, статические задержки на уровне устройства DRAM должны оставаться более-менее постоянными. Типичная величина собственной задержки устройств DRAM типа DDR — 15 нс. Для DDR-266 (со временем цикла 7.5 нс.) это эквивалентно двум тактам, а для DDR2-533 (время цикла — 3.75 нс.) — четырем.



По мере дальнейшего увеличения частот памяти необходимо множить количество поддерживаемых значений задержки выдачи сигнала CAS (в сторону больших значений). Определенные стандартом DDR2 величины задержек CAS представлены в таблице. Они находятся в интервале целых чисел от 3 до 5 тактов; использование дробных задержек (кратных 0.5) в новом стандарте не допускается.



Задержки устройства DRAM выражаются размерностью цикла (tCK), т.е. равны произведению времени цикла на выбранное значение задержки CAS (tCL). Типичные значения задержек для устройств типа DDR2 попадают в интервал 12-20 нс., на основании которого и выбирается используемое значение задержки CAS. Использование больших величин задержки нецелесообразно из соображений производительности подсистемы памяти, а меньших — ввиду необходимости стабильной работы устройства памяти.
^ Задержка записи
Стандарт DDR2 также вносит изменения в спецификацию задержки записи (команды WRITE). Различия в поведении команды записи в устройствах DDR и DDR2 представлены на рисунке.



DDR SDRAM имеет задержку записи, равную 1 такту. Это означает, что устройство DRAM приступает к «захвату» информации по шине данных в среднем через один такт после поступления команды WRITE. Тем не менее, учитывая возросшую скорость устройств DDR2, этот промежуток времени оказывается слишком малым для того, чтобы устройство DRAM (а именно, его буфер ввода-вывода) могло успешно подготовиться к «захвату» данных. В связи с этим, стандарт DDR2 определяет задержку записи как задержку выдачи CAS за вычетом 1 такта (tWL = tCL - 1). Отмечается, что привязка задержки WRITE к задержке CAS не только позволяет достичь более высоких частот, но и упрощает синхронизацию команд чтения и записи (настройку таймингов Read-to-Write).
^ Восстановление после записи
Процедура записи в память типа SDRAM аналогична операции чтения с разницей в дополнительном интервале tWR, характеризующем период восстановления интерфейса после проведения операции (обычно это двухтактная задержка между окончанием выдачи данных на шину и инициированием нового цикла). Этот временной интервал, измеряемый от момента окончания операции записи до момента вхождения в стадию регенерации (Auto Precharge), обеспечивает восстановление интерфейса после проведения операции записи и гарантирует корректность ее выполнения. Отметим, что стандарт DDR2 не вносит изменений в спецификацию периода восстановления после записи.

Таким образом, задержки устройств типа DDR2 в целом можно считать одной из немногих характеристик, по которой новый стандарт проигрывает спецификации DDR. В связи с чем совершенно очевидно, что использование равночастотной DDR2 вряд ли будет иметь какие-либо преимущества в плане скорости по отношению к DDR. Как это обстоит на самом деле — как всегда, покажут результаты соответствующих тестов.
^ Результаты тестирования в RightMark Memory Analyzer
Что ж, самое время теперь перейти к результатам тестирования, полученным в тестовом пакете RightMark Memory Analyzer версии 3.1. Напомним, что главными преимуществами этого теста по отношению к другим доступным тестам памяти является широкая функциональность, открытость методики (тест доступен всем желающим для ознакомления в виде исходного кода) и тщательно проработанная документация.
^ Конфигурации тестовых стендов и ПО Тестовый стенд №1 ^ Тестовый стенд №2 ^ Программное обеспечение Максимальная реальная пропускная способность памяти
Измерение максимальной реальной пропускной способности памяти проводилось с помощью подтеста ^ Memory Bandwidth, пресеты Maximal RAM Bandwidth, Software Prefetch, MMX/SSE/SSE2. Как говорит само название выбранных пресетов, в этой серии измерений используется стандартный метод оптимизации операций чтения из памяти — Software Prefetch, суть которого заключается в предварительной выборке данных, которые будут востребованы позже из оперативной памяти в L2 кэш процессора. Для оптимизации записи в память используется метод прямого сохранения данных (Non-Temporal Store), позволяющий избежать «засорения» кэша. Результаты с использованием регистров MMX, SSE и SSE2 оказались практически идентичными — для примера, ниже приведена картина, полученная на платформе Prescott/DDR2 с использованием SSE2.


Prescott/DDR2, максимальная реальная ПСП

Отметим, что существенных качественных отличий между DDR и DDR2 на равночастотных Prescott в этом тесте не наблюдается. Но более интересно то, что и количественные характеристики ПСП DDR-400 и DDR2-533 оказываются весьма близки! (см. таблицу). И это — несмотря на то, что память типа DDR2-533 имеет максимальную теоретическую ПСП 8.6 ГБ/с (в двухканальном режиме). Собственно, ничего удивительного в полученном результате мы не видим — ведь шина процессора — это по-прежнему 800 МГц Quad-Pumped Bus, а ее пропускная способность — 6.4 ГБ/с, поэтому именно она и является лимитирующим фактором.

^ Тип памяти

Максимальная реальная пропускная способность, МБ/с

Чтение (Software Prefetch)

Запись (Non-Temporal)

DDR-400

6277.9

4276.0

DDR2-533

6327.4

4266.0

Что касается эффективности операций записи, по отношению к чтению — легко увидеть, что она осталась такой же. Впрочем, это вновь выглядит вполне естественно, поскольку в данном случае предел ПСП на запись (2/3 от ПСП на чтение) явно задается микроархитектурными особенностями процессора Prescott.
^ Латентность памяти
Прежде всего, остановимся несколько подробнее на том, как и почему мы измеряли «истинную» латентность памяти, поскольку ее измерение на платформах Pentium 4 — на самом деле, далеко нетривиальная задача. А связано это с тем, что процессоры этого семейства, в частности, новое ядро Prescott, характеризуются наличием довольно «продвинутого» асинхронного аппаратного префетчера данных, весьма затрудняющего объективные измерения указанной характеристики подсистемы памяти. Очевидно, что использование методов последовательного обхода памяти (прямого либо обратного) для измерения ее латентности в данном случае совершенно не годятся — алгоритм Hardware Prefetch в этом случае работает с максимальной эффективностью, «маскируя» латентности. Использование случайных режимов обхода гораздо более оправдано, однако, истинно случайный обход памяти имеет другой существенный недостаток. Дело в том, что такое измерение выполняется в условиях практически 100% промаха D-TLB, а это вносит существенные дополнительные задержки, о чем мы уже писали. Поэтому единственным возможным вариантом (среди реализованных в RMMA методов) является псевдослучайный режим обхода памяти, при котором загрузка каждой последующей страницы осуществляется линейно (сводя на нет промахи D-TLB), тогда как обход в пределах самой страницы памяти является истинно случайным.

Тем не менее, результаты наших прошлых измерений показали, что даже такая методика измерений довольно сильно занижает значения латентности. Мы считаем, что это связано с еще одной особенностью процессоров Pentium 4, а именно, возможностью «захвата» сразу двух 64-байтных строк из памяти в L2-кэш при каждом обращении к ней. Для демонстрации этого явления на представленном ниже рисунке приведены кривые зависимости латентности двух последовательных обращений к одной и той же строке памяти от смещения второго элемента строки относительно первого, полученные на платформе Prescott/DDR2 с помощью теста D-Cache Arrival, пресет L2 D-Cache Line Size Determination.


Prescott/DDR2, прибытие данных по шине L2-RAM

Из них видно (кривая случайного обхода является наиболее показательной), что доступ ко второму элементу строки не сопровождается какими-либо дополнительными задержками до 60 байт включительно (что отвечает истинному размеру строки L2-кэша, 64 байта). Область 64-124 байт соответствует чтению данных из следующей строки памяти. Поскольку величины латентности в этой области увеличиваются лишь незначительно, это означает, что последующая строка памяти действительно «подкачивается» в L2-кэш процессора сразу вслед за запрашиваемой. Какой же можно сделать из всего этого практический вывод? Самый прямой: для того, чтобы «обмануть» эту особенность алгоритма Hardware Prefetch, работающую во всех случаях обхода памяти, достаточно просто обходить цепочку с шагом, равным так называемой «эффективной» длине строки L2-кэша, которая в нашем случае составляет 128 байт.

Итак, перейдем непосредственно к результатам измерений латентности. Для наглядности, приведем здесь графики разгрузки шины L2-RAM, полученные на платформе Prescott/DDR2.


Prescott/DDR2, латентность памяти, длина строки 64 байта


Prescott/DDR2, латентность памяти, длина строки 128 байт

Как и в случае тестов реальной ПСП, кривые латентности на другой платформе — Prescott/DDR — на качественном уровне выглядят абсолютно так же. Несколько отличаются лишь количественные характеристики. Самое время обратиться к ним.

^ Длина строки

Тип памяти

Латентность псевдослучайного доступа, нс

Минимальная

Средняя*

Максимальная

64 байта

DDR-400

28.2

32.3

34.2

DDR2-533

31.4

33.0

38.7

128 байт

DDR-400

47.7

55.0

55.0

DDR2-533

55.0

56.1

64.0

*латентность в условиях отсутствия разгрузки шины L2-RAM

Нетрудно заметить, что латентность DDR2-533 оказалась выше, чем у DDR-400. Впрочем, ничего сверхъестественного здесь нет — согласно представленным выше теоретическим основам нового стандарта памяти DDR2, именно так оно и должно быть.

Различие в латентности между DDR и DDR2 почти незаметно при стандартном 64-байтном обходе памяти (3 нс. в пользу DDR), когда активно работает аппаратный префетчер, однако, при «двухстрочном» (128-байтном) обходе цепочки оно становится гораздо более заметным. А именно, минимум латентности DDR2 (55.0 нс) равен максимуму латентности DDR; если же сравнивать минимальные и максимальные латентности между собой, различие составляет примерно 7-9 нс (15-16%) в пользу DDR. В то же время, надо сказать, несколько удивляют практически равные значения «средней» латентности, полученные в условиях отсутствия разгрузки шины L2-RAM — причем как в случае 64-байтного обхода (с префетчем данных), так и 128-байтного (без такового).
Заключение
Главный вывод, который напрашивается на основании полученных нами результатов первого сравнительного тестирования памяти DDR и DDR2, в общем виде можно сформулировать так: «время DDR2 еще не настало». Основная причина заключается в том, что пока бессмысленно бороться за увеличение теоретической ПСП путем наращивания частоты внешней шины памяти. Ведь шина текущего поколения процессоров по-прежнему функционирует на частоте 800 МГц, что ограничивает реальную пропускную способность подсистемы памяти на уровне 6.4 ГБ/с. А это значит, что в настоящее время нет смысла устанавливать модули памяти, обладающие большей теоретической ПСП, поскольку ныне существующая и широко применяемая память типа DDR-400 в двухканальном режиме полностью себя оправдывает, да и вдобавок имеет меньшую латентность. Кстати, о последней — увеличение частоты внешней шины памяти неизбежно связано с необходимостью введения дополнительных задержек, что, собственно, и подтверждают результаты наших тестов. Таким образом, можно считать, что использование DDR2 оправдает себя, как минимум, не ранее того момента, когда появятся первые процессоры с частотой шины 1066 МГц и выше, что позволит преодолеть ограничение, накладываемое скоростью шины процессора на реальную пропускную способность подсистемы памяти в целом.

Cписок источников:

1. www.mycomp.com.ua

2. www.ixbt.com

3. www.bytemag.ru

4. www.computerra.ru


reformirovanie-ekonomiki-problemi-i-resheniya-materiali-pervoj-mezhregionalnoj-nauchno-prakticheskoj-konferencii-studentov-aspirantov-i-molodih-uchenih-barnaul-2005-stranica-11.html
reformirovanie-finansovogo-sektora-godovoj-otchet-programma-sovmestnih-ekonomicheskih-issledovanij-pravitelstva.html
reformirovanie-mezhbyudzhetnih-otnoshenij-faktori-i-rezervi-konkurentosposobnosti-organizacii.html
reformirovanie-sistemi-kontrolya-platezhesposobnosti-strahovih-kompanij-v-stranah-es-chast-2.html
reformirovanie-sobstvennosti-razgosudarstvlenie-i-privatizaciya-speckurs-dlya-studentov-ekonomicheckih-specialnostej.html
reformirovanie-voennogo-instituta-rossijskogo-obshestva-teoretiko-metodologicheskij-analiz-stranica-3.html
  • studies.bystrickaya.ru/guslickij-spaso-preobrazhenskij-monastir.html
  • literature.bystrickaya.ru/dolzhnostnoj-reglament-vedushego-specialista-eksperta.html
  • notebook.bystrickaya.ru/k-1945-g-vremeni-prekrasheniya-serijnogo-proizvodstva-bilo-postroeno-6784-db-3il-4-iz-nih-okolo-5300-sostavlyali-il-za-vremya-serijnogo-proizvodstva-zatra-stranica-27.html
  • kontrolnaya.bystrickaya.ru/r-29-9-shk-chehiya-avstriya-slovakiya.html
  • occupation.bystrickaya.ru/novosti-proekta-zhivoj-teatr-str-1-stranica-4.html
  • uchebnik.bystrickaya.ru/v-tajmirskoj-centralnoj-rajonnoj-bolnice-posle-remonta-otkrilos-detskoe-infekcionnoe-otdelenie.html
  • znaniya.bystrickaya.ru/pushkin-i-lermontov.html
  • learn.bystrickaya.ru/glava-3-sut-kompensacii-saharnogo-diabeta-1-go-tipa-insulinoterapiya.html
  • crib.bystrickaya.ru/katalog-publikacij-v-ekimovskogo-shulgin-d-i-shevchenko-t-v-shulgin-d-i-shevchenko-t-v-tvorchestvo-zhizn.html
  • exchangerate.bystrickaya.ru/diplom-o-professionalnoj-perepodgotovke-stranica-2.html
  • reading.bystrickaya.ru/materiali-russkoj-istorii-elektronnie-versii-uchebno-metodicheskij-kompleks-federalnoe-agentstvo-svyazi-gosudarstvennoe.html
  • tasks.bystrickaya.ru/3-blizkie-standarti-referat-na-temu-mezhdunarodnie-standarti-audita.html
  • essay.bystrickaya.ru/chem-zapravlyaem-tem-i-dishim-komsomolskaya-pravda-podgotovil-mihail-gorshkov-15072008-102-str-9.html
  • studies.bystrickaya.ru/analiz-hozyajstvennoj-deyatelnosti-na-primere-ooo-chast-10.html
  • obrazovanie.bystrickaya.ru/prezentaciya-nacionalno-kulturnih-obedinenij-g-tomska-i-tomskoj-oblasti.html
  • zadachi.bystrickaya.ru/nalogi.html
  • holiday.bystrickaya.ru/ntv-voskresnij-vecher-s-vladimirom-solovevim-29042007-solovev-vladimir-2200.html
  • college.bystrickaya.ru/-4-ekzorcizm-predislovie.html
  • uchitel.bystrickaya.ru/razrabotka-kompleksnoj-marshrutnoj-seti-g-ufi-v-ramkah-korrektirovki-generalnogo-plana.html
  • education.bystrickaya.ru/10formi-i-metodi-kontrolya-usvoeniya-materiala-v-sootvetstvii-s-celyami-i-zadachami-uchebnoj-disciplini.html
  • predmet.bystrickaya.ru/sochetanie-produktov-e-v-vasilev-sposob-zhizni-v-eru-vodoleya-teoriya-i-praktika-samopoznaniya-i-samoozdorovleniya-moskva.html
  • kolledzh.bystrickaya.ru/b-rasataeva-m-b-bajbosinova-orta-mektep-pen-pedagogikali-zhoari-ou-orindarindai-geometriya-kurstarini-mazmn-sabatasti-mseleler.html
  • desk.bystrickaya.ru/osnovnoe-soderzhanie-raboti-koncepciya-razvitiya-kommunikativnogo-potenciala-budushih-pedagogov-doshkolnih-obrazovatelnih.html
  • books.bystrickaya.ru/celi-i-napravleniya-vnedreniya-sredstv-informatizacii-i-kommunikacii-v-obrazovanie.html
  • tasks.bystrickaya.ru/4-klass-4-ch-v-nedelyu-vsego-136-ch-obrazovatelnaya-programma-nachalnogo-obshego-obrazovaniya-na-2011-2015-goda.html
  • prepodavatel.bystrickaya.ru/strahovanie-avtotransportnih-sredstv.html
  • prepodavatel.bystrickaya.ru/tezisi-doklada-5-str.html
  • grade.bystrickaya.ru/nauchnaya-zhizn-soderzhanie-1-44-200-9-voprosi-teorii.html
  • occupation.bystrickaya.ru/o-provedenii-cikla-lekcij-dlya-vrachej-otorinolaringologov-lechebno-profilakticheskih-uchrezhdenij.html
  • crib.bystrickaya.ru/kniga-georgiya-boreeva.html
  • uchit.bystrickaya.ru/svyashennoe-prostranstvo-kniga-tenej.html
  • predmet.bystrickaya.ru/rossiya-postroit-aes-vo-vetname.html
  • college.bystrickaya.ru/-52-logicheskaya-struktura-novikov-a-m-n73-metodologiya-obrazovaniya-izdanie-vtoroe.html
  • school.bystrickaya.ru/keeping-abortion-legal-essay-research-paper-keeping-2.html
  • apprentice.bystrickaya.ru/vologodskaya-oblast-resursi-i-promishlennost.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.